SVM = Support Vector Machine = Metoda podpornih vektorjev

Size: px
Start display at page:

Download "SVM = Support Vector Machine = Metoda podpornih vektorjev"

Transcription

1

2 Uvod 2/60 SVM = Support Vector Machine = Metoda podpornih vektorjev Vapnik in Lerner 1963 (generalized portrait) jedra: Aronszajn 1950; Aizerman 1964; Wahba 1990, Poggio in Girosi 1990 Boser, Guyon in Vapnik na COLT 1992 (osnovna oblika SVM, jedra) Cortes in Vapnik, Machine Learning 1995 (soft margin) poplava člankov po dobro deluje v praksi + fleksibilna (različna jedra različni prostori hipotez) + robustna (kolikor toliko odporna na pretirano prilagajanje; ne moti je veliko število atributov) + dobro teoretično podprta malo teˇzje jo je razumeti; kompleksnejša implementacija modeli niso preveč razumljivi časovno zahtevnejša

3 Kazalo 3/60 Uvod. Razmejevanje dveh razredov z ravnino. Geometrija ravnine. SVM kot optimizacijski problem. Orodja iz teorije optimizacije. Izpeljava dualnega problema. Druge formulacije prvotnega optimizacijskega problema. Reševanje v praksi. Jedra. Razno. Programi. Literatura.

4 Razmejevanje točk z ravnino Učenje kot optimizacijski problem Optimizacijske metode Prehod na dualni problem Numerično reševanje Uvod

5 Motivacija 5/60 Imamo populacijo primerkov, ki so predstavljeni z vektorji iz R d. Imamo dva razreda, pozitivnega in negativnega. Vsak primerek spada v enega od teh dveh razredov. Učna množica: pari (x i, y i ) za i 1..l. x i R d je vektor, y i {1, 1} je njegova oznaka razreda. Radi bi dobili klasifikator (model, hipotezo), ki bi razločeval ta dva razreda. Za začetek se omejimo na to, da bi oba razreda razmejili z neko (hiper)ravnino.

6 Enačba ravnine 6/60 Ravnino prepoznamo po tem, da je cela pravokotna na neko smer. Vektor w, pravokoten na ravnino, imenujemo normala ravnine. Potem je vsak vektor, ki leži v celoti znotraj ravnine, pravokoten na w. Naj bo x 0 poljubna točka z ravnine. Potem za vsako točko x z ravnine velja: x x 0 w Dva vektorja, x in û, sta pravokotna natanko tedaj, ko je njun skalarni produkt enak 0. d (x, u) = x, u = x u = x T u = x i u i. Torej i=1 w T (x x 0 ) = 0 w T x w T x 0 = 0 w T x + b = 0 (za b = w T x 0 ) d w i x i + b = 0 i=1

7 Nad in pod ravnino 7/60 Začnimo v ravnini, v neki točki x, in se premaknimo v smeri w. Za naš novi poloˇzaj ˆx = x + λw velja: w T ˆx + b = w T (x + λw) + b = w T x + b + λw T w = λw T w > 0. Če bi se premikali v nasprotni smeri, bi za novi poloˇzaj veljalo w T ˆx + b < 0. Ravnina torej razdeli prostor na dva polprostora in za poljubno točko je zelo preprosto ugotoviti, v katerem leˇzi. Za naš problem bi bilo torej ugodno, če bi ravnino postavili tako, da bi pozitivni primerki ležali na eni strani ravnine, negativni pa na drugi. Potem bi vzeli preprosto: napoved(x) = sgn(w T x + b).

8 Razmejevanje učnih primerkov z ravnino 8/60 Pozitivni primerki naj ležijo na pozitivni strani, negativni pa na negativni: y i = +1 = w T x i + b 0 y i = 1 = w T x i + b 0, kar lahko združimo v: Toda: za vsak i : y i (w T x i + b) 0. Tej zahtevi mogoče ustreza veliko ravnin. Tej zahtevi mogoče ne ustreza nobena ravnina. Za katero ravnino naj se odločimo?

9 Rob 9/60 Ko računamo w T x + b za razne x, se pri vsaki točki pozna le to, kako daleč je od razmejitvene ravnine (in na kateri strani je). Torej si ne ˇzelimo, da bi bili učni primerki preblizu razmejitvene ravnine, ker postanemo potem bolj občutljivi na majhne spremembe in premike. Prostor med ravnini najbliˇzjima primerkoma na eni in na drugi strani imenujemo rob (margin) in si ˇzelimo, da bi bil čim širši.

10 Rob 10/60 Naj bo rob omejen z ravninama: w T x + b = γ in w T x + b = γ. Učni primerki nam torej postavljajo takšne pogoje: Kako širok je ta rob? y i (w T x + b) γ Postavimo se v neko točko x 1 na prvi ravnini: w T x 1 + b = γ Premikajmo se v smeri normale, dokler ne naletimo na drugo ravnino: Torej je w T x 2 + b = γ za x 2 = x 1 + λw. w T (x 2 x 1 ) = 2γ λw T w = 2γ λ = 2γ/ w 2 Širina roba je λw = λ w = 2γ w 2 w = 2γ/ w.

11 Širina roba 11/60 Vidimo: rob je pri dani γ tem širši, čim krajša je normala w. Parameter γ je odveč: Če ravnina w T x + b = 0 ustreza pogojem i : y i (w T x i + b) γ, lahko isto ravnino opišemo kot ŵ T x + ˆb za ŵ = γ 1 w, ˆb = b/γ in bo ustrezala pogojem: Torej ni nič narobe, če vzamemo γ = 1. i : y i (ŵ T x i + ˆb) 1. Rob je potem širok 2/ w in če hočemo najširši rob, moramo zahtevati najkrajšo normalo w.

12 Optimizacijski problem 12/60 Zdaj lahko zastavimo iskanje ravnine kot optimizacijski problem: Faktor 1 2 minimiziraj 1 2 w 2 pri pogojih i 1..l : y i (w T x i + b) 1 je tu le zaradi lepšega nadaljevanja izpeljave. Kaj pa, če pozitivnih in negativnih primerkov ne moremo razmejiti z ravnino? Vpeljimo kazenske spremenljivke ξ i in pogoj omilimo v y i (w T x i + b) 1 y i (w T x i + b) 1 ξ i za neko ξ i 0. Če gre s ξ i = 0, toliko lepše, drugače pa jo upoštevajmo v kriterijski funkciji: 1 minimiziraj 2 w 2 + C l i=1 ξ i pri pogojih i 1..l : y i (w T x i + b) 1 ξ i, ξ i 0 Zdaj potrebujemo kakšna matematična orodja, da se bomo lahko lotili tega problema.

13 Razmejevanje točk z ravnino Učenje kot optimizacijski problem Prehod na dualni problem Numerično reševanje Optimizacijske metode Pripomočki za optimizacijo

14 Lagrangeovi multiplikatorji 14/60 Recimo, da imamo takšen optimizacijski problem: minimiziraj f(x) (f imenujemo kriterijska funkcija) pri pogojih x R d, i 1..l : f i (x) 0 Če x ustreza vsem pogojem f i (x) 0, pravimo, da je dopustna rešitev. Mnoˇzico vseh dopustnih rešitev označimo s Φ. Nasvet: vpeljimo Lagrangeove multiplikatorje u = (u 1,..., u l ) (ki bodo vedno nenegativna realna števila) in definirajmo Lagrangeovo funkcijo L(x, u) := f(x) l i=1 u if i (x). Izpeljimo iz nje dve novi funkciji: ˆf(x) := max L(x, u) in g(u) := min L(x, u). u (R + 0 )l x Rd Hitro se vidi: In x, u: Torej tudi: ˆf(x) = { f(x), če x Φ +, če x Φ g(u) = min L( x, u) L(x, u) max L(x, ũ) = f(x). x R d ũ (R + 0 )l max u (R + 0 )l g(u) min x R d ˆf(x).

15 Sedla 15/60 L(x, u) ima v točki (x s, u s ) sedlo natanko tedaj, ko velja: x : L(x, u s ) L(x s, u s ) in u : L(x s, u) L(x s, u s ). V (x s, u s ) ima torej L minimum po x in maksimum po u. Zato je ˆf(x s ) = L(x s, u s ) = g(u s ). Na prejšnji strani smo videli, da je x, u : ˆf(x) g(u), torej tudi za u = u s : x : ˆf(x) g(u s ) = ˆf(x s ). Zato doseže ˆf(x) v x = x s svoj minimum. Podobno mora pri x = x s veljati u : g(u) ˆf(x s ) = g(u s ), zato doseˇze g v u = u s svoj maksimum. Tedaj je torej ˆf(x s ) = min x ˆf(x) = maxu g(u) = g(u s ). Slaterjev zadostni pogoj za obstoj sedla: f in f i morajo biti vse konveksne in obstajati mora x, za katerega je i : f i (x) > 0 (strogo dopustna rešitev).

16 Karush-Kuhn-Tuckerjev izrek 16/60 V sedlu (x s, u s ) doseˇze L svoj minimum po x R d. Torej morajo biti tu njeni odvodi po x enaki 0: L x j (x s, u s ) = 0 oz. x L(x s, u s ) = 0. Obenem pa v sedlu gotovo velja: ˆf(x s ) = L(x s, u s ) = f(x s ) + l i=1 us i f i(x s ); in ˆf(x s ) = f(x s ), ker je x s dopustna rešitev; torej je l i=1 us i f i(x s ) = 0. Toda ker so Lagrangeovi multiplikatorji nenegativni, je u s i 0; in ker je x s dopustna rešitev, je f i (x s ) 0; zato je zgornji pogoj izpolnjen le, če je i 1..l : u s i f i (x s ) = 0. Z besedami: ali v pogoju velja enakost ali pa je ustrezni Lagrangeov multiplikator enak 0. Če naloga ustreza Slaterjevim pogojem, velja izrek tudi v obratno smer: če za nek (x s, u s ) velja x L(x s, u s ) = 0 in u s i f i(x s ) = 0 in u s i 0, je tu sedlo in optimum.

17 Razmejevanje točk z ravnino Učenje kot optimizacijski problem Prehod na dualni problem Numerično reševanje Optimizacijske metode Rešitev optimizacijskega problema in druge formulacije

18 Optimizacija 18/60 Naš optimizacijski problem: minimiziraj f(w, b, ξ) := 1 2 w 2 + C l i=1 ξ i pri pogojih i 1..l : y i (w T x i + b) 1 ξ i, ξ i 0 Vpeljimo Lagrangeove multiplikatorje α = (α 1,..., α l ) in µ = (µ 1,..., µ l ). d l l l L(w, }{{ b, ξ }, α, }{{} µ ) = 1 2 wj 2 + C ξ i α i [y i (w T x i + b) 1 + ξ i ] µ i ξ i. x u j=1 i=1 i=1 i=1 Iščemo pa g(α, µ) = min w,b,ξ L(w, b, ξ), zato poglejmo, kje so odvodi L-ja po w j -jih, b-ju in x i -jih enaki 0. L/ w j = w j l i=1 α iy i x ij = 0 w = l i=1 α iy i x i, L/ b = l i=1 α iy i = 0 l i=1 α iy i = 0, L/ ξ i = C α i µ i = 0 α i + µ i = C. Upoštevajmo te pogoje v L.

19 Prehod k dualni nalogi 19/60 Upoštevajmo: w = l i=1 α iy i x i, l i=1 α iy i = 0, α i + µ i = C. 1 2 L(w, b, ξ, α, µ) = 1 2 wt w + C l i=1 ξ i l i=1 α i[y i (w T x i b) 1 + ξ i ] l i=1 µ iξ i = l l l l l l α i α j y i y j x T j x i + C ξ i α i [y i ( α j y j x T j x i b) 1 + ξ i ] µ i ξ i = 1 2 l i=1 i=1 j=1 l α i α j y i y j x T j x i j=1 1 2 l i=1 l i=1 i=1 i=1 l α i α j y i y j x T j x i + i=1 l α i α j y i y j x T j x i b j=1 j=1 l α i y i + i=1 l α i y i b + i=1 l α i + i=1 1 2 l α i + i=1 i=1 l (C α i µ i )ξ i = i=1 l (C α i µ i )ξ i = i=1 l i=1 l α i α j y i y j x T j x i + Dobili smo dualno nalogo: maksimiziraj 1 l l 2 i=1 j=1 α iα j y i y j x T j x i + l i=1 α i pri pogojih i 1..l : 0 α i C in l i=1 α iy i = 0. j=1 l α i. i=1

20 Dualna naloga 20/60 Če obrnemo predznak kriterijski funkciji: minimiziraj g(α) := 1 l l 2 i=1 j=1 α iα j y i y j x T i x j l pri pogojih i 1..l : 0 α i C in l i=1 α iy i = 0. To je problem kvadratnega programiranja. Kriterijsko funkcijo lahko zapišemo tudi v matrični obliki: g(α) = 1 2 αt Qα 1 T α, kjer je Q matrika z elementi Q ij = y i y j x T i x j, 1 = (1, 1,..., 1) T pa vektor samih enic. i=1 α i Ko poiščemo optimalno α, lahko izrazimo normalo na ravnino po formuli w = l α i y i x i. Kako pridemo do praga b, bomo videli kasneje. Lahko bi izrazili tudi ξ (ko bi imeli b), a tega za klasifikacijo niti ne potrebujemo. i=1

21 Podporni vektorji 21/60 KKT izrek nam o optimalni rešitvi zagotavlja, za vsak i 1..l: α i [y i (w T x i + b) 1 + ξ i ] = 0 in µ i ξ i = 0. Spomnimo se, da velja še: α i + µ i = C, α i 0, µ i 0, y i (w T x i + b) 1 + ξ i 0. Ločimo tri možnosti: 1. α i = 0. Tedaj je µ i = C 0 in zato ξ i = 0, zato pa y i (w T x i + b) 1. To so vektorji na pravi strani roba < α i < C. Tedaj je µ i = C α i > 0 in zato spet ξ i = 0, vendar pa zdaj y i (w T x i + b) = 1. Ti vektorji so na pravi strani roba, vendar ravno še na meji. 3. α i = C. Tedaj je µ i = 0 in y i (x T x i + b) 1 ξ i. Zdaj je mogoče, da je ξ i > 0; če je ξ i 1, je tak vektor narobe klasificiran. V izraˇzavi w = l i=1 α iy i x i nastopajo le vektorji iz druge in tretje skupine, ki jim zato pravimo podporni vektorji. Izkaˇze se: če bi iz učne mnoˇzice zavrgli vse ostale vektorje in se ponovno učili, bi dobili isto rešitev. Ti vektorji so nekako najbliˇzje razmejitveni ravnini, z obeh strani jo podpirajo, da se ne bi kam premaknila.

22 Določanje praga b 22/60 w T x + b = 1 w T x + b = 0 w T x + b = 1 1. Načeloma za poljuben vektor iz 2. skupine velja y i (w T x i + b) = 1, torej b = y i w T x i ; bolje je vzeti povprečje po vseh teh vektorjih. 2. Ali pa: b = 1 [ ] min 2 i:α i <C,y i =+1 wt x i + max i:α i <C,y i = 1 wt x i. 3. Lahko si pomagamo s fitanjem sigmoide. 4. Z validacijsko mnoˇzico [CRS02] so opazili, da je lahko to veliko bolje.

23 Trdi rob (hard margin) 23/60 Pri tej različici ne dovolimo napak na učni množici. Prvotna naloga: Dualna naloga: minimiziraj f(w, b) = 1 2 w 2 pri pogojih i 1..l : y i (w T x i + b) 1 minimiziraj g(α) = 1 2 αt Qα 1 T α pri pogojih i 1..l : α i 0 in l i=1 α iy i = 0. Tu se lahko zgodi, da prvotna naloga sploh nima dopustnih rešitev. Pri dualni nalogi, kjer α i zdaj navzgor niso omejene (kot prej s C), gre lahko v takem primeru g prek vseh meja.

24 Ničeln prag 24/60 Pri tej različici fiksiramo prag na b = 0, torej se omejimo na ravnine, ki gredo skozi koordinatno izhodišče. minimiziraj f(w, ξ) = 1 2 w 2 + C l i=1 ξ i pri pogojih i 1..l : y i w T x i 1 ξ i, ξ i 0 S tem odpade iz dualne naloge pogoj α T y = 0. minimiziraj g(α) = 1 2 αt Qα 1 T α pri pogojih i 1..l : 0 α i C. V zameno učnim vektorjem pogosto dodamo še eno komponento, ki je pri vseh enaka 1: ˆx i = (x i, 1). Zato ima tudi w še eno komponento, ki torej učinkuje podobno kot prag: ŵ = (w, b). Učinek je torej tak, kot če bi imeli: minimiziraj f(w, b, ξ) = 1 2 ( w 2 + b 2 ) + C l i=1 ξ i pri pogojih i 1..l : y i (w T x i + b) 1, ξ i 0

25 Kvadratna kazen 25/60 Tu vzamemo vsoto kvadratov kazenskih spremenljivk: minimiziraj f(w, b, ξ) = 1 2 w 2 + C l i=1 ξ2 i pri pogojih i 1..l : y i (w T x i + b) 1 ξ i Omejitve ξ i 0 ne potrebujemo tako ali tako se ne bi splačalo vzeti negativnega ξ i, kajti namesto njega je ξ i = 0 tudi dober, pa še f bo manjši. V dualni nalogi se spremeni matrika drugih odvodov. Po diagonali dobi še vrednosti 1/2C, kar je numerikom v veliko veselje, ker je tako bolje pogojena: minimiziraj g(α) = 1 2 αt (Q + 1 2C I)α 1T α pri pogojih i 1..l : α i 0 in l i=1 α iy i = 0. Tu ni več pogoja α i C ali česa podobnega, vendar se vseeno ni bati, da bi kakšna α i ušla v neskončnost, saj imamo v kriterijski funkciji zdaj člen 1 4C α2 i. To radi kombinirajo z ničelnim pragom, da se znebijo nadležnega pogoja z enakostjo.

26 Izbira parametra C 26/60 minimiziraj f(w, b, ξ) := 1 2 w 2 + C l i=1 ξ i pri pogojih i 1..l : y i (w T x i + b) 1 ξ i, ξ i 0 C mora posredovati med teˇznjami k širšemu robu (spomnimo se, da je rob širok 2/ w ) in težnjami po čim manjših napakah (ξ i ) na učni množici. Ker je v pogojih 1 fiksna, se tudi ξ i gibljejo tam nekje: ξ i = 2 vedno pomeni napako za celotno širino roba, ipd. Za w 2 pa ni tovrstnih omejitev. Če se vsi x i pomnoˇzijo z λ, mi pa bi ˇzeleli isto ravnino kot prej, bo ŵ = (1/λ)w ustrezala pogojem z istimi ξ i in b. Toda v kriterijski funkciji je zdaj prvi člen λ 2 -krat manjši, torej bi čutili napake veliko huje. Zato bi morali vzeti Ĉ = C/λ2. Do istega problema pride pri jedrih, kjer učne vektorje tudi nekako preslikamo.

27 Izbira parametra C 27/60 Teorija: Recimo, da vsi naši vektorji, učni in kasneje testni, ležijo v krogli s središčem v koordinatnem izhodišču in polmerom R. Za neko konstanto k velja: Naj bo f poljuben klasifikator oblike napoved(x) = sgn w T x; naj bodo ξ i njegove napake na učni mnoˇzici, tako da je y i (w T x) 1 ξ i ; potem z verjetnostjo vsaj 1 δ velja: verjetnost napake(f) k l ( ( w 2 R 2 + ξ 2 ) log 2 l log δ ). Edino, na kar lahko vplivamo, je w 2 R 2 + ξ 2, kar je isto kot R 2 ( w 2 + R 2 ξ 2 ). Mi pri učenju minimiziramo w 2 + C ξ 2 ; desna stran bo torej najmanjša pri C = R 2. Ta nasvet sicer predpostavlja ničeln prag b in kvadratno kazen pri optimizaciji, vendar je tudi pri linearni lahko koristen. V praksi: prečno preverjanje.

28 Izbira parametra C 28/60 Reuters-21578, ModApte, ship 1 20 F F 1 na učni množici F 1 na testni množici čas učenja [s] čas učenja [s] C Zelo neugodno je, če vzamemo premajhen C. Če vzamemo prevelik C, nam to ne škoduje tako zelo, pač pa učenje po nepotrebnem traja dlje.

29 Razmejevanje točk z ravnino Učenje kot optimizacijski problem Prehod na dualni problem Numerično reševanje Optimizacijske metode Numerično reševanje

30 Kvadratno programiranje 30/60 Numerično moramo rešiti nalogo minimiziraj g(α) = 1 2 αt Qα 1 T α pri pogojih i 1..l : α i 0, i y iα i = 0. Matematiki že dolgo poznajo razne postopke za to, vendar večinoma odpovejo pri velikih problemih. Pri nas je l število učnih primerkov in Q je matrika reda l l, tako da pogosto niti ne gre cela hkrati v pomnilnik. Vendar pa, če nekaj spremenljivk fiksiramo, nam ostane problem enake oblike na manj spremenljivkah. Zato lahko standardne postopke uporabimo tako, da fiksiramo večino spremenljivk in optimiziramo le po preostalih (delovna množica). Potem optimiziramo po neki drugi skupini spremenljivk in tako naprej. S KKT pogoji lahko kadarkoli preverimo, če smo ˇze pri optimalni rešitvi. Za vsak i mora veljati: α i = 0 = y i (w T x i + b) 1 0 < α i < C = y i (w T x i + b) = 1 α i = C = y i (w T x i + b) 1

31 Chunking 31/60 To je predlagal že Vapnik (1979): 1. Izberimo prvih nekaj spremenljivk kot delovno mnoˇzico in optimizirajmo po njih. 2. Ko to naredimo, odstranimo iz delovne mnoˇzice tiste z α i = 0 in dodajmo vanjo tiste, ki prej niso bile v DM, se pa trenutna ravnina na njih zmoti (imajo y i (w T x i + b) < 1). 3. Spet optimiziramo na novi DM in to ponavljamo. Tu se zanašamo na dejstvo, da se rezultat ne spremeni, če iz učne množice zavržemo vse ne-podporne vektorje. Torej je dovolj, če se učimo samo na podpornih; z gornjim postopkom skušamo ugotoviti, kateri so podporni. Različica: decomposition (Osuna et al., 1997) v delovno množico vedno sprejmemo le toliko novih spremenljivk, kolikor smo jih prej odvzeli iz nje. Očitno moramo dovoliti vsaj tako veliko DM, da bodo šli vanjo vsi podporni vektorji.

32 Joachimsova različica dekompozicije 32/60 Za delovno množico si izberemo q spremenljivk; optimiziramo; to ponavljamo, dokler ne konvergira. Predlaga q = 10. Spremenljivke si izberemo takole: kriterijska funkcija ima odvode g(α) = 1 2 αt Qα 1 T α α g(α) = Qα 1 T. Spremenljivke α i z negativnim odvodom g/ α i bi bilo treba povečevati, tiste s pozitivnim zmanjševati. Da bomo lahko spoštovali pogoj l i=1 y iα i = 0, si moramo izbrati nekaj (npr. q/2) takih α i, pri katerih se bo vrednost y i α i povečevala, in nekaj takih, pri katerih se bo zmanjševala. Pri tem seveda ignoriramo tiste, ki jih ne bi mogli premikati v željeni smeri (če so ˇze na robu intervala [0, C]). Shrinking: če neka α i veliko iteracij ostaja pri vrednosti 0 (ali C), je v bodoče sploh ne gledamo več. Čez čas preverimo, če je njena vrednost še sprejemljiva.

33 Zaporedna minimalna optimizacija (SMO) 33/60 Platt (1999) je opazil: Ker imamo pogoj l y i α i = 0, i=1 ne moremo spreminjati le po ene α i moramo vsaj dve naenkrat, da bomo lahko ohranjali to enakost. Izberimo le dve, α i in α j. Od gornjega pogoja nam ostane zdaj y i α stara i + y j α stara j = y i α nova i + y j α nova j. Torej: ko spremenimo npr. α i v αi nova, je s tem ˇze točno določena tudi edina sprejemljiva vrednost za α j. Torej imamo v bistvu en sam parameter spremembo α i. g je kvadratna funkcija tega in brez težav poiščemo minimum. Hevristika za izbor dveh spremenljivk: 1. α i naj bo tista, ki najhuje krši svoj KKT pogoj. 2. α j tista, ki v paru z α i obeta največji premik.

34 Časovna zahtevnost učenja SVMjev 34/ Čas učenja T [s] Število učnih primerkov N poskusi T = N 1.51 / Mnoˇzica učnih primerkov in njene podmnoˇzice. Linearna regresija pravi: [čas učenja] [število učnih primerkov] s. Časovna zahtevnost je med linearno in kvadratno, različni avtorji navajajo različne eksponente.

35 Nelinearni modeli in jedra

36 Prehod na nelinearne modele 36/60 Recimo, da bi pred učenjem vse učne vektorje preslikali v nek nov vektorski prostor F: φ : R d F x φ(x) Če pišemo φ(x) = (φ 1 (x), φ 2 (x),...), so φ i (x) oblike ali značilke ( features) primerka x, F je prostor značilk ( feature space). Naš optimizacijski problem je bil prej Zdaj pa je: minimiziraj f(w, b, ξ) := 1 2 w 2 + C l i=1 ξ i pri pogojih i 1..l : y i (w T x i + b) 1 ξ i, ξ i 0. minimiziraj f(ŵ, b, ξ) := 1 2 ŵ 2 F + C l i=1 ξ i pri pogojih i 1..l : y i ( ŵ, φ(x i ) F + b) 1 ξ i, ξ i 0. ŵ ˇzivi v F in, F je skalarni produkt v F. ŵ 2 F = ŵ, ŵ F je norma v prostoru F.

37 Prehod na nelinearne modele 37/60 Dualna naloga je bila prej: minimiziraj g(α) := 1 l l 2 i=1 j=1 α iα j y i y j x T i x j l pri pogojih i 1..l : 0 α i C in l i=1 α iy i = 0. i=1 α i Zdaj pa je: minimiziraj g(α) := 1 l l 2 i=1 j=1 α iα j y i y j φ(x i ), φ(x j ) F l pri pogojih i 1..l : 0 α i C in l i=1 α iy i = 0. Prej se je normala izraˇzala kot Zdaj: Klasifikator je bil prej: Zdaj: w = l i=1 α iy i x i. ŵ = l i=1 α iy i φ(x i ). napoved(x) = sgn(w T x + b). i=1 α i napoved(x) = sgn( ŵ, φ(x) F + b) = sgn(b + l i=1 α iy i φ(x i ), φ(x) F ).

38 Jedra 38/60 Videli smo: nikjer nam ni treba eksplicitno delati s slikami φ(x). Dovolj je, če znamo računati skalarne produkte med njimi: Taki funkciji pravimo jedro (kernel). K(x, ˆx) = φ(x), φ(ˆx) F. Lahko bi si najprej izbrali φ in F ter potem poskušali najti primerno K. (Takšno, ki jo bo preprosto računati.) Pogosto pa kar vzamemo nek K in se moramo le še prepričati, da obstajata neka φ in F, ki jima K ustreza.

39 Zadostni pogoji, da je K jedro 39/60 Mercerjev izrek: Omejimo se na neko kompaktno (zaprto in omejeno) podmnoˇzico C R d. g je kvadratno integrabilna na C ntk. C g 2 (x)dx <. K naj bo simetrična in za vsaki kvadratno integrabilni f, g naj velja: f(x)k(x, ˆx)g(ˆx)dxdˆx 0. Potem je K jedro. Še en zadosten pogoj: C C Za vsako končno mnoˇzico {x 1,..., x l } mora biti matrika K = (k ij ) z elementi k ij := K(x i, x j ) pozitivno semidefinitna.

40 Bolj človeški pogoji 40/60 Če so K 1, K 2, K 3 jedra, so tudi tole jedra: K(x, ˆx) = K 1 (x, ˆx) + K 2 (x, ˆx) K(x, ˆx) = λk 1 (x, ˆx) za poljubno λ R K(x, ˆx) = K 1 (x, ˆx)K 2 (x, ˆx) K(x, ˆx) = f(x)f(ˆx) za poljubno f : R d R K(x, ˆx) = K 3 (φ(x), φ(ˆx)) za poljubno φ : R d R m K(x, ˆx) = x T Aˆx za poljubno pozitivno semidefinitno A

41 Polinomska jedra 41/60 K(x, ˆx) = (x T ˆx + 1) p Na primer: recimo, da naši učni vektorji ˇzivijo v 2-d prostoru: x = (x 1, x 2 ), ˆx = (ˆx 1, ˆx 2 ). Potem je za p = 2: K(x, ˆx) = (x 1ˆx 1 + x 2ˆx 2 + 1) 2 = = x 2 1ˆx x 2 2ˆx x 1 x 2ˆx 1ˆx 2 + 2x 1ˆx 1 + 2x 2ˆx = = (x 2 1, x 2 2, 2x 1 x 2, 2x 1, 2x 2, 1)(ˆx 2 1, ˆx 2 2, 2ˆx 1ˆx 2, 2ˆx 1, 2ˆx 2, 1) T. Torej deluje K(x, ˆx) tako, kot da bi oba vektorja preslikali s preslikavo φ : R 2 R 6, φ(x) = (x 2 1, x 2 2, 2x 1 x 2, 2x 1, 2x 2, 1) T in potem v R 6 naredili navaden skalarni produkt. Ko se naučimo neko normalo ŵ = (A, B, C, D, E, F ) T R 6, dobimo klasifikator napoved(x) = sgn(ŵ T φ(x) + b) = sgn(ax Bx Cx 1 x 2 + Dx 1 + Ex 2 + F + b). Torej smo 2-d ravnino, v kateri ležijo naši x, razmejili z neko stožernico. V splošnem je tako, kot da bi φ slikala v nek ( ) p+d p -razseˇzni prostor.

42 Radialna jedra (radialne bazne funkcije) 42/60 ] x ˆx 2 K(x, ˆx) = exp [ ali exp [ γ x ˆx 2] 2σ 2 To ustreza preslikavi φ v nek -razseˇzen prostor F. Klasifikator: napoved(x) = sgn ( b + si lahko predstavljamo takole: ) l α i y i K(x i, x) i= f(t) = exp( 3t 2 ) Vsak učni primerek x i glasuje za svoj razred y i. Na koncu vzamemo uteˇzeno vsoto teh glasov in jo primerjamo s pragom b. Pri glasovanju damo večjo težo tistim učnim primerkom x i, ki so bliˇze novemu vektorju x. Utež primerka x i je K(x i, x), torej Gaussova (zvonasta) funkcija razdalje x i x. Večja ko je γ, oˇzji so zvonovi in manjši je vpliv posameznega primerka.

43 Sigmoidna jedra 43/60 K(x, ˆx) = th(κx T ˆx + Θ) Sploh niso jedra: na primer, K(x, x) bi moral biti > 0, pa ni, če je κ > 0, Θ < 0 in x < Θ/κ Sigmoidna krivulja: th t = et e t e t + e = t e 2t Θ določa, kje bo prehod: f(t) = th(κt + Θ) ima ničlo pri t = Θ/κ κ določa, kako strm bo prehod: f ima v ničli odvod κ

44 Jedra za nize 44/60 Naj bo x = a 1 a 2... a n niz n znakov nad abecedo Σ. Niz u = b 1 b 2... b m se pojavlja kot podniz v x, če i 1,..., i m : 1 i 1 < i 2 < < i m n, a i1 = b 1,..., a im = b m. Dajmo tej pojavitvi vrednost λ (i m i 1 +1) m (za neko λ [0, 1]). Definirajmo φ u (x) = vrednost te pojavitve. In: Potem lahko definiramo jedro: po vseh pojavitvah u v x φ : Σ R Σm, φ(x) := φ u (x) u Σ m. K(x, ˆx) = u Σ m φ u (x)φ u (ˆx) Računamo ga lahko z dinamičnim programiranjem v O(m x ˆx ). Menda se je na besedilih obneslo tako dobro kot tradicionalna jedra, včasih še malo bolje (Lodhi et al., 2000).

45 Posplošena jedra 45/60 Pri jedrih dobimo klasifikator oblike in pri učenju minimiziramo 1 2 l i=1 l j=1 α iα j y i y j K(x i, x j ) + C l i=1 ξ i napoved(x) := sgn(b + l j=1 α jy j K(x, x j )) pri i 1..l : y i (b + l j=1 α jk(x i, x j )) 1 ξ i, ξ i 0. Od tod izvira pogoj, da K ne more biti kakršna koli funkcija biti mora jedro, torej pozitivno definitna, sicer so lahko pri optimizaciji težave. Mangasarian je predlagal drugačen optimizacijski problem (generalized SVM): minimiziraj 1 2 l i=1 l j=1 α ih ij α j + C i ξ i pri pogojih i 1..l : y i (b + l j=1 α jk(x i, x j )) 1 ξ i, ξ i 0. Ta problem je dovolj lep, čim je H = (H ij ) pozitivno definitna ne glede na to, kakšna funkcija je K. Klasifikator je tak kot zgoraj.

46 Posplošena jedra 46/60 Najpreprostejša različica: H = I, minimizirajmo i α2 i. Kot bi ˇzeleli čim preprostejši model (veliko α i = 0). Optimizacijski problem minimiziraj 1 2 l i=1 α2 i + C i ξ i pri pogojih i 1..l : y i (b + l j=1 α jk(x i, x j )) 1 ξ i, ξ i 0. je ekvivalenten temu, da bi x preslikali v φ(x) := (K(x, x 1 ), K(x, x 2 ),..., K(x, x l )) R l in iskali v prostoru R l ravnino oblike α T φ(x) + b: minimiziraj 1 2 α 2 + C i ξ i pri pogojih i 1..l : y i (b + α T φ(x i )) 1 ξ i, ξ i 0. Torej je ta formulacija takšna, kot da bi si rekli: primerka x in ˆx sta si podobna (imata velik φ(x), φ(ˆx) F ), če so vrednosti K(x, x i ) pribliˇzno take kot K(ˆx, x i ); torej: če imata enak vzorec podobnosti do učnih primerkov (x i, i 1..l).

47 Razno

48 SVM kot nevronska mreža 48/60 K(, x1 ) α 1 y 1 K(, x 2 ) α 2 y 2 x Σ sgn napoved(x) K(, x l ) α l y l b Na prvem nivoju je l celic; i-ta računa K(x, x i ). Na drugem nivoju je ena celica, ki izračuna uteˇzeno vsoto b + l i=1 α iy i K(x, x i ) in vrne njen predznak.

49 Transduktivni SVM 49/60 Tu imamo poleg običajne učne množice še nekaj neoznačenih vektorjev x j, j 1..m (ki pa prihajajo iz iste verjetnostne porazdelitve). Vapnik (1998) je priporočil: Pripišimo vsakemu od neoznačenih primerkov oznako (+1 ali 1) in to tako, da bo potem pri učenju na obojih skupaj mogoče doseči čim manjšo vrednost kriterijske funkcije. minimiziraj f(w, b, ξ, ξ, y ) := 1 2 w 2 + C l i=1 ξ i + C m j=1 ξ i pri pogojih i 1..l : y i (w T x i + b) 1 ξ i, ξ i 0 j 1..m : yj (wt x j + b) 1 ξ j, ξ j 0, y j {1, 1} Tega ne moremo kar minimizirati, saj so spremenljivke y j diskretne.

50 Transduktivni SVM 50/60 minimiziraj f(w, b, ξ, ξ, y ) := 1 2 w 2 + C l i=1 ξ i + C m j=1 ξ i pri pogojih i 1..l : y i (w T x i + b) 1 ξ i, ξ i 0 j 1..m : yj (wt x j + b) 1 ξ j, ξ j 0, y j {1, 1} Zato je Joachims (1999) predlagal hevristiko: 1. Najprej se naučimo le na prvotni učni mnoˇzici. Dobljena w in b uporabimo, da označimo ostale primerke: nekaj x j z najvišjimi wt x j dobi oznako +1, ostali Pripravimo nov model na vseh primerkih. Dokler gre, poskušamo zamenjati oznaki kakšnih takih x j 1 in x j 2, ki sta različno označena in se dosedanji model zmoti na obeh (torej: napove nasprotno oznako od tiste, ki smo jima jo pripisali mi). Če je ob ponovnem učenju f manjša, zamenjavo obdržimo. 3. Ko to ne gre več, vpliv neoznačenih primerkov (C ) povečamo in ponovimo prejšnjo točko. Ponavljamo, dokler ne postane C = C.

51 Vračanje verjetnosti 51/60 Lepo je, če klasifikator vrne aposteriorno verjetnost P (Y = y X = x); SVM pa vrne le vrednost f(x) = w T x + b (oz. njen predznak) Na abscisi so vrednosti f, na ordinati pa delež pozitivnih primerkov znotraj košarice širine 0,1.

52 Vračanje verjetnosti 52/60 Zato je Platt (1999) predlagal, da bi na f-je položili sigmoido: P (Y = 1 F = f) = 1, P (Y = 1 F = f) = 1 P (Y = 1 F = f). 1 + exp( Af + B) A in B izberimo tako, da se maksimizira l P (Y = y i F = w T x i + b) oziroma logaritem tega. To je verjetnost, da, če dobimo ravno take primerke, kot jih imamo mi tule (torej x i, i 1..l), imajo ti primerki tudi ravno take oznake, kot jih vidimo mi (torej y i ). Koristno je vzeti ločeno validacijsko množico, ne iste kot za učenje prediktorja f. To nam ponudi tudi malo drugačen klasifikator: { +1, če P (Y = +1 F = w napoved(x) = T x + b) 1/2 1, sicer. Učinek je tak, kot če bi spremenili prag: To včasih izboljša točnost. i=1 napoved(x) = sgn(w T x + b B/A)

53 Večrazredni problemi 53/60 Imamo r razredov, vsak primerek spada v natanko enega od njih. Moramo ga preoblikovati v več dvorazrednih problemov. Eden proti ostalim: naučimo r modelov, ki ločujejo po en razred od ostalih. Če jih več razglasi primerek za pozitivnega, vzamemo tistega z največjo w T x + b (ali pa največjo P (Y = 1 f)). Eden proti enemu: za vsak par razredov naučimo model, ki ju razločuje. Nov primerek pokažemo vsem modelom in se odločimo za razred, ki dobi največ glasov. DAGSVM: različica prejšnje strategije. Če model za {c i, c j } reče, da je primerek v c i, to sicer še ne pomeni, da je res v c i, pač pa, da skoraj gotovo ni v c j. Kodne matrike: naučimo m modelov; vrednost M ij { 1, 0, 1} pove, kako uporabimo primerke razreda c i pri učenju j-tega modela. Nov primerek pokaˇzemo vsem, dobimo vrstico napovedi, ki jo primerjamo z vrsticami matrike M. Razne ideje glede matrike M: gosta, redka, maksimalna, ECC. Allwein et al. (2000) ter Hsu in Lin (2001) priporočajo pristop eden proti enemu.

54 Regresijski SVM 54/60 Radi bi napovedovali takole: y = w, x + b. To si lahko predstavljamo kot ravnino v (d + 1)-razsežnem prostoru. Učni primerki (x i, y i ) naj vsi ležijo čim bližje te ravnine. y i w, x i + b < ε Če velja to, ležijo vse (x i, y i ) znotraj pasu širine 2ε/ 1 + w 2. Torej je spet dobro minimizirati w. 1 minimiziraj 2 w 2 + C l i=1 (ξ i + ξi ) pri pogojih ( i 1..l) : y i w, x i + b + ε + ξi y i w, x i + b ε ξi ξi 0, ξi 0 ε si izberemo vnaprej za majhne napake se sploh ne zmenimo. To spet lahko predelamo v dualni problem in rešujemo s kvadratnim programiranjem.

55 ν-svm (Schölkopf et al., 1998) 55/60 Namesto parametra C uporabimo ν [0, 1]: minimiziraj f(w, b, γ, ξ) := 1 2 w 2 νγ + 1 l l i=1 ξ i pri pogojih ( i 1..l) : y i (w T x i + b) γ ξ i ξ i 0, γ 0 Širina roba je zdaj 2γ/ w. Pokazati se da: delež učnih primerkov, ki niso na pravi strani roba ν delež podpornih vektorjev ν če bi dobivali vse več učnih podatkov in če porazdelitev, iz katere prihajajo, ni preveč čudna, bi v gornjih dveh neenačbah konvergirali k enakosti. S parametrom ν nadziramo deleˇz podpornih vektorjev in napak, tako kot s C v prvotni formulaciji, le da z ν bolj neposredno.

56 ROMMA (relaxed on-line maximum margin algorithm, Li & Long, 2002) 56/60 On-line učenje: sproti, ko prihajajo novi učni primerki, ˇzelimo popravljati model. Omejimo se na b = 0 in trdi rob. SVMjev optimizacijski problem bi bil: minimiziraj 1 2 w 2 pri pogojih ( i 1..l) : y i w T x i 1 origin Iščemo torej tisto točko w iz dopustne mnoˇzice, ki je najbliˇzja koordinatnemu izhodišču. Več ko je primerkov, bolj je dopustna mnoˇzica zapletena. Naj bo w 1 najkrajša normala v dopustni mnoˇzici. Če zamenjamo vse pogoje z enim samim: w T w 1 w 1 2, je nova dopustna množica nadmnožica stare, najkrajši w v njej pa je še vedno w 1.

57 ROMMA 57/60 Postopek je torej tak: Prvi učni primerek nam da kot pogoj le eno linearno neenačbo: y 1 w T x 1 1 Za vsak naslednji učni primerek (x t, y t ): Dosedanji neenačbi w T u t 1 v t 1 se pridruˇzi še tista od trenutnega učnega primerka: y t w T x t 1. Izračunajmo najkrajši w, ki ustreza obema; recimo mu w t. Zamenjajmo obe neenačbi z eno samo: w T w t w t 2. Torej imamo u t = w t, v t = w t 2. Vpeljati je mogoče tudi neke vrste kvadratno kazen (+C i ξ2 i ). Jedru po diagonali prištejemo 1/2C: K novo (x i, x j ) := K staro (x i, x j ) + (1/2C) δ ij. Pri linearnem jedru je to enako, kot če bi vsak x i podaljšali z l komponentami, ki so same ničle, razen i-te, ki je enica. Očitno je, da je problem potem res linearno separabilen.

58 Programi 58/60 SvmLight (T. Joachims): Posebej hiter pri linearnem jedru. Podpira običajno in transduktivno formulacijo klasifikacijskega SVM, v zadnji verziji podpira tudi regresijo. LibSvm (C.-C. Chang, C.-J. Lin): Poleg običajnega SVM podpira še ν-svm, regresijo in ocenjevanje podpore porazdelitev. Podpira večrazredne probleme (strategija eden proti enemu ). MySvm (S. Rüping), itd., itd. Demo v javi:

59 Literatura 59/60 C. J. C. Burges: A tutorial on support vector machines for pattern recognition. Data Mining and Knowledge Discovery, 2(2): , June Delavnice na NIPS (Neural Information Processing Systems): NIPS 97: B. Schölkopf, C. J. C. Burges, A. J. Smola (eds.): Advances in kernel methods: Support vector learning. MIT Press, NIPS 98: A. J. Smola, P. J. Bartlett, B. Schölkopf, D. Schuurmans: Advances in large-margin classifiers. MIT Press, NIPS 99: Machine Learning, special issue on SVMs and kernel methods, 46(1 3), January March NIPS 2000: Journal of Machine Learning Research, special issue on kernel methods, December 2001.

60 Literatura 60/60 Knjige: N. Christianini, J. Shawe-Taylor: An introduction to Support Vector Machines and other kernel-based methods. Cambridge University Press, [ B. Schölkopf, A. J. Smola: Learning with kernels. MIT Press, [ R. Herbrich: Learning kernel classifiers. MIT Press, [ V. N. Vapnik: Statistical learning theory. Wiley-Interscience, V. N. Vapnik: The nature of statistical learning theory. Springer, 1995, Web site:

Reševanje problemov in algoritmi

Reševanje problemov in algoritmi Reševanje problemov in algoritmi Vhod Algoritem Izhod Kaj bomo spoznali Zgodovina algoritmov. Primeri algoritmov. Algoritmi in programi. Kaj je algoritem? Algoritem je postopek, kako korak za korakom rešimo

More information

Introduction to Support Vector Machines

Introduction to Support Vector Machines Introduction to Support Vector Machines Andreas Maletti Technische Universität Dresden Fakultät Informatik June 15, 2006 1 The Problem 2 The Basics 3 The Proposed Solution Learning by Machines Learning

More information

Linearna regresija. Poglavje 4

Linearna regresija. Poglavje 4 Poglavje 4 Linearna regresija Vinkove rezultate iz kemije so založili. Enostavno, komisija je izgubila izpitne pole. Rešitev: Vinko bo kemijo pisal še enkrat. Ampak, ne more, je ravno odšel na trening

More information

Outline. Basic concepts: SVM and kernels SVM primal/dual problems. Chih-Jen Lin (National Taiwan Univ.) 1 / 22

Outline. Basic concepts: SVM and kernels SVM primal/dual problems. Chih-Jen Lin (National Taiwan Univ.) 1 / 22 Outline Basic concepts: SVM and kernels SVM primal/dual problems Chih-Jen Lin (National Taiwan Univ.) 1 / 22 Outline Basic concepts: SVM and kernels Basic concepts: SVM and kernels SVM primal/dual problems

More information

Linearna algebra. Bojan Orel. Univerza v Ljubljani

Linearna algebra. Bojan Orel. Univerza v Ljubljani Linearna algebra Bojan Orel 07 Univerza v Ljubljani Fakulteta za računalništvo in informatiko CIP - Kataložni zapis o publikaciji Narodna in univerzitetna knjižnica, Ljubljana 5.64(075.8) OREL, Bojan Linearna

More information

OPTIMIZACIJSKE METODE skripta v pripravi

OPTIMIZACIJSKE METODE skripta v pripravi OPTIMIZACIJSKE METODE skripta v pripravi Vladimir Batagelj Ljubljana 17. december 2003 2 Kazalo Predgovor 5 1 Optimizacijske naloge 7 1.1 Osnovni pojmi........................... 7 1.2 Primeri optimizacijskih

More information

UNIVERZA V LJUBLJANI PEDAGOŠKA FAKULTETA POLONA ŠENKINC REŠEVANJE LINEARNIH DIFERENCIALNIH ENAČB DRUGEGA REDA S POMOČJO POTENČNIH VRST DIPLOMSKO DELO

UNIVERZA V LJUBLJANI PEDAGOŠKA FAKULTETA POLONA ŠENKINC REŠEVANJE LINEARNIH DIFERENCIALNIH ENAČB DRUGEGA REDA S POMOČJO POTENČNIH VRST DIPLOMSKO DELO UNIVERZA V LJUBLJANI PEDAGOŠKA FAKULTETA POLONA ŠENKINC REŠEVANJE LINEARNIH DIFERENCIALNIH ENAČB DRUGEGA REDA S POMOČJO POTENČNIH VRST DIPLOMSKO DELO LJUBLJANA, 2016 UNIVERZA V LJUBLJANI PEDAGOŠKA FAKULTETA

More information

Support Vector Machines II. CAP 5610: Machine Learning Instructor: Guo-Jun QI

Support Vector Machines II. CAP 5610: Machine Learning Instructor: Guo-Jun QI Support Vector Machines II CAP 5610: Machine Learning Instructor: Guo-Jun QI 1 Outline Linear SVM hard margin Linear SVM soft margin Non-linear SVM Application Linear Support Vector Machine An optimization

More information

UNIVERZA V MARIBORU FAKULTETA ZA NARAVOSLOVJE IN MATEMATIKO. Oddelek za matematiko in računalništvo MAGISTRSKA NALOGA. Tina Lešnik

UNIVERZA V MARIBORU FAKULTETA ZA NARAVOSLOVJE IN MATEMATIKO. Oddelek za matematiko in računalništvo MAGISTRSKA NALOGA. Tina Lešnik UNIVERZA V MARIBORU FAKULTETA ZA NARAVOSLOVJE IN MATEMATIKO Oddelek za matematiko in računalništvo MAGISTRSKA NALOGA Tina Lešnik Maribor, 2014 UNIVERZA V MARIBORU FAKULTETA ZA NARAVOSLOVJE IN MATEMATIKO

More information

TOPLJENEC ASOCIIRA LE V VODNI FAZI

TOPLJENEC ASOCIIRA LE V VODNI FAZI TOPLJENEC ASOCIIRA LE V VODNI FAZI V primeru asociacij molekul topljenca v vodni ali organski fazi eksperimentalno določeni navidezni porazdelitveni koeficient (P n ) v odvisnosti od koncentracije ni konstanten.

More information

An introduction to Support Vector Machines

An introduction to Support Vector Machines 1 An introduction to Support Vector Machines Giorgio Valentini DSI - Dipartimento di Scienze dell Informazione Università degli Studi di Milano e-mail: valenti@dsi.unimi.it 2 Outline Linear classifiers

More information

Formulation with slack variables

Formulation with slack variables Formulation with slack variables Optimal margin classifier with slack variables and kernel functions described by Support Vector Machine (SVM). min (w,ξ) ½ w 2 + γσξ(i) subject to ξ(i) 0 i, d(i) (w T x(i)

More information

Support Vector Machines

Support Vector Machines Support Vector Machines Statistical Inference with Reproducing Kernel Hilbert Space Kenji Fukumizu Institute of Statistical Mathematics, ROIS Department of Statistical Science, Graduate University for

More information

Learning with kernels and SVM

Learning with kernels and SVM Learning with kernels and SVM Šámalova chata, 23. května, 2006 Petra Kudová Outline Introduction Binary classification Learning with Kernels Support Vector Machines Demo Conclusion Learning from data find

More information

UNIVERZA V MARIBORU FAKULTETA ZA NARAVOSLOVJE IN MATEMATIKO. Oddelek za matematiko in računalništvo DIPLOMSKO DELO.

UNIVERZA V MARIBORU FAKULTETA ZA NARAVOSLOVJE IN MATEMATIKO. Oddelek za matematiko in računalništvo DIPLOMSKO DELO. UNIVERZA V MARIBORU FAKULTETA ZA NARAVOSLOVJE IN MATEMATIKO Oddelek za matematiko in računalništvo DIPLOMSKO DELO Sabina Skornšek Maribor, 2012 UNIVERZA V MARIBORU FAKULTETA ZA NARAVOSLOVJE IN MATEMATIKO

More information

Problem umetnostne galerije

Problem umetnostne galerije Problem umetnostne galerije Marko Kandič 17. september 2006 Za začetek si oglejmo naslednji primer. Recimo, da imamo v galeriji polno vrednih slik in nočemo, da bi jih kdo ukradel. Seveda si želimo, da

More information

Support Vector Machines

Support Vector Machines Support Vector Machines Tobias Pohlen Selected Topics in Human Language Technology and Pattern Recognition February 10, 2014 Human Language Technology and Pattern Recognition Lehrstuhl für Informatik 6

More information

Multipla korelacija in regresija. Multipla regresija, multipla korelacija, statistično zaključevanje o multiplem R

Multipla korelacija in regresija. Multipla regresija, multipla korelacija, statistično zaključevanje o multiplem R Multipla koelacia in egesia Multipla egesia, multipla koelacia, statistično zaklučevane o multiplem Multipla egesia osnovni model in ačunane paametov Z multiplo egesio napoveduemo vednost kiteia (odvisne

More information

UNIVERZA NA PRIMORSKEM FAKULTETA ZA MATEMATIKO, NARAVOSLOVJE IN INFORMACIJSKE TEHNOLOGIJE. Verjetnostni algoritmi za testiranje praštevilskosti

UNIVERZA NA PRIMORSKEM FAKULTETA ZA MATEMATIKO, NARAVOSLOVJE IN INFORMACIJSKE TEHNOLOGIJE. Verjetnostni algoritmi za testiranje praštevilskosti UNIVERZA NA PRIMORSKEM FAKULTETA ZA MATEMATIKO, NARAVOSLOVJE IN INFORMACIJSKE TEHNOLOGIJE Zaključna naloga Verjetnostni algoritmi za testiranje praštevilskosti (Algorithms for testing primality) Ime in

More information

LIBSVM: a Library for Support Vector Machines (Version 2.32)

LIBSVM: a Library for Support Vector Machines (Version 2.32) LIBSVM: a Library for Support Vector Machines (Version 2.32) Chih-Chung Chang and Chih-Jen Lin Last updated: October 6, 200 Abstract LIBSVM is a library for support vector machines (SVM). Its goal is to

More information

Gaps in Support Vector Optimization

Gaps in Support Vector Optimization Gaps in Support Vector Optimization Nikolas List 1 (student author), Don Hush 2, Clint Scovel 2, Ingo Steinwart 2 1 Lehrstuhl Mathematik und Informatik, Ruhr-University Bochum, Germany nlist@lmi.rub.de

More information

LIBSVM: a Library for Support Vector Machines

LIBSVM: a Library for Support Vector Machines LIBSVM: a Library for Support Vector Machines Chih-Chung Chang and Chih-Jen Lin Last updated: September 6, 2006 Abstract LIBSVM is a library for support vector machines (SVM). Its goal is to help users

More information

OFF-LINE NALOGA NAJKRAJŠI SKUPNI NADNIZ

OFF-LINE NALOGA NAJKRAJŠI SKUPNI NADNIZ 1 OFF-LINE NALOGA NAJKRAJŠI SKUPNI NADNIZ Opis problema. Danih je k vhodnih nizov, ki jih označimo s t 1,..., t k. Množico vseh znakov, ki se pojavijo v vsaj enem vhodnem nizu, imenujmo abeceda in jo označimo

More information

Eulerjevi in Hamiltonovi grafi

Eulerjevi in Hamiltonovi grafi Eulerjevi in Hamiltonovi grafi Bojan Možina 30. december 006 1 Eulerjevi grafi Štirje deli mesta Königsberg v Prusiji so bili povezani s sedmimi mostovi (glej levi del slike 1). Zdaj se Königsberg imenuje

More information

ENAČBA STANJA VODE IN VODNE PARE

ENAČBA STANJA VODE IN VODNE PARE ENAČBA STANJA VODE IN VODNE PARE SEMINARSKA NALOGA PRI PREDMETU JEDRSKA TEHNIKA IN ENERGETIKA TAMARA STOJANOV MENTOR: IZRED. PROF. DR. IZTOK TISELJ NOVEMBER 2011 Enačba stanja idealni plin: pv = RT p tlak,

More information

UNIVERZA V LJUBLJANI PEDAGOŠKA FAKULTETA SAŠO ZUPANEC MAX-PLUS ALGEBRA DIPLOMSKO DELO

UNIVERZA V LJUBLJANI PEDAGOŠKA FAKULTETA SAŠO ZUPANEC MAX-PLUS ALGEBRA DIPLOMSKO DELO UNIVERZA V LJUBLJANI PEDAGOŠKA FAKULTETA SAŠO ZUPANEC MAX-PLUS ALGEBRA DIPLOMSKO DELO Ljubljana, 2013 UNIVERZA V LJUBLJANI PEDAGOŠKA FAKULTETA ODDELEK ZA MATEMATIKO IN RAČUNALNIŠTVO SAŠO ZUPANEC Mentor:

More information

AKSIOMATSKA KONSTRUKCIJA NARAVNIH

AKSIOMATSKA KONSTRUKCIJA NARAVNIH UNIVERZA V LJUBLJANI PEDAGOŠKA FAKULTETA Poučevanje: Predmetno poučevanje ŠPELA ZOBAVNIK AKSIOMATSKA KONSTRUKCIJA NARAVNIH ŠTEVIL MAGISTRSKO DELO LJUBLJANA, 2016 UNIVERZA V LJUBLJANI PEDAGOŠKA FAKULTETA

More information

Support Vector Machine Regression for Volatile Stock Market Prediction

Support Vector Machine Regression for Volatile Stock Market Prediction Support Vector Machine Regression for Volatile Stock Market Prediction Haiqin Yang, Laiwan Chan, and Irwin King Department of Computer Science and Engineering The Chinese University of Hong Kong Shatin,

More information

Support Vector Machines and Kernel Algorithms

Support Vector Machines and Kernel Algorithms Support Vector Machines and Kernel Algorithms Bernhard Schölkopf Max-Planck-Institut für biologische Kybernetik 72076 Tübingen, Germany Bernhard.Schoelkopf@tuebingen.mpg.de Alex Smola RSISE, Australian

More information

Ekstrakcija časovnega znanja iz dogodkov v spletnih novicah

Ekstrakcija časovnega znanja iz dogodkov v spletnih novicah Univerza v Ljubljani Fakulteta za računalništvo in informatiko Kristijan Mirčeta Ekstrakcija časovnega znanja iz dogodkov v spletnih novicah DIPLOMSKO DELO UNIVERZITETNI ŠTUDIJSKI PROGRAM PRVE STOPNJE

More information

Support Vector Machine I

Support Vector Machine I Support Vector Machine I Statistical Data Analysis with Positive Definite Kernels Kenji Fukumizu Institute of Statistical Mathematics, ROIS Department of Statistical Science, Graduate University for Advanced

More information

UNIVERZA V NOVI GORICI POSLOVNO-TEHNIŠKA FAKULTETA REŠEVANJE OPTIMIZACIJSKIH PROBLEMOV S PROGRAMSKIM PAKETOM SCICOSLAB DIPLOMSKO DELO.

UNIVERZA V NOVI GORICI POSLOVNO-TEHNIŠKA FAKULTETA REŠEVANJE OPTIMIZACIJSKIH PROBLEMOV S PROGRAMSKIM PAKETOM SCICOSLAB DIPLOMSKO DELO. UNIVERZA V NOVI GORICI POSLOVNO-TEHNIŠKA FAKULTETA REŠEVANJE OPTIMIZACIJSKIH PROBLEMOV S PROGRAMSKIM PAKETOM SCICOSLAB DIPLOMSKO DELO Jana Miklavič Mentor: prof. dr. Juš Kocijan Nova Gorica, 2012 NASLOV

More information

UNIVERZA NA PRIMORSKEM FAKULTETA ZA MATEMATIKO, NARAVOSLOVJE IN INFORMACIJSKE TEHNOLOGIJE. Kvadratne forme nad končnimi obsegi

UNIVERZA NA PRIMORSKEM FAKULTETA ZA MATEMATIKO, NARAVOSLOVJE IN INFORMACIJSKE TEHNOLOGIJE. Kvadratne forme nad končnimi obsegi UNIVERZA NA PRIMORSKEM FAKULTETA ZA MATEMATIKO, NARAVOSLOVJE IN INFORMACIJSKE TEHNOLOGIJE Zaključna naloga Kvadratne forme nad končnimi obsegi (Quadratic Forms over Finite Fields) Ime in priimek: Borut

More information

A GENERAL FORMULATION FOR SUPPORT VECTOR MACHINES. Wei Chu, S. Sathiya Keerthi, Chong Jin Ong

A GENERAL FORMULATION FOR SUPPORT VECTOR MACHINES. Wei Chu, S. Sathiya Keerthi, Chong Jin Ong A GENERAL FORMULATION FOR SUPPORT VECTOR MACHINES Wei Chu, S. Sathiya Keerthi, Chong Jin Ong Control Division, Department of Mechanical Engineering, National University of Singapore 0 Kent Ridge Crescent,

More information

Discussion of Some Problems About Nonlinear Time Series Prediction Using ν-support Vector Machine

Discussion of Some Problems About Nonlinear Time Series Prediction Using ν-support Vector Machine Commun. Theor. Phys. (Beijing, China) 48 (2007) pp. 117 124 c International Academic Publishers Vol. 48, No. 1, July 15, 2007 Discussion of Some Problems About Nonlinear Time Series Prediction Using ν-support

More information

Support Vector Machines Explained

Support Vector Machines Explained December 23, 2008 Support Vector Machines Explained Tristan Fletcher www.cs.ucl.ac.uk/staff/t.fletcher/ Introduction This document has been written in an attempt to make the Support Vector Machines (SVM),

More information

A Revisit to Support Vector Data Description (SVDD)

A Revisit to Support Vector Data Description (SVDD) A Revisit to Support Vector Data Description (SVDD Wei-Cheng Chang b99902019@csie.ntu.edu.tw Ching-Pei Lee r00922098@csie.ntu.edu.tw Chih-Jen Lin cjlin@csie.ntu.edu.tw Department of Computer Science, National

More information

Hipohamiltonovi grafi

Hipohamiltonovi grafi Hipohamiltonovi grafi Marko Čmrlec, Bor Grošelj Simić Mentor(ica): Vesna Iršič Matematično raziskovalno srečanje 1. avgust 016 1 Uvod V marsovskem klubu je želel predsednik prirediti večerjo za svoje člane.

More information

Support Vector Machines

Support Vector Machines Support Vector Machines Chih-Jen Lin Department of Computer Science National Taiwan University Talk at Machine Learning Summer School 2006, Taipei Chih-Jen Lin (National Taiwan Univ.) MLSS 2006, Taipei

More information

Applied inductive learning - Lecture 7

Applied inductive learning - Lecture 7 Applied inductive learning - Lecture 7 Louis Wehenkel & Pierre Geurts Department of Electrical Engineering and Computer Science University of Liège Montefiore - Liège - November 5, 2012 Find slides: http://montefiore.ulg.ac.be/

More information

MACHINE LEARNING. Support Vector Machines. Alessandro Moschitti

MACHINE LEARNING. Support Vector Machines. Alessandro Moschitti MACHINE LEARNING Support Vector Machines Alessandro Moschitti Department of information and communication technology University of Trento Email: moschitti@dit.unitn.it Summary Support Vector Machines

More information

Convergence of a Generalized Gradient Selection Approach for the Decomposition Method

Convergence of a Generalized Gradient Selection Approach for the Decomposition Method Convergence of a Generalized Gradient Selection Approach for the Decomposition Method Nikolas List Fakultät für Mathematik, Ruhr-Universität Bochum, 44780 Bochum, Germany Niko.List@gmx.de Abstract. The

More information

UČNI NAČRT PREDMETA / COURSE SYLLABUS (leto / year 2017/18) Predmet: Optimizacija 1 Course title: Optimization 1. Študijska smer Study field

UČNI NAČRT PREDMETA / COURSE SYLLABUS (leto / year 2017/18) Predmet: Optimizacija 1 Course title: Optimization 1. Študijska smer Study field UČNI NAČRT PREDMETA / COURSE SYLLABUS (leto / year 2017/18) Predmet: Optimizacija 1 Course title: Optimization 1 Študijski program in stopnja Study programme and level Univerzitetni študijski program Matematika

More information

Machine Learning. Lecture 6: Support Vector Machine. Feng Li.

Machine Learning. Lecture 6: Support Vector Machine. Feng Li. Machine Learning Lecture 6: Support Vector Machine Feng Li fli@sdu.edu.cn https://funglee.github.io School of Computer Science and Technology Shandong University Fall 2018 Warm Up 2 / 80 Warm Up (Contd.)

More information

OPTIMIZACIJA Z ROJEM DELCEV

OPTIMIZACIJA Z ROJEM DELCEV UNIVERZA V MARIBORU FAKULTETA ZA ORGANIZACIJSKE VEDE Smer: organizacijska informatika OPTIMIZACIJA Z ROJEM DELCEV Mentor: doc. dr. Igor Bernik Kandidat: Matjaž Lipovšek Kranj, december 2005 Izjava: "Študent

More information

Cveto Trampuž PRIMERJAVA ANALIZE VEČRAZSEŽNIH TABEL Z RAZLIČNIMI MODELI REGRESIJSKE ANALIZE DIHOTOMNIH SPREMENLJIVK

Cveto Trampuž PRIMERJAVA ANALIZE VEČRAZSEŽNIH TABEL Z RAZLIČNIMI MODELI REGRESIJSKE ANALIZE DIHOTOMNIH SPREMENLJIVK Cveto Trampuž PRIMERJAVA ANALIZE VEČRAZSEŽNIH TABEL Z RAZLIČNIMI MODELI REGRESIJSKE ANALIZE DIHOTOMNIH SPREMENLJIVK POVZETEK. Namen tega dela je prikazati osnove razlik, ki lahko nastanejo pri interpretaciji

More information

Iskanje najcenejše poti v grafih preko polkolobarjev

Iskanje najcenejše poti v grafih preko polkolobarjev Univerza v Ljubljani Fakulteta za računalništvo in informatiko Veronika Horvat Iskanje najcenejše poti v grafih preko polkolobarjev DIPLOMSKO DELO VISOKOŠOLSKI STROKOVNI ŠTUDIJSKI PROGRAM PRVE STOPNJE

More information

Convex Optimization. Dani Yogatama. School of Computer Science, Carnegie Mellon University, Pittsburgh, PA, USA. February 12, 2014

Convex Optimization. Dani Yogatama. School of Computer Science, Carnegie Mellon University, Pittsburgh, PA, USA. February 12, 2014 Convex Optimization Dani Yogatama School of Computer Science, Carnegie Mellon University, Pittsburgh, PA, USA February 12, 2014 Dani Yogatama (Carnegie Mellon University) Convex Optimization February 12,

More information

Kode za popravljanje napak

Kode za popravljanje napak UNIVERZA NA PRIMORSKEM FAKULTETA ZA MATEMATIKO NARAVOSLOVJE IN INFORMACIJSKE TEHNOLOGIJE KOPER MATEMATIČNE ZNANOSTI MAGISTRSKI ŠTUDIJSKI PROGRAM 2. STOPNJE Aljaž Slivnik Kode za popravljanje napak Magistrska

More information

Support Vector Machine & Its Applications

Support Vector Machine & Its Applications Support Vector Machine & Its Applications A portion (1/3) of the slides are taken from Prof. Andrew Moore s SVM tutorial at http://www.cs.cmu.edu/~awm/tutorials Mingyue Tan The University of British Columbia

More information

An Improved Conjugate Gradient Scheme to the Solution of Least Squares SVM

An Improved Conjugate Gradient Scheme to the Solution of Least Squares SVM An Improved Conjugate Gradient Scheme to the Solution of Least Squares SVM Wei Chu Chong Jin Ong chuwei@gatsby.ucl.ac.uk mpeongcj@nus.edu.sg S. Sathiya Keerthi mpessk@nus.edu.sg Control Division, Department

More information

Support Vector Machines. Maximizing the Margin

Support Vector Machines. Maximizing the Margin Support Vector Machines Support vector achines (SVMs) learn a hypothesis: h(x) = b + Σ i= y i α i k(x, x i ) (x, y ),..., (x, y ) are the training exs., y i {, } b is the bias weight. α,..., α are the

More information

Support Vector Machines

Support Vector Machines Support Vector Machines Sridhar Mahadevan mahadeva@cs.umass.edu University of Massachusetts Sridhar Mahadevan: CMPSCI 689 p. 1/32 Margin Classifiers margin b = 0 Sridhar Mahadevan: CMPSCI 689 p.

More information

Linearne enačbe. Matrična algebra. Linearne enačbe. Linearne enačbe. Linearne enačbe. Linearne enačbe

Linearne enačbe. Matrična algebra. Linearne enačbe. Linearne enačbe. Linearne enačbe. Linearne enačbe Sistem linearnih enačb Matrična algebra Oseba X X X3 B A.A. 3 B.B. 7 C.C. Doc. dr. Anja Podlesek Oddelek za psihologijo, Filozofska fakulteta, Univerza v Ljubljani Študijski program prve stopnje Psihologija

More information

UNIVERZA NA PRIMORSKEM FAKULTETA ZA MATEMATIKO, NARAVOSLOVJE IN INFORMACIJSKE TEHNOLOGIJE

UNIVERZA NA PRIMORSKEM FAKULTETA ZA MATEMATIKO, NARAVOSLOVJE IN INFORMACIJSKE TEHNOLOGIJE UNIVERZA NA PRIMORSKEM FAKULTETA ZA MATEMATIKO, NARAVOSLOVJE IN INFORMACIJSKE TEHNOLOGIJE Zaključna naloga Uporaba logistične regresije za napovedovanje razreda, ko je število enot v preučevanih razredih

More information

Dejan Petelin. Sprotno učenje modelov na podlagi Gaussovih procesov

Dejan Petelin. Sprotno učenje modelov na podlagi Gaussovih procesov UNIVERZA V LJUBLJANI FAKULTETA ZA RAČUNALNIŠTVO IN INFORMATIKO Dejan Petelin Sprotno učenje modelov na podlagi Gaussovih procesov DIPLOMSKO DELO NA UNIVERZITETNEM ŠTUDIJU Mentor: doc. dr. Janez Demšar

More information

Support Vector Machines for Classification: A Statistical Portrait

Support Vector Machines for Classification: A Statistical Portrait Support Vector Machines for Classification: A Statistical Portrait Yoonkyung Lee Department of Statistics The Ohio State University May 27, 2011 The Spring Conference of Korean Statistical Society KAIST,

More information

Hadamardove matrike in misija Mariner 9

Hadamardove matrike in misija Mariner 9 Hadamardove matrike in misija Mariner 9 Aleksandar Jurišić, 25. avgust, 2009 J. Hadamard (1865-1963) je bil eden izmed pomembnejših matematikov na prehodu iz 19. v 20. stoletje. Njegova najpomembnejša

More information

UNIVERZA NA PRIMORSKEM FAKULTETA ZA MATEMATIKO, NARAVOSLOVJE IN INFORMACIJSKE TEHNOLOGIJE. O neeksaknotsti eksaktnega binomskega intervala zaupanja

UNIVERZA NA PRIMORSKEM FAKULTETA ZA MATEMATIKO, NARAVOSLOVJE IN INFORMACIJSKE TEHNOLOGIJE. O neeksaknotsti eksaktnega binomskega intervala zaupanja UNIVERZA NA PRIMORSKEM FAKULTETA ZA MATEMATIKO, NARAVOSLOVJE IN INFORMACIJSKE TEHNOLOGIJE Zaključna naloga (Final project paper) O neeksaknotsti eksaktnega binomskega intervala zaupanja (On the inexactness

More information

Polyhedral Computation. Linear Classifiers & the SVM

Polyhedral Computation. Linear Classifiers & the SVM Polyhedral Computation Linear Classifiers & the SVM mcuturi@i.kyoto-u.ac.jp Nov 26 2010 1 Statistical Inference Statistical: useful to study random systems... Mutations, environmental changes etc. life

More information

NIKJER-NIČELNI PRETOKI

NIKJER-NIČELNI PRETOKI UNIVERZA V LJUBLJANI PEDAGOŠKA FAKULTETA ALJA ŠUBIC NIKJER-NIČELNI PRETOKI DIPLOMSKO DELO LJUBLJANA, 2016 UNIVERZA V LJUBLJANI PEDAGOŠKA FAKULTETA Dvopredmetni učitelj: matematika - računalništvo ALJA

More information

Attempt to prepare seasonal weather outlook for Slovenia

Attempt to prepare seasonal weather outlook for Slovenia Attempt to prepare seasonal weather outlook for Slovenia Main available sources (ECMWF, EUROSIP, IRI, CPC.NCEP.NOAA,..) Two parameters (T and RR anomally) Textual information ( Met Office like ) Issued

More information

UNIVERZA V MARIBORU FAKULTETA ZA NARAVOSLOVJE IN MATEMATIKO. Oddelek za matematiko in računalništvo DIPLOMSKO DELO. Gregor Ambrož

UNIVERZA V MARIBORU FAKULTETA ZA NARAVOSLOVJE IN MATEMATIKO. Oddelek za matematiko in računalništvo DIPLOMSKO DELO. Gregor Ambrož UNIVERZA V MARIBORU FAKULTETA ZA NARAVOSLOVJE IN MATEMATIKO Oddelek za matematiko in računalništvo DIPLOMSKO DELO Gregor Ambrož Maribor, 2010 UNIVERZA V MARIBORU FAKULTETA ZA NARAVOSLOVJE IN MATEMATIKO

More information

TECHNICAL REPORT. No. CCLS Title: A Fractional Programming Framework for Support Vector Machine-type Formulations Authors: Ilia Vovsha

TECHNICAL REPORT. No. CCLS Title: A Fractional Programming Framework for Support Vector Machine-type Formulations Authors: Ilia Vovsha TECHNICAL REPORT No. CCLS-4-02 Title: A Fractional Programming Framework for Support Vector Machine-type Formulations Authors: Ilia Vovsha Copyright Center for Computational Learning Systems - CCLS Columbia

More information

ICS-E4030 Kernel Methods in Machine Learning

ICS-E4030 Kernel Methods in Machine Learning ICS-E4030 Kernel Methods in Machine Learning Lecture 3: Convex optimization and duality Juho Rousu 28. September, 2016 Juho Rousu 28. September, 2016 1 / 38 Convex optimization Convex optimisation This

More information

Support Vector Machine (SVM) and Kernel Methods

Support Vector Machine (SVM) and Kernel Methods Support Vector Machine (SVM) and Kernel Methods CE-717: Machine Learning Sharif University of Technology Fall 2016 Soleymani Outline Margin concept Hard-Margin SVM Soft-Margin SVM Dual Problems of Hard-Margin

More information

Matematika 1. Gabrijel Tomšič Bojan Orel Neža Mramor Kosta

Matematika 1. Gabrijel Tomšič Bojan Orel Neža Mramor Kosta Matematika 1 Gabrijel Tomšič Bojan Orel Neža Mramor Kosta 15. december 2010 Poglavje 3 Funkcije 3.1 Osnovni pojmi Preslikavam v množico R ali C običajno pravimo funkcije v prvem primeru realne, v drugem

More information

Solving the SVM Optimization Problem

Solving the SVM Optimization Problem Solving the SVM Optimization Problem Kernel-based Learning Methods Christian Igel Institut für Neuroinformatik Ruhr-Universität Bochum, Germany http://www.neuroinformatik.rub.de July 16, 2009 Christian

More information

Machine Learning. Support Vector Machines. Manfred Huber

Machine Learning. Support Vector Machines. Manfred Huber Machine Learning Support Vector Machines Manfred Huber 2015 1 Support Vector Machines Both logistic regression and linear discriminant analysis learn a linear discriminant function to separate the data

More information

Solutions. Name and surname: Instructions

Solutions. Name and surname: Instructions Uiversity of Ljubljaa, Faculty of Ecoomics Quatitative fiace ad actuarial sciece Probability ad statistics Writte examiatio September 4 th, 217 Name ad surame: Istructios Read the problems carefull before

More information

Support'Vector'Machines. Machine(Learning(Spring(2018 March(5(2018 Kasthuri Kannan

Support'Vector'Machines. Machine(Learning(Spring(2018 March(5(2018 Kasthuri Kannan Support'Vector'Machines Machine(Learning(Spring(2018 March(5(2018 Kasthuri Kannan kasthuri.kannan@nyumc.org Overview Support Vector Machines for Classification Linear Discrimination Nonlinear Discrimination

More information

Statistical Machine Learning from Data

Statistical Machine Learning from Data Samy Bengio Statistical Machine Learning from Data 1 Statistical Machine Learning from Data Support Vector Machines Samy Bengio IDIAP Research Institute, Martigny, Switzerland, and Ecole Polytechnique

More information

Outliers Treatment in Support Vector Regression for Financial Time Series Prediction

Outliers Treatment in Support Vector Regression for Financial Time Series Prediction Outliers Treatment in Support Vector Regression for Financial Time Series Prediction Haiqin Yang, Kaizhu Huang, Laiwan Chan, Irwin King, and Michael R. Lyu Department of Computer Science and Engineering

More information

ν =.1 a max. of 10% of training set can be margin errors ν =.8 a max. of 80% of training can be margin errors

ν =.1 a max. of 10% of training set can be margin errors ν =.8 a max. of 80% of training can be margin errors p.1/1 ν-svms In the traditional softmargin classification SVM formulation we have a penalty constant C such that 1 C size of margin. Furthermore, there is no a priori guidance as to what C should be set

More information

SVM and Kernel machine

SVM and Kernel machine SVM and Kernel machine Stéphane Canu stephane.canu@litislab.eu Escuela de Ciencias Informáticas 20 July 3, 20 Road map Linear SVM Linear classification The margin Linear SVM: the problem Optimization in

More information

Perceptron Revisited: Linear Separators. Support Vector Machines

Perceptron Revisited: Linear Separators. Support Vector Machines Support Vector Machines Perceptron Revisited: Linear Separators Binary classification can be viewed as the task of separating classes in feature space: w T x + b > 0 w T x + b = 0 w T x + b < 0 Department

More information

Non-linear Support Vector Machines

Non-linear Support Vector Machines Non-linear Support Vector Machines Andrea Passerini passerini@disi.unitn.it Machine Learning Non-linear Support Vector Machines Non-linearly separable problems Hard-margin SVM can address linearly separable

More information

A NEW MULTI-CLASS SUPPORT VECTOR ALGORITHM

A NEW MULTI-CLASS SUPPORT VECTOR ALGORITHM Optimization Methods and Software Vol. 00, No. 00, Month 200x, 1 18 A NEW MULTI-CLASS SUPPORT VECTOR ALGORITHM PING ZHONG a and MASAO FUKUSHIMA b, a Faculty of Science, China Agricultural University, Beijing,

More information

UČNI NAČRT PREDMETA / COURSE SYLLABUS Numerical linear algebra. Študijska smer Study field. Samost. delo Individ. work Klinične vaje work

UČNI NAČRT PREDMETA / COURSE SYLLABUS Numerical linear algebra. Študijska smer Study field. Samost. delo Individ. work Klinične vaje work Predmet: Course title: UČNI NAČRT PREDMETA / COURSE SYLLABUS Numerična linearna algebra Numerical linear algebra Študijski program in stopnja Study programme and level Univerzitetni študijski program Matematika

More information

POLDIREKTNI PRODUKT GRUP

POLDIREKTNI PRODUKT GRUP UNIVERZA V LJUBLJANI PEDAGOŠKA FAKULTETA LUCIJA ŽNIDARIČ POLDIREKTNI PRODUKT GRUP DIPLOMSKO DELO LJUBLJANA 2014 UNIVERZA V LJUBLJANI PEDAGOŠKA FAKULTETA Univerzitetni študijski program 1. stopnje: Dvopredmetni

More information

Izbrana poglavja iz algebrai ne teorije grafov. Zbornik seminarskih nalog iz algebrai ne teorije grafov

Izbrana poglavja iz algebrai ne teorije grafov. Zbornik seminarskih nalog iz algebrai ne teorije grafov Izbrana poglavja iz algebrai ne teorije grafov Zbornik seminarskih nalog iz algebrai ne teorije grafov Ljubljana, 2015 CIP Kataloºni zapis o publikaciji Narodna in univerzitetna knjiºnica, Ljubljana 519.24(082)(0.034.2)

More information

UČNI NAČRT PREDMETA / COURSE SYLLABUS (leto / year 2017/18) Parcialne diferencialne enačbe Partial differential equations. Študijska smer Study field

UČNI NAČRT PREDMETA / COURSE SYLLABUS (leto / year 2017/18) Parcialne diferencialne enačbe Partial differential equations. Študijska smer Study field Predmet: Course title: UČNI NAČRT PREDMETA / COURSE SYLLABUS (leto / year 2017/18) Parcialne diferencialne enačbe Partial differential equations Študijski program in stopnja Study programme and level Magistrski

More information

Training Support Vector Machines: Status and Challenges

Training Support Vector Machines: Status and Challenges ICML Workshop on Large Scale Learning Challenge July 9, 2008 Chih-Jen Lin (National Taiwan Univ.) 1 / 34 Training Support Vector Machines: Status and Challenges Chih-Jen Lin Department of Computer Science

More information

Univerza na Primorskem FAMNIT, MFI STATISTIKA 2 Seminarska naloga

Univerza na Primorskem FAMNIT, MFI STATISTIKA 2 Seminarska naloga Univerza na Primorskem FAMNIT, MFI STATISTIKA 2 Seminarska naloga Naloge so edini način preverjanja znanja pri predmetu Statistika. Vsaka naloga je vredna 10 točk, natančna pravila ocenjevanja pa so navedena

More information

Minimizacija učne množice pri učenju odločitvenih dreves

Minimizacija učne množice pri učenju odločitvenih dreves Univerza v Ljubljani Fakulteta za računalništvo in informatiko Ivan Štajduhar Minimizacija učne množice pri učenju odločitvenih dreves Diplomska naloga Mentor: prof. dr. Ivan Bratko Ljubljana, 2001 Izjava

More information

SLIKE CANTORJEVE PAHLJAµCE

SLIKE CANTORJEVE PAHLJAµCE UNIVERZA V MARIBORU FAKULTETA ZA NARAVOSLOVJE IN MATEMATIKO Oddelek za matematiko in raµcunalništvo Diplomsko delo SLIKE CANTORJEVE PAHLJAµCE Mentor: dr. Iztok Baniµc docent Kandidatka: Anja Belošević

More information

Chapter 9. Support Vector Machine. Yongdai Kim Seoul National University

Chapter 9. Support Vector Machine. Yongdai Kim Seoul National University Chapter 9. Support Vector Machine Yongdai Kim Seoul National University 1. Introduction Support Vector Machine (SVM) is a classification method developed by Vapnik (1996). It is thought that SVM improved

More information

Learning with Rigorous Support Vector Machines

Learning with Rigorous Support Vector Machines Learning with Rigorous Support Vector Machines Jinbo Bi 1 and Vladimir N. Vapnik 2 1 Department of Mathematical Sciences, Rensselaer Polytechnic Institute, Troy NY 12180, USA 2 NEC Labs America, Inc. Princeton

More information

ENERGY AND MASS SPECTROSCOPY OF IONS AND NEUTRALS IN COLD PLASMA

ENERGY AND MASS SPECTROSCOPY OF IONS AND NEUTRALS IN COLD PLASMA UDK621.3:(53+54+621 +66), ISSN0352-9045 Informaclje MIDEM 3~(~UU8)4, Ljubljana ENERGY AND MASS SPECTROSCOPY OF IONS AND NEUTRALS IN COLD PLASMA Marijan Macek 1,2* Miha Cekada 2 1 University of Ljubljana,

More information

OPTIMIRANJE IZDELOVALNIH PROCESOV

OPTIMIRANJE IZDELOVALNIH PROCESOV OPTIMIRANJE IZDELOVALNIH PROCESOV asist. Damir GRGURAŠ, mag. inž. str izr. prof. dr. Davorin KRAMAR damir.grguras@fs.uni-lj.si Namen vaje: Ugotoviti/določiti optimalne parametre pri struženju za dosego

More information

A Tutorial on Support Vector Machine

A Tutorial on Support Vector Machine A Tutorial on School of Computing National University of Singapore Contents Theory on Using with Other s Contents Transforming Theory on Using with Other s What is a classifier? A function that maps instances

More information

Uvod v odkrivanje znanj iz podatkov (zapiski predavatelja, samo za interno uporabo)

Uvod v odkrivanje znanj iz podatkov (zapiski predavatelja, samo za interno uporabo) Uvod v odkrivanje znanj iz podatkov (zapiski predavatelja, samo za interno uporabo) Blaž Zupan 29. julij 2017 Kazalo 1 Odkrivanje skupin 7 1.1 Primer podatkov.................................. 7 1.2 Nekaj

More information

A Study on Sigmoid Kernels for SVM and the Training of non-psd Kernels by SMO-type Methods

A Study on Sigmoid Kernels for SVM and the Training of non-psd Kernels by SMO-type Methods A Study on Sigmoid Kernels for SVM and the Training of non-psd Kernels by SMO-type Methods Abstract Hsuan-Tien Lin and Chih-Jen Lin Department of Computer Science and Information Engineering National Taiwan

More information

Študijska smer Study field. Samost. delo Individ. work Klinične vaje work. Vaje / Tutorial: Slovensko/Slovene

Študijska smer Study field. Samost. delo Individ. work Klinične vaje work. Vaje / Tutorial: Slovensko/Slovene UČNI NAČRT PREDMETA / COURSE SYLLABUS Predmet: Matematika 2 Course title: Mathematics 2 Študijski program in stopnja Study programme and level Univerzitetni študijski program 1.stopnje Fizika First cycle

More information

Linear classifiers selecting hyperplane maximizing separation margin between classes (large margin classifiers)

Linear classifiers selecting hyperplane maximizing separation margin between classes (large margin classifiers) Support vector machines In a nutshell Linear classifiers selecting hyperplane maximizing separation margin between classes (large margin classifiers) Solution only depends on a small subset of training

More information

SMO Algorithms for Support Vector Machines without Bias Term

SMO Algorithms for Support Vector Machines without Bias Term Institute of Automatic Control Laboratory for Control Systems and Process Automation Prof. Dr.-Ing. Dr. h. c. Rolf Isermann SMO Algorithms for Support Vector Machines without Bias Term Michael Vogt, 18-Jul-2002

More information

Linear classifiers selecting hyperplane maximizing separation margin between classes (large margin classifiers)

Linear classifiers selecting hyperplane maximizing separation margin between classes (large margin classifiers) Support vector machines In a nutshell Linear classifiers selecting hyperplane maximizing separation margin between classes (large margin classifiers) Solution only depends on a small subset of training

More information

Iterativne metode podprostorov 2010/2011 Domače naloge

Iterativne metode podprostorov 2010/2011 Domače naloge Iterativne metode podprostorov 2010/2011 Domače naloge Naloge so razdeljene v 6 skupin. Za pozitivno oceno morate rešiti toliko nalog, da bo končna vsota za pozitivno oceno vsaj 8 točk oz. vsaj 10 točk

More information

SVMC An introduction to Support Vector Machines Classification

SVMC An introduction to Support Vector Machines Classification SVMC An introduction to Support Vector Machines Classification 6.783, Biomedical Decision Support Lorenzo Rosasco (lrosasco@mit.edu) Department of Brain and Cognitive Science MIT A typical problem We have

More information

UNIVERZA NA PRIMORSKEM FAKULTETA ZA MATEMATIKO, NARAVOSLOVJE IN INFORMACIJSKE TEHNOLOGIJE

UNIVERZA NA PRIMORSKEM FAKULTETA ZA MATEMATIKO, NARAVOSLOVJE IN INFORMACIJSKE TEHNOLOGIJE UNIVERZA NA PRIMORSKEM FAKULTETA ZA MATEMATIKO, NARAVOSLOVJE IN INFORMACIJSKE TEHNOLOGIJE Zaključna naloga Primerjava modernih pristopov za identifikacijo pomembno izraženih genov za dve skupini (Comparison

More information