Strojno učenje 7 Linearne metode & SVM. Tomislav Šmuc

Transcription

1 Srojno učenje 7 Lnearne meode & Tomslav Šmuc

2 Leraura Lnearne meode The Elemens of Sascal Learnng Hase, Tbshran, Fredman s ed - ch. 4 The Elemens of Sascal Learnng Hase, Tbshran, Fredman s ed - ch. A Tuoral on Suppor Vecor Machnes for Paern Recognon 998 Chrsopher J. C. Burges A User's Gude o Suppor Vecor Machnes, Ben-Hur & Weson T. Joachms, Learnng o Classfy Te usng Suppor Vecor Machnes. Kluer, 00. Classc Reuers daa se: hp://.davddles.com /resources /escollecons/reuers578/ Sofare: hp://.kernel-machnes.org/ 7-Apr- TS: Srojno učenje Lnearne meode &

3 Generavn dskrmnavn model Dskrmnavn Generavn Učenje lnje koja razdvaja klase Učenje modela za svaku pojednu klasu TS: Srojno učenje Lnearne meode & 7-Apr- 3

4 Dskrmnavna funkcje C Granca zmeđu klasa d.funkcja C TS: Srojno učenje Lnearne meode & 7-Apr- 4

5 Lnearne dskrmnavne meode Fsherova lnearna dskrmnanna meoda Skup N d-dmenzonalnh prmjera,, 3,..., N očaka N broj prmjera u podskupu D klase y N broj prmjera u podskupu D klase y Tražmo lnearnu funkcju od.j. : y= Koja najbolje razdvaja dvje klase. TS: Srojno učenje Lnearne meode & 7-Apr- 5

6 Fsherova lnearna dskrmnavna meoda Osnovna deja nać projekcju na lnju u d- dmenzonalnnom prosoru ako da se prmjerc razlčh klasa mogu na nkjoj lako odvoj loša projekcja dobra projekcja 7-Apr- TS: Srojno učenje Lnearne meode & 6

7 Fsherova lnearna dskrmnavna meoda Neke velčne: N D Srednja vrjednos u d-dmenzonalnom prosoru za klasu N yy y N D Srednja vrjednos za očke klase projcrane na Udaljenos zmeđu projcranh srednjh vrjednos za dvje klase 7-Apr- TS: Srojno učenje Lnearne meode & 7

8 Fsherova lnearna dskrmnavna meoda Kolko je dobra mjera separacje? Koja od os je bolja za razdvajanje klasa, l? 7-Apr- TS: Srojno učenje Lnearne meode & 8

9 Fsherova lnearna dskrmnavna meoda Kolko je dobra mjera separacje? je bolja, no: problem je šo ne uzma u obzr varjancu dsrbucje prmjera. 7-Apr- TS: Srojno učenje Lnearne meode & 9

10 Fsherova lnearna dskrmnanna meoda Ako defnramo: y projcran prmjer ~ s s y Cl y Cl y y raspršenje prmjera klase raspršenje prmjera klase Možemo raspršenje kors za normalzacju udaljenos projcranh cenara zmeđu klasa! 7-Apr- TS: Srojno učenje Lnearne meode & 0

11 Fsherova lnearna dskrmnanvna meoda Moramo normalzra korseć raspršenje klase klase! FLD dakle svod se na pronalaženje projekcje na lnju koja maksmzra J: J ~ s ~ s želmo da brojnk bude šo već a nazvnk šo manj! 7-Apr- TS: Srojno učenje Lnearne meode &

12 Fsherova lnearna dskrmnanvna meoda 7-Apr- TS: Srojno učenje Lnearne meode & Kako zraz J kao funkcju rad se zapravo o opmzacj J, - u ovsnos o! Treba eksplcno prkaza J u ovsnos o! Defnramo marce raspršenja za svaku klasu prje projekcje - za orgnalne prmjere ~ ~ s s J Cl Cl S S

13 Fsherova lnearna dskrmnanvna meoda 7-Apr- 3 TS: Srojno učenje Lnearne meode & ~ S S S Cl y W y y s Defnramo marcu raspršenja unuar klasa za svaku klasu Uz prehodnu defncju I ako korsmo: Dobvamo: S ~ Cl y Cl y Cl y Cl y s

14 Fsherova lnearna dskrmnanvna meoda 7-Apr- 4 TS: Srojno učenje Lnearne meode & S S S S S S B B s s s ~ ~ ~ W Slčno kao za klasu Dakle Ako defnramo marcu raspršenja zmeđu klasa S B kao mjeru separacje zmeđu srednjh vrjednos zmeđu klasa prje projekcje A razlka zmeđu projcranh srednjh vrjednos je:

15 Fsherova lnearna dskrmnanvna meoda Na kraju je naša funkcja clja J ~ ~ s s S S Da b je opmral, našl mamum prva dervacja po se mora zjednač s nulom d J 0 d Na koncu se o svede na problem određvanja svojsvenh vrjednos B W S B S W 7-Apr- TS: Srojno učenje Lnearne meode & 5

16 Fsherova lnearna dskrmnanvna meoda 7-Apr- 6 TS: Srojno učenje Lnearne meode & S S S W W B Ako posoj nverzna marca - nakon sređvanja: Za porebe klasfkacje - još je porebno odred grančnu vrjednos : y y y y

17 Lnearna dskrmnavna analza 7-Apr- 7 TS: Srojno učenje Lnearne meode & K klasa, X n p marca podaaka, k k c k p c p Svaka klasa se modelra kao mul-varjanna normalna dsrbucja / / k k T k e c p k p k Σ Σ LDA preposavlja da je za sve k, pa vrjed: k log log l k T l k T l k l k l k c p c p c p c p Σ Σ Lnearna dskrmnavna analza

18 Lnearna dskrmnavna analza 7-Apr- 8 TS: Srojno učenje Lnearne meode & log k k T k k T k c p Σ Σ U klasfkacj klasa se određuje prema lnearnoj dskrmnannoj funkcj : arg ma k klasa

19 Lnearna dskrmnavna analza 7-Apr- TS: Srojno učenje Lnearne meode & 9

20 Koja hper-ravnna je najbolja? 7-Apr- TS: Srojno učenje Lnearne meode & 0

21 - Suppor Vecor Machnes Meoda jezgrenh funkcja nalaz opmalnu ravnnu razdvajanja - Maksmzrajuć udaljenos zmeđu hperravnna krčnh očaka blzu ravnne razdvajanja en. decson boundary Inuvno: Ako ne posoje očke blzu površne razdvajanja, o znač da nemamo nesgurnh klasfkacjskh odluka!? 7-Apr- TS: Srojno učenje Lnearne meode &

22 Druga nucja Ako posavmo šo je moguće već razmak margnu zmeđu dvju klasa, posoj manje mogućnos zbora za funkcju razdvajanja kapace modela se smanjuje manje šanse za overfng TS: Srojno učenje Lnearne meode & 7-Apr-

23 dakle maksmzraju margnu m oko hperravnne plohe razdvajanja. en. large margn classfers Poporn vekor Usvar je funkcja odluke defnrana preko podskupa prmjera z skupa za učenje zv. Popornh vekora en. suppor vecors Problem određvanja SV: kvadran opmzacjsk problem en. quadrac programmng Ma. margna TS: Srojno učenje Lnearne meode & 7-Apr- 3

24 Separabln neseparabln problem Ako se pokaže da problem nje lnearno separablan: - Dozvoljene su greške uz penalzranje Osnovn prncp osaje: - Ploha razdvajanja u prncpu mora šo bolje razdvaja klase TS: Srojno učenje Lnearne meode & 7-Apr- 4

25 Formalzacja- određvanje maksmalne margne : normala na hperravnnu razdvajanja : prmjer očka y : klasa prmjera +/- Klasfkaor je određen funkcjom sgn T + b margna je određena sa y T + b Funkconalna margna cjelog skupa očaka je mnmum y T + b TS: Srojno učenje Lnearne meode & 7-Apr- 5

26 Pojam - geomerjske margne Udaljenos zmeđu plohe očke r Prmjer najblže ploh su poporn vekor. b Margna ρ plohe razdvajanja je šrna razdvajanja zmeđu popornh vekora supronh klasa ρ T r TS: Srojno učenje Lnearne meode & 7-Apr- 6

27 Lnearn - zvod Preposavmo da vrjed da se sve očke nalaze barem na dsanc od plohe razdvajanja Tada vrjede dva ogrančenja na skupu prmjera za učenje {,y } T + b ako je y = T + b - ako je y = - Za poporne vekore koj se nalaze na margn, ove nejednakos su jednakos; S obzrom da je udaljenos svakog prmjera od plohe razdvajanja: T b r Margna je: TS: Srojno učenje Lnearne meode & 7-Apr- 7

28 Lnearn - zvod ρ T a + b = Ploha razdvajanja T + b = 0 T b + b = - Uz ogrančenja: mn =,,n T + b = Dolazmo do vrjednos za margnu razdvajanja: T a b = ρ = a b = / T + b = 0 TS: Srojno učenje Lnearne meode & 7-Apr- 8

29 Lnearn - zvod Ovaj se problem može formulra kao kvadran opmzacjsk problem: Pronađ b ako da je maksmalna a za sve zadane {, y } mora vrjed: T + b ako je y =; T + b - ako je y = - TS: Srojno učenje Lnearne meode & 7-Apr- 9

30 Lnearn - zvod Bolja formulacja kao mnmzacjsk problem: mn = ma / Nać b - akve da je: Φ =½ T s mnmalno; A za sve {,y } vrjed : y T + b TS: Srojno učenje Lnearne meode & 7-Apr- 30

31 Rješavanje opmzacjskog problema Nađ b - akve da je: Φ =½ T - mnmalno; A za sve {,y } vrjed : y T + b Ova formulacja mnmzacja kvadrane funkcje uz lnearna ogrančenja Dobro pozna rješv problem puno vše l manje složenh algorama za nhovo rješavanje MATLAB, MATHEMATICA Usvar rješavanje se pčno rad nakon prevođenja u zv. dualn problem u kjojem se zv. Lagrange-ovm mulplkaorma α penalzra svako ogrančenje z prmarnog problema TS: Srojno učenje Lnearne meode & 7-Apr- 3

32 Rješavanje opmzacjskog problema Dualna formulacja: Nać α α N ako da je: Qα =Σα - ½ΣΣα α j y y j T j - maksmalno Te da vrjed Σα y = 0 α 0 α TS: Srojno učenje Lnearne meode & 7-Apr- 3

33 Rješenje opmzacjskog problema =Σα y b= y k - T k za blo koj k za koj je α k 0 Svak α koj je razlč od 0 zapravo znač da je aj poporn vekor. Konačno klasfkacjska funkcja ma ovaj oblk: f = Σα y T + b Rješenje je proporconalno sum umnožaka - unuarnjh produka T zmeđu nove očke prmjera svh popornh vekora! Treba zapam da je u rješavanju opmzacjskog problema akođer koršen produk T j zmeđu svh parova očaka skupa za učenje. TS: Srojno učenje Lnearne meode & 7-Apr- 33

34 Šo ako problem nje lnearno separablan? Dodajemo nove varjable ξ en. slack varables - dozvoljavanje krvh klasfkacja za eške l šumove prmjere ξ ξ TS: Srojno učenje Lnearne meode & 7-Apr- 34

35 Izvod s mekanom margnom en. Sof margn Sara formulacja: Nađ b - akve da je: Φ =½ T s mnmalno; A za sve {,y } vrjed : y T + b Nova formulacja sa ξ : Nađ b - akve da je: Φ =½ T + CΣξ - mnmalno; A za sve {,y } vrjed: y T + b ξ e da vrjed ξ 0 za sve TS: Srojno učenje Lnearne meode & 7-Apr- 35

36 Rješenje - s mekanom margnom en. Sof margn Dualn problem za s mekanom margnom : Nađ α α N ako da je Qα =Σα - ½ΣΣα α j y y j T j - maksmalno Te da vrjed Σα y = 0 0 α C α N ξ al n Lagrange-ov mulplkaor se ne nalaze u dualnoj formulacj! No, dalje vrjed: sa α >0 su poporn vekor. Rješenje dualnog problema sof margn: =Σα y b= y k - ξ k - T k gdje je k = argma α k k nje poreban kod procesa klasfkacje kao prje! f = Σα y T + b TS: Srojno učenje Lnearne meode & 7-Apr- 36

37 Klasfkacja Uz novu očku,, Odred projekcju na normalu plohe razdvajanja: dmenzje: p = + +b. To usvar znač + b = Σα y T + b Ako savmo neku grančnu mjeru >0 pouzdanos p > : => p < -: => - Inače: suzdržan TS: Srojno učenje Lnearne meode & 7-Apr- 37

38 Lnearn - sažeak Klasfkaor je posebno određena ploha razdvajanja en. separang hyperplane Najvažnje očke - očke z skupa za učenje koje defnraju plohu razdvajanja - poporn vekor Poporn vekor se pronalaze opmzacjskm algormma Rješavan problem je kvadran opmzacjsk problem s lnearnm ogrančenjma. U dualnoj formulacj problema rješenja poporn vekor odnosno očke z skupa za učenje se pojavljuju u skalarnm produkma: Nađ α α N ako da je Qα =Σα - ½ΣΣα α j y y j T j - maksmalno vrjed: Σα y = 0 0 α C α f = Σα y T + b TS: Srojno učenje Lnearne meode & 7-Apr- 38

39 Nelnearn Za problem koj su lnearno separabln uz razumn šum Lnearn je OK : No, šo ako o ne vrjed? 0 0 mapranje podaaka u još vše-dmenzonaln prosor? : 0 TS: Srojno učenje Lnearne meode & 7-Apr- 39

40 Nelnearn : prosor novh dmenzja arbua Osnovna deja: orgnaln prosor varjabl možemo mapra u nov-všedmenzonaln prosor - gdje će naš problem b lnearno separablan rješv Φ: φ TS: Srojno učenje Lnearne meode & 7-Apr- 40

41 Kernel rk Lnearn - skalarn produk zmeđu vekora K, j = T j Transformacja kojom svaku očku mapramo u nek nov prosor Φ: φ Sada b skalarn produk rebao zgleda drukčje: K, j = φ T φ j Kernel funkcja - funkcja koja korespondra nuarnjem produku u nekom ekspandranom prosoru novh varjabl TS: Srojno učenje Lnearne meode & 7-Apr- 4

42 Kernel rk Prmjer: orgnaln prosor -dmenzonaln vekor =[ ]; Neka je K, j = + T j, Pokažmo da vrjed K, j = φ T φ j : K, j = + T j,= + j + j j + j + j + j = = [ ] T [ j j j j j j ] = φ T φ j gdje je φ = [ ] TS: Srojno učenje Lnearne meode & 7-Apr- 4

43 Kernel Zašo? Omogućavaju prevaranje neseparablnh problema u separablne. Mapranje u bolje reprezenacjsk prosore Uobčajen kernel Lnearn Polnomjaln K,z = + T z d RBF K, j e j TS: Srojno učenje Lnearne meode & 7-Apr- 43

44 Lnearn efek razlčh vrjednos paramera C TS: Srojno učenje Lnearne meode & 7-Apr- 44

45 Odabr kernela efek Polnmn kernel C=cons. TS: Srojno učenje Lnearne meode & 7-Apr- 45

46 Odabr parameara kernela efek Gaussan kernel, C=cons. TS: Srojno učenje Lnearne meode & 7-Apr- 46

47 Odabr parameara parameara kernela fakora C RBF kernel, C=, = RBF kernel, C=0, = RBF kernel, C=00, = RBF kernel, C=, =0 RBF kernel, C=0, =0 RBF kernel, C=00, =0 TS: Srojno učenje Lnearne meode & 7-Apr- 47

48 Karakerske -a Po mnogma najbolja meoda ukupno gledajuć Popularna vrlo dobr rezula e mnng U praks mnoge druge meode rade oprlke so dobro Posoj mnogo komparacja koje o pokazuju Važno je: Razumjevanje skusvo za efekvno koršenju Odabr kernela, odabr parameara C, paramer kernela Dobro je kombnra selekcju varjabl u prak RapdMner vše varjan + vzualzacja TS: Srojno učenje Lnearne meode & 7-Apr- 48

49 Sažeak Defnranje plohe razdvajanja preko popornh vekora Poporn vekor = krčne očke prmjer najblž ploh razdvajanja Pojam kernela: Moćan ala za mapranje u vsoko-dmenzonalne prosore, kao redefnranje merka slčnos Samosaln pake sofare: Torch; Lgh; Lb RapdMner, WEKA, MATLAB, R....kernel-machnes.org 7-Apr- TS: Srojno učenje Lnearne meode & 49