EKSPERIMENTALNA EVALUACIJA UTJECAJA ODABIRA ZNAČAJKI NA REZULTATE RASPOZNAVANJA PROMETNIH ZNAKOVA

Transcription

1 VEUČILIŠE U ZAGREBU FAKULE ELEKROEHIKE I RAČUARVA DIPLOMKI RAD br. 35 EKPERIMEALA EVALUACIJA UJECAJA ODABIRA ZAČAJKI A REZULAE RAPOZAVAJA PROMEIH ZAKOVA Ivana učć Zagreb, lpanj 0.

2

3 Zahvala Zahvaljuje se svo entoru Doc. dr. sc. nš Šegvću na savjeta pooć tjeko zrade dploskog rada. Zahvaljuje se svojoj obtelj na pruženoj podršc razujevanju tjeko og studranja.

4 adržaj. Uvod.... Značajke slke..... Obrada slke Označavanje proetnh znakova Ispravljanje setnj uzrokovanh prepltanje slke Hstogra orjentacje gradjenta troj s potporn vektora Lnearno odvojv razred eodvojv razred Analza svojstvenh koponent Analza svojstvenh koponent na skupu znakova Fsherova lnearna dskrnantna analza FLD za vše razreda Usporedba FLD VM Evaluacja kup za učenje Odabr ulaznh značajk Hstogra orjentacje gradjenata Klasfkacja kup za testranje troj s potporn vektora Analza svojstvenh koponent Fsherova lnearna dskrnanta Velčna skupa za učenje Proble neprecznog locranja... 4 v

5 Klasfkacja VM-o za vše razreda ZAKLJUČAK LIERAURA Dodatak A: Ops pleentacje... 5 Označavanje proetnh znakova... 5 Obrada slke... 5 Hstogra orjentacje gradjenta... 5 troj s potporn vektora Analza svojstvenh koponent Lnerana dskrnatna analza aslov, sažetak ključne rječ Abstract, keyords, ttle v

6 Pops oznaka kratca DAGVM FLD HOG k- KK LDA PCA PIL VM VC Drected Acyclc Graph upport Vector Machnes Fsher Lnear Dscrnant Hstogra of Gradent k earest eghbor Karush-Kuhn-ucker Lnear Dscrnant Analyss Prncpal Coponent Analyss Python Iagng Lbrary upport Vector Machne Vapnk-Chervonenks v

7 Pops tablca ablca Rezultat klasfkacje HOG+VM ablca Klasfkacja etodo FLD (64x64) ablca 3 Klasfkacja etodo FLD (48x48) ablca 4 HOG+FLD (64x64) ablca 5 HOG+FLD (48x48) ablca 6 Klasfkacja velkh klasa VM-o ablca 7 Klasfkacja VM s nov, prošren skupo za učenje ablca 8 Rezultat VM klasfkacje korštenje strategje DAGVM ablca 9 tatstka loše klasfcranh klasa v

8 Pops slka lka Prjer ulazne slke snljene z vozla u pokretu... lka Prepltanje slke... 3 lka 3 Orgnalna slka, slka nastala odbacvanje parnh lnja slka nastala odbacvanje neparnh lnja... 3 lka 4 Hstogra orjentacje gradjenta... 4 lka 5 Prjer optalne hperravnne za dva lnearno odvojva razreda... 5 lka 6 Prjer decjzjske funkcje... 6 lka 7 Prkaz slučajeve povrede uvjeta d ( W X + b)... lka 8 Prjer D vektora... 5 lka 9 Ortogonalna projekcja... 6 lka 0 Dobar prkaz podataka... 7 lka Loš prkaz podataka... 7 lka Kovarjanca varjabl... 8 lka 3 Projekcje uzoraka na dva razlčta pravca. Desna slka prkazuje bolju razdvojenost projekcja crvenh zelenh točaka nego ljeva slka... lka 4 Projekcja uzorka x na pravac u sjeru... lka 5 Utjecaj udaljenost srednjh projcranh uzoraka na klasfkacju uzoraka... 3 lka 6 Da b razdvajanje projcranh uzoraka blo najbolje, potrebno je at što veću razlku srednjh vrjednost razlčth razreda što anju raspršenost unutar projcranh uzoraka stog razreda lka 7 Projekcja 3-D dstrbucje na -D potprostore koj su opsan... 9 lka 8 Usporedba FLD VM lka 9 Zastupljen razred znakova broj prjeraka po razreda... 3 lka 0 Raspored blokova... 3 lka Zastupljenost znakova u skupu za testranje... 3 v

9 lka epreczno locran znakov lka 3 Rezultat klasfkacje VM-a po klasaa lka 4 Uzorc z klase A lka 5 PCA klasfkacja za ručno autoatsk označene znakove (64X64).. 35 lka 6 PCA klasfkacja za ručno autoatsk označene znakove (48X48).. 36 lka 7 Rezultat klasfkacja PCA po klasaa lka 8 Klasa A lka 9 očnost raspoznavanja anotacja u ovsnost o zlučvanju značajk HOG-o lka 30 očnost raspoznavanja detekcja u ovsnost o zlučvanju značajk HOG-o lka 3 Klase sa velk broje uzoraka lka 3 0 novh poaknuth slka... 4 lka 33 Usporedba VM klasfkacje nad razlčto trenran skupova za učenje lka 34 Usporedba klasfkacje detekcja nad razlčto trenran skupova za učenje PCA etodo lka 35 Usporedba klasfkacje anotacja nad razlčto trenran skupova za učenje PCA etodo lka 36 Usporedba klasfkacje etodo FLD nad razlčto trenran skupova za učenje lka 37 FLD nad neprotresen skupo za učenje, klasfkacja - nad protresen skupo za učenje lka 38 VM za vše razreda [3] lka 39 Uzorc z klase A lka 40 Uzorc z klase A lka 4 Maska korštena za uklanjanje pozadne lka 4 Prjena aske na ulaznoj slc x

10 lka 43 lka znaka sa zjednačen hstograo x

11 Uvod. Uvod Posljednjh nekolko desetljeća, računala postaju sve prsutnja u ljudskoj svakodnevc. Postoj noštvo problea koje računala rješavaju puno efkasnje od ljud stoga su nog poslov nezaslv bez računalne potpore. Unatoč zraztoj oć obrade podataka, računala se dalje ne ogu efkasno rješavat nek proble koje ljud rješavaju svakodnevno bez velkog napora. Ujetna ntelgencja, kao grana računalne znanost, zučava takve problee traž njhova rješenja. Računaln vd je grana ujetne ntelgencje koja razatra problee obrade slke vdea te zdvajanja korsnh nforacja z njh. U ovo se radu rješava proble raspoznavanja proetnh znakova koj su autoatsk detektran u sljedova slka z perspektve vozača. Razatra se eksperentalna evaluacja utjecaja odabra značajk na rezultate raspoznavanja. Ovaj je proble vrlo zanljv te b njegovo rješenje alo šroku praktčnu prjenu: kao pooć u održavanju proetnca, kao pooć vozača tjeko vožnje, kao sgurnosn sustav u vozla, td. U okvru rada, proučen su prstup za raspoznavanje proetnh znakova. Uhodan su sptan postupc klasfkacje k- VM te prstup za sanjenje denzonalnost uzoraka (PCA, FLD). Predložen postupc su prjenjen na proetne znakove upozorenja, no prjenjv su na druge vrste proetnh znakova. Koršten postupc, njhova teorjska osnova dobven rezultat sljede u nastavku.

12 Značajke slke. Značajke slke Da b se z slke zdvojla korsna nforacja, potrebno je odredt načn zlučvanja značajk z slke. akođer, prje zlučvanja značajk potrebno je obradt slku da b se spravle eventualne setnje l postgl željen efekt. Ovo poglavlje obrađuje navedene problee: obrada slke te zlučvanje značajk... Obrada slke... Označavanje proetnh znakova lke nad koja se vrš klasfkacja ručno su zdvojene z vdeo snke. Za zdvajanje je koršten progra Marker razvjen u sklopu rada []. Orgnalne slke nalk su slc. lka Prjer ulazne slke snljene z vozla u pokretu Pr zdvajanju z vdeo snke, slke su enovane po proetno znaku koj se nalaz na nja. lka znaka prkazanog slko a nazv A0_005. A0 jest klasa znaka, a 005 redn broj znaka te klase. Zajedno sa zdvojen slkaa,

13 Značajke slke dobvena je datoteka koja sadrž prpadajuće koordnate znaka koj se nalaz na toj slc (A0_005.bp ) (Dodatak A).... Ispravljanje setnj uzrokovanh prepltanje slke Pr snanju prve grupe vdeo snaka korštena je kaera koja na zlazu daje prepleten vdeo sgnal (eng. nterlacng). Kao rezultat toga, javljaju se karakterstčne setnje na slc pr brz pokreta kaere. lka prkazuje prjer slke sa setnjo. lka Prepltanje slke U skupu slka koje se korste u ovo radu, postoj okvrno 0% slka sa setnjo prouzročeno prepltanje te b adekvatna obrada takvh slka poboljšala rezultate klasfkacje. Jednostavna etoda s dobr rezultata je odbacvanje polovce lnja te nterpolacja lnja koje nedostaju (eng. denterlacng) []. a taj načn od jedne slke nastaju dvje, jedna odbacvanje parnh lnja, druga odbacvanje neparnh. lka 3 prkazuje prjer slka nastalh odbacvanje lnja. lka 3 Orgnalna slka, slka nastala odbacvanje parnh lnja slka nastala odbacvanje neparnh lnja 3

14 Značajke slke.. Hstogra orjentacje gradjenta Upotreba hstograa je jednostavan načn zlučvanja značajk nad djelova slke. Adekvatn odabro velčne položaja segenata slka nad koja se rade hstogra značajk postže se određena otpornost na poake slke. Posebno zanljv je hstogra orjentacje gradjenata. akon odabra segenata slke nad koja se rade hstogra, za svak slkovn eleent u segentu, proatra se kut gradjenta. Hstogra kutova gradjenata daje ops orjentacje rubova za dotčn segent slke te te daje nforacju o oblku koj se nalaz u segentu. lka 4 Hstogra orjentacje gradjenta lka 4 prkazuje slku koja je podjeljena na četr segenta te hstograe sjera gradjenata za svak od odabranh djelova. Vrjednost kutova lnearno su raspoređene od 0 do -50 stupnjeva (0, -30 td) [3]. Hstogra vjerno prkazuju ogućnost zdvajanja nforacje o sjeru rubova slke. U navedeno prjeru hstogra se teelj na sjeru to jest na rasponu od 80 stupnjeva. Detaljnju nforacju o rubova ože se dobt prošrenje hstograa na orjentacju, to jest na 360 stupnjeva te prošrenje na dvodenzonaln hstogra dodavajuć denzju znosa gradjenta [4]. Uz hstogra orjentacje gradjenta često se korste hstogra bazran na značajkaa z razlčth sustava boja. akve značajke su otporne na rotacju translacju objekta [5]. 4

15 Y I E L D Y I E L D troj s potporn vektora 3. troj s potporn vektora 3.. Lnearno odvojv razred troj s potporn vektora (eng. upport vector achne, VM) zvorno je lnearn stroj. Osnovna zasao VM-a je konstrukcja hperravnne kao deczjske plohe, al tako da je argna odvajanja zeđu poztvne negatvne skupne uzoraka za učenje aksalna [6], [7]. Potporn vektor ρ ω YIELD YIELD YIELD ρ Potporn vektor YIELD YIELD YIELD YIELD Potporn vektor YIELD YIELD ω Optalna hperravnna lka 5 Prjer optalne hperravnne za dva lnearno odvojva razreda eka je skup uzoraka za učenje {( )} d X,, gdje je X, uzoraka za -t prjer, a d željen odgovor klasfkatora:,,...,, ulazn vektor ω d ω d + (3.) Pretpostavka je da su razred ω ω lnearno odvojv (slka 5). Jednadžba deczjske ravnne jest: W X + b 0 (3.) W je vektor težnskh koefcjenata, X je ulazn vektor te b je poak. Vrjed: 5

16 troj s potporn vektora W X + b 0 za d + (3.3) W X + b < 0 za d (3.4) Za zadan vektor težnskh koefcjenata W poak b, udaljenost zeđu hperravnne najblže točke (uzorka) u n-denzonalno prostoru nazva se argna odvajanja označena je s ρ (slka 5). Clj je pronać onu hperravnnu za koju je argna odvajanja ρ aksalna. akva hperravnna nazva se optalna ravnna (slka 5).Optalna hperravnna sa optaln vrjednosta { W 0,b 0 } je : W X + b 0 (3.5) 0 0 Deczjska funkcja g( X ) W X + b 0 0 (3.6) daje jeru udaljenost ulaznog vektora X od optalne hperravnne. a slc 6 je prjer hperravnne [7]. vaka hperravnna karakterzrana je svoj sjero (označeno s u ) te točn položaje u prostoru (označeno s b ). Udaljenost vektora X od hperravnne dana je sa r. u u 0 0 x b 0 0 r r g( x) 0 lka 6 Prjer decjzjske funkcje Par { W 0,b 0 } ora zadovoljavat sljedeća ogrančenja: 6

17 ada se ože skalrat W 0 0 razreda ω ω bude: troj s potporn vektora W 0 X + b0 za d + (3.7) W X + b < za d (3.8) 0 0 b tako da za najblže (hperravnn ( X ) ( X ) g ) uzorke z g zaω (3.9) ( X ) g zaω (3.0) Za uzorke (točke u n-denzonalno prostoru) z skupa za učenje to za one za koje vrjed: W 0 X + b0 za d + (3.) W X + b za d (3.) 0 0 kažeo da su potporn vektor (slka 5). Potporn vektor su one točke koje leže najblže deczjskoj hperravnn zato se najteže klasfcraju. Zbog toga one aju zravan utjecaj na optaln položaj deczjske hperravnne. Potporn vektor ( s) ( s) g( X ) W X + b0 Algebarska udaljenost potpornog vektora (s) X : ± za d ± (3.3) (s) X od optalne hperravnne je ( s) g( X ) r (3.4) W 0 r ( ako je d 0 ako je d 0 s) ( s) + (3.5) gdje predznak + označava da (s) X lež na poztvnoj stran optalne hperravnne, a predznak pokazuje da je (s) X na negatvnoj stran optalne hperravnne. Optalna vrjednost argne odvajanja zeđu dva razreda koj defnraju skup za učenje je: ρ r (3.6) W 0 7

18 troj s potporn vektora z čega sljed da se akszranje argne odvajanja teelj na nzacj nore vektora težnskh koefcjenata W 0. Optalna hperravnna W 0 X + b0 0 je jednstvena u to sslu da vektor W 0 daje aksalnu separacju zeđu poztvnh negatvnh uzoraka z skupa za učenje. Clj je razvoj djelotvorne procedure (uporabo skupa uzoraka za učenje) tako da se nađe optalna hperravnna uz zadovoljenje ogrančenja d ( W X + b) za,,,. Foralno postavljen proble glas: - Zadan je skup uzoraka za učenje {( )} d X, - ađ optalnu vrjednost vektora težnskh koefcjenata W poak b tako da su zadovoljena ogrančenja, d ( W X + b) za,,, (3.7) a pr tou vektor težnskh koefcjenata W nzra krterjsku funkcju J ( W ) W W W (3.8) Optzacjsk proble rješava se etodo Langrageovh ultplkatora. Prjer [7]: Određvanje vezanh ekstrea funkcje z f ( x, y) uz uvjet ϕ( x, y) 0 svod se na računanje slobodnh ekstrea Lagrangeove funkcje: F f ( x, y) + λϕ( x, y) F x F 0; y 0; ϕ( x, y) 0 Iz tog se sustava jednadžb određuju vrjednost x,y Lagrangeov ultplkator λ. - Ako je d F < 0 u zračunatoj točk, funkcja z f ( x, y) a aksu - Ako je d F > 0u zračunatoj točk, funkcja z f ( x, y) a nu Dakle ao, J W W W ( ) uz uvjet d ( W X + b) za,,,. Lagrangeova funkcja defnra se kao: 8

19 troj s potporn vektora L( W, b, λ) W W λ [ d ( W x + b) ] (3.9) gdje su λ Lagrangeov ultlkator. Uvjet koj oraju bt zadovoljen su: L ( W, b, λ) 0 L ( W, b, λ) 0 b (3.0) (3.) λ 0,,,..., (3.) [ d ( W X + b) ] 0 λ,,,..., (3.3) Dervranje L( W, b, λ ) W λ d X 0 daje rezultat: W λ d X (3.4) Vektor W je optalno rješenje! Dervranje L( W, b, λ) b λd 0 daje rezultat: λ d 0 (3.5) akon postavljanja svh svojstava optalne hperravnne stroja s potporn vektora, sljedeć korak je računanje svh uješanh paraetara. Izračunavanje često nje jednostavan zadatak te postoje brojn algort upravu u tu svrhu [6]. U obzr se uza Lagrangeova dualnost (dualn proble) proble se postavlja kao akszrat L( W, b, λ) (3.6) uz uvjet W λ d X (3.7) λ d 0 (3.8) 9

20 troj s potporn vektora λ 0,,,..., (3.9) Uvrštavanje (3.7) (3.8) u (3.6) sređvanje zraza, dobva se sljedeć optzacjsk zadatak ax λ λλ jd, d λ, j j, X X j (3.30) Uz uvjet λ d 0 (3.3) λ 0 (3.3) Jedno kad se zračunaju optaln Lagrangeov ultplkator, akszacjo (3.30), optalna se hperravnna računa preko W λ d X gdje su λ optaln Lagrangeov ultplkator, a 0,,..., za λ eodvojv razred b preko jednog od uvjeta [ d ( W X + b) ] 0 λ, ve gore navedeno vrjed za slučaj kada su razred lnearno odvojv. ež slučaj stroja s potporn vektora nastupa kod lnearno neodvojvh uzoraka. Za zadan skup uzoraka za učenje nje oguće konstrurat hperravnnu koja razdvaja uzorke bez pogreške. Zbog toga želo nać optalnu hperravnnu koja nzra vjerojatnost klasfkacjske pogreške. Margna razdvajanja nazva se ne vrjed d ( W X + b),,,,. Povreda eko ako za uzorak ( X, d ) uvjeta d ( W X + b) ože nastupt na dva načna (slka 7): ) uzorak ( X, d ) pada unutar područja odvajanja, al na pravu stranu deczjske hperravnna (na slc a) ) uzorak ( X, d ) pada na krvu stranu deczjske hperravnne (na slc b) 0

21 troj s potporn vektora a) b) lka 7 Prkaz slučajeve povrede uvjeta d ( W X + b) Margna je defnrana kao udaljenost zeđu para paralelnh hperravnna opsanh s W X + b ±. Uzorc za učenje prpadaju jednoj od tr kategorje uzoraka: ) vektor koj padaju zvan pojasa koju su spravno klasfcran (vektor koj zadovoljavaju d ( W X + b),,,, ) ) ) vektor koj padaju unutar pojasa (argne), al su pravlno razvrstan (slka a) ( vektor za koje vrjed: 0 d ( W X + b) < ) vektor s pogrešno klasfkacjo (slka b) (vektor za koje vrjed d ( W X + b) < 0 ) va tr slučaja ogu se objednt u jednstven oblk: d ( W X + b) ξ (3.3) ) slučaj: odgovaraju uzorc za koje je ξ 0 ) slučaj: odgovaraju uzorc za koje je 0 ξ < ) slučaj: odgovaraju uzorc za koje je ξ > Varjable ξ se nazvaju labave varjable (eng. slack varables), a predstavljaju jeru odstupanja vektora od dealnog uvjeta separablnost uzoraka. Za 0 < ξ uzorak se nalaz unutar područja odvajanja, al s prave strane deczjske plohe. Za ξ > uzorak pada na krvu stranu deczjske ravnne.

22 troj s potporn vektora Potporn vektor su on posebn uzorc koj zadovoljavaju jednadžbu d ( W X + b) ξ,,,, čak za slučaj ξ >. Zadatak je nać deczjsku funkcju (hperravnnu razdvajanja) za koju je klasfkacjska pogreška nalna. Drugačje nterpretrano, učnt argnu što je oguće većo, al uz uvjet da je broj uzoraka sa ξ > što je oguće anj. Mateatčka nterpretacja: nzrat funkcju koštanja: J ( W, b, ξ ) W + C I ( ξ ) (3.34) gdje je ξ vektor s koponentaaξ I (ξ ) 0 ξ > 0 (3.35) ξ 0 Paraetar C je poztvna konstanta kojo se upravlja relatvan utjecaj W I(ξ ). Dva su oguća načna zbora C: ) eksperentalno preko standardne uporabe uzoraka za učenje valdacju ) C se određuje analtčk procjeno VC (Vapnk-Chervonenks) denzje koja je jera ekspresvnost porodce klasfkacjskh funkcja koje su D ostvarene stroje za učenje denzja h n, 0 +, D - ρ djaetar najanje kugle koja sadrž sve ulazne vektore x, x,, x, ρ argna 0 je denzonalnost ulaznog prostora. W Optzacja zraza J ( W, b, ξ ) W + C ξ teška je jer je uključena funkcja I ( ) koja je dskontnurana. Uobčajen prstup je zabrat funkcju koja je blska funkcj koštanja:

23 troj s potporn vektora uz uvjet J ( W, b, ξ ) W + C ξ d ( W X (3.36) + b) ξ,,,..., (3.37) Odgovarajuć Lagrange dan je kao ξ > 0,,,..., (3.38) L( W, b, ξ, λ, µ ) W + C ξ µ ξ λ [ d ( W X + b) + ξ ] (3.39) Odgovarajuć Karush-Kuhn-ucker uvjet su L 0 l W W λ d X (3.40) L b 0 l λ d 0 (3.4) Prdružena Wolfeova dualna prezentacja postaje Makszat L ( W, b, ξ, λ, µ ) (3.4) uz uvjet W λ d X (3.43) λ d 0 (3.44) C µ λ 0,,,..., (3.45) λ 0, µ 0,,,..., (3.46) Uvrštavanje gornjh eksplctnh ogrančenja u Lagranga dobva se ax λ λ, j λ λ d d j j X X j (3.47) uz uvjet 0 λ C,,,..., (3.48) λ d 0 (3.49) 3

24 troj s potporn vektora Lagrangeov ultplkator koj odgovaraju točkaa (uzorca) koj leže unutar argne l na krvoj stran klasfkatora, tj. ξ > su jednak aksalnoj dopuštenoj vrjednost C. Ako se prootr zraz ax λ λ, j λ λ d d j j X X vd se da nt labave varjable ξ nt Lagrangeov ultplkator prdružen labav varjablaa µ ne ulaze eksplctno u proble. On su nezravno prsutn kroz C odnosno kroz j uvjet 0 λ C. Razlka u odnosu na lnearno separtabln slučaj je što Lagrangeov ultplkator oraju bt ogrančen na C ( 0 λ C ). Z lnearno separtabln slučaj C ( λ 0 ). Os navedene odfkacje postupak računanja optalnh vrjednost vektora W poaka b je jednak kao kod separtablnog slučaja. Rješenje je W 0 s λ d X gdje je s broj vektora koj su potporn. Poak b 0 se ože odredt uzajuć blo koj ( X, d ) z skupa za učenje za koj vrjed 0 λ 0, C. 0, 4

25 4. Analza svojstvenh koponent Analza svojstvenh koponent PCA (eng. Prncpal Coponent Analyss) l analza svojstvenh koponent je statstčk postupak za reducranje denzonalnost podataka [8]. Pr reducranju se žel zgubt što je anje oguće nforacja ovaj postupak upravo to oogućava. Metoda je našla velku prjenu u području raspoznavanja uzoraka. Prjena etode PCA nad skupo slka oogućava dobvanje potprostora svh ogućh slka koje sadrže znakove. Ideja je da se pronađe takav potprostor zadane nže denzonalnost koj najbolje prkazuje pojedn razred uzoraka u sslu da pogreška zeđu orgnalnog uzorka projekcje uzorka u taj potprostor bude nalna. U nastavku sljed detaljnje objašnjenje navedene deje [9]. vaku slku znaka ožeo zaslt kao vektor slkovnh eleenata. Prjer D vektora dan je slko 8. x x lka 8 Prjer D vektora Pretpostavo da podatke sa slke 8 želo prkazat u D prostoru. Da bso to postgl odabereo pravac u prostoru na kojeg ortogonalno projcrao svaku točku. lka 9 prkazuje ortogonalnu projekcju D vektora sa slke 8. 5

26 Analza svojstvenh koponent x x lka 9 Ortogonalna projekcja ek pravc će bolje prkazvat podatke, nek lošje. Pravc koj dobro prkazuju podatke su on koj pr ortogonalnoj projekcj točaka na pravac daju alo odstupanje orgnalnh podatka od projcranh (slka 0). Loš prkaz podataka predstavljaju pravc za koje je odstupanje orgnalnh podataka od projcranh podataka tolko da nereprezentatvno prkazuju podatak, gube se btne nforacje (lka ). 6

27 Analza svojstvenh koponent x x lka 0 Dobar prkaz podataka x x lka Loš prkaz podataka Ujesto pravca na koj projcrao uzorke, bolje je pronać vektor koj pokazuje sjer u koje podac varraju. Da b se to odredlo, potrebno je proatrat suodnose uzoraka. u dolazo do kovarjacjske atrce. Ona prkazuje kako se svake dvje varjable z vše skupna varjabl, jenjaju zajedno. vojstven vektor setrčne kovarjacjske atrce s već svojstven vrjednosta odgovaraju sjerova u koja podac vše varraju [0]. 7

28 Analza svojstvenh koponent Pronalaženje najvećh svojstvenh vrjednost svojstvenh vektora kovarjacjske atrce predstavlja glavu deju PCA l analze svojstvenh koponent [8]. a slc ožeo vdjet dvje varjable x x te njhovu kovarjacjsku atrcu C [9]. vojstvene vrjednost te atrce dane su vektora v v, kao njhove svojstvene vrjednost µ µ. Vdo da vektor v s većo svojstveno vrjednošću µ prkazuje sjer u koje podac vše varraju. x 0.67 C x v v x µ µ. 84 x lka Kovarjanca varjabl 4.. Analza svojstvenh koponent na skupu znakova vaka slka znaka sastoj se od n slkovnh eleenata (pksela). lka se ože prkazat u jednodenzonalno oblku kao stupčast vektor s n eleenata. akv vektor označen su s Γ...Γ ( je broj slka znakova) za svaku noralzranu slku z baze te organzran u atrcu denzja [ Γ ] n [].... Γ (4.) ljedeć korak je pronalaženje prosječne slke znaka Ψ. 8

29 Ψ Γ Analza svojstvenh koponent (4.) Poto je potrebno nać vektore koj predstavljaju razlku pojedne slke u baz prosječnog znaka kao Φ Γ Ψ,,,.., (4.3) Od tako dobvenh vektora tvor se atrca A kao [ φ φ... ] A, φ (4.4) Matrca A a stupaca n redaka, n. Da b se pronašla svojstvena baza prostora trokutasth znakova, potrebno je pronać najveće svojstvene vektore v kovarjacjske atrce C koja se ože dobt kao C AA (4.5) Računanje svojstvenh vektora atrce C blo b vrlo dugotrajno zbog njenh velkh denzja. Zato se svojstvene vrjednost svojstven vektor atrce C ne računaju zravno nego pooću atrce C C' A A (4.6) Do navedene pooćne atrce C došlo se na sljedeć načn. Razotr l se na trenutak, ujesto svojstvenh vektora atrce A A C AA svojstvene vektore atrce A Av λ v,,,..., (4.7) Denzje ove atrce su. Očto je da će zračunavanje svojstvenh vektora ove atrce ć daleko brže nego zračunavanje svojstvenh vektora atrce C denzja s ljeve strane dobva se n n gdje je n >>. ada noženje jednadžbe (4.7) s A AA Av λ Av,,,..., (4.8) Uspored l se dobvena jednadžba s defncjo svojstvenh vektora svojstvenh vrjednost ože se zaključt da su vektor Av zapravo svojstven 9

30 vektor atrce C AA Analza svojstvenh koponent. akođer se ože pokazat da su svojstvene vrjednost odgovarajućh svojstvenh vektora za obje atrce jednake. Označe l se svojstvene vrjednost noralzrane svojstvene vektore atrce A A kao ' λ ' v tada najvećh svojstvenh vrjednost λ odgovarajuće noralzrane svojstvene vektore v atrcec AA ogu se dobt kao ' λ λ,,,..., (4.9) ' v Av,,,..., (4.0) λ vojstven znakov predstavljaju svojstvenu bazu prostora u koje će se prkazvat uspoređvat slke znakova. vaka slka Φ z svojstvene baze projcrana je na k -tu koponentu prostora svojstvenh znakova kako sljed: ω v k k Φ, k,,..., (4.) Oznaka ω k je projekcja podataka na k-tu denzju, predstavlja denzonalnost uzetu za prostor svojstvenh znakova. Što se već odabere to će se vše svojstvenh znakova korstt prostor će bt to veće denzonalnost. Ideja etode svojstvenh znakova je da se kao baza uzaju sao on svojstven vektor koj su značajn za prkaz znakova. Projekcja slke Φ na prostor svojstvenh znakova dobva se kao vektor Ω pojednačnh projekcja ω. Ω [ ω ω,..., ω ], (4.) Da b se odredlo kojoj klas prpada ulazna slka znaka ože se korstt klasfkator - []. o je specjalan slučaj etode k-najblžh susjeda. eklasfcran znak z skupa za testranje prpada onoj klas znaka z skupa za učenje kojoj prpada najblž susjed. ajblž susjed je onaj koj a najanju eukldsku udaljenost do neklasfcranog uzorka. ε Ω k Ω k (4.3) 0

31 Fsherova lnearna dskrnantna analza 5. Fsherova lnearna dskrnantna analza Fsherova lnearna dskrantna analza jedan je od glavnh prstupa lnearnoj klasfkacj [6], [3]. Osnovna deja Fsherove analze je d-denzonalan vektor značajk reducrat na jednu denzju (u slučaju za dva razreda) tada ga upotrjebt za klasfkacju. Potrebno je pronać orjentacju pravca na koj se projcraju d-denzonaln uzorc x pr čeu je,,..., n, al tako da su projcran uzorc bud što vše odvojv. Upravo to predstavlja clj klasčne dskrnantne analze. lka 3 Projekcje uzoraka na dva razlčta pravca. Desna slka prkazuje bolju razdvojenost projekcja crvenh zelenh točaka nego ljeva slka Pretpostavo da ao skup od n d-denzonalnh uzoraka x,..., xn od čega nuzoraka čn razred D (označen s ) n uzoraka razred D (označen s ). voro lnearnu kobnacju koponent x : y x,,,..., n Dobvao odgovarajuć skup od n uzoraka y,..., (5.) y n koj su podjeljen u podrazrede Y Y. Ako je, svak y je projekcja odgovarajućeg vektora x na pravac (u sjeru, slka 4). ora vektora nea posebno značenje, ona sao skalra y, btan je sjer vektora.

32 Fsherova lnearna dskrnantna analza x x lka 4 Projekcja uzorka x na pravac u sjeru ražo za koj se projekcje uzoraka ogu dobro odvojt. Mjera odvojvost zeđu projcranh uzoraka je razlka srednjh vrjednost projcranh uzoraka. rednja vrjednost zadanh uzoraka defnrana je zrazo: n x D x (5.) rednja vrjednost projcranh uzoraka: ~ y (5.3) n y Y Uvrštavanje (5.) (5.) u (5.3) dobvao relacju: ~ x. (5.4) n y Y ljed da je razlka zeđu srednjh vrjednost projcranh uzoraka: ~ ~ ( ) (5.5) Da l je udaljenost srednjh vrjednost projcranh uzoraka dobra jera da se odjele projcran uzorc razlčth razreda?

33 Fsherova lnearna dskrnantna analza ~ ~ ~ ~ lka 5 Utjecaj udaljenost srednjh projcranh uzoraka na klasfkacju uzoraka a slc 5 se vd da vertkalna os bolje razdvaja uzorke unatoč anjoj udaljenost srednjh projcranh uzoraka naspra udaljenost srednjh projcranh uzoraka na horzontalnu os. Razlog tou jest čnjenca da defnrana jera odvojvost ne uračunava varjancu unutar razreda zadanh uzoraka. Kako b se to zbjeglo, defnra se jera raspršenost za projcrane uzorke: ~ y ~ ( ) y s. Y (5.6) Prjeto da )( ~ (/ ~ n s + s ) je procjena varjance projcranh uzoraka, a ~ s ~ + s je ukupna jera raspršenost projcranh uzoraka unutar razreda. Fsherova lnearna dskrnanta određuje da lnearna funkcja x za koju je krterjska funkcja J ( ) aksalna vod najbolje razdvajanu zeđu projcranh skupova. J ( ) ~ ~ s ~ + ~ s (5.7) 3

34 Fsherova lnearna dskrnantna analza Kako b gore naveden zraz bo aksalan, potrebno je at što veću razlku srednjh vrjednost što anju raspršenost unutar projcranh uzoraka stog razreda (slka 6). ~ ~ lka 6 Da b razdvajanje projcranh uzoraka blo najbolje, potrebno je at što veću razlku srednjh vrjednost razlčth razreda što anju raspršenost unutar projcranh uzoraka stog razreda. Potrebno je zrazt krterjsku funkcju J ( ) kao eksplctnu funkcju od. Defnrajo atrcu : I atrcu : ( x )( x ) (5.8) x Uvrst se (5.) (5.4) u zraz (5.6): D + (5.9) ~ s ( x ) x D x D ( x )( x ) (5.0) Ukupna jera raspršenost je: ~ s + ~ s (5.) lčno, razlka srednjh vrjednost projcranh uzoraka je: 4

35 Fsherova lnearna dskrnantna analza 5 B ) )( ( ) ( ) ~ ( ~ (5.) Gdje je: B ) )( ( (5.3) je atrca raspršenost unutar razreda, a B atrca raspršenost zeđu razreda. Rang atrce B za slučaj dva razreda je jedan. Uvrštavanje (5.) (5.) u (5.7) dolazo do krterjske funkcje koja ovs sao o paraetru : J B ) ( (5.5) Preostalo je pronać aksu funkcje ) ( J. Do njega se dolaz dervranje funkcje zjednačavanje sa nulo: ) )( ( ) )( ( 0 ) ( ) ( 0 ) ( ) ( ) ( ) ( ) ( 0 ) ( ) ( 0 ) ( J J B B B B B B B B λ (5.6) B λ (5.7) Dobven zraz B λ nazva se generalzran proble svojstvenh vektora. Međut, nje uvjek potrebno prstupat ovo probleu tako se traže svojstvene vrjednost svojstven vektor za B zato što je B uvjek usjeren kao. Buduć da nas faktor skalranja za vektor ne zana (zana nas sao sjer), ože se napsat rješenje za :

36 Fsherova lnearna dskrnantna analza ) (5.8) ( Dobven zraz za vektor određuje lnearnu funkcju koja akszra ojer zeđu udaljenost srednjh vrjednost projcranh uzoraka raspršenja unutar razreda. Drug rječa, pronađen je sjer vektora za kojeg se ože vršt najbolja klasfkacja. 5.. FLD za vše razreda Fsherova lnearna dskrnanta se ože poopćt odnosno prjent na proble vše razreda [6], []. Iao c razreda denzonalnost D,..., Dc lt,..., c. Generalzrana FLD c dskrnantnh funkcja tj. projekcja d - denznalnog prostora u ( c ) -denzonaln prostor d c. Generalzrana atrca raspršenost unutar razreda je: c (5.9) gdje je ( x )( x ) x D (5.0) n x D x (5.) Matrca raspršenost zeđu razreda B ne dobva se tako očgledno. Ukupan vektor srednje vrjednost jest: c x n n n x (5.) gdje je n broj uzoraka u razredu D ( ), a vektor srednjh vrjednost. Ukupna atrca raspršenost je: 6

37 Fsherova lnearna dskrnantna analza c c D x c D x c D x c D x c D x x n x x x x x x x x ) )( ( ) ( ) ( ) )( ( ) )( ( ) )( ( ) )( ( ) )( ( (5.3) Drug član c n ) )( ( je poopćena atrca raspršenost zeđu razreda B : c B n ) )( ( (5.4) B + (5.5) Projekcja z d-denzonalnog prostora u ) ( c -denzonaln prostor postže se uporabo ) ( c -dskrnantnh funkcja te je dana zrazo x y,,,..., c Ako y proatrao kao koponentu vektora y, težnske faktore kao stupce atrce W ( ) ( c d ) tada je projekcja : x W y (5.6) Uzorc n x x,..., projcraju se u odgovarajuć skup uzoraka n y y,..., koj ogu bt opsan svoj srednj uzorca atrcaa raspršenost: Y y y n ~ (5.7) c n n ~ ~ (5.8) c Y y y y ) ~ )( ~ ( ~ (5.9)

38 Fsherova lnearna dskrnantna analza ~ B c n ( ~ ~ )( ~ ~ ) (5.30) ~ ~ B W W B W W (5.3) (5.3) Jednadžbe (5.3) (5.3) pokazuju kako se atrce raspršenost unutar zeđu razreda transforraju projekcjo u nžedenzonaln prostor. ražo transforacjsku atrcu W koja askzra ojer raspršenost zeđu razreda s raspršenošću unutar razreda. Jednostavna skalarna jera raspršenost je deternanta atrce raspršenost. ~ B W BW J ( W ) ~ (5.33) W W W Deternanta je produkt svojstvenh vrjednost atrce. Proble traženja ( nalaženja) pravokutne atrce W koja akszra J ( ) je težak proble. Rješenje je sljedeće. tupc optalne atrce W su generalzran svojstven vektor koj odgovaraju najveć svojstven vrjednosta u : B λ (5.34) Ako je W nesngularna onda se proble ože pretvort u konvenconaln proble svojstvenh vrjednost [0]. Međut, to zahtjeva računanje nverzne atrce W ( W B λ ). Ujesto toga ože se nać svojstvene vrjednost kao korjene karakterstčnog polnoa: λ 0 (5.35) B zat rješt: ( ) 0 B λ (5.36) 8

39 Fsherova lnearna dskrnantna analza lka 7 Projekcja 3-D dstrbucje na -D potprostore koj su opsan noralzran vektora [6] a slc 7 prkazana je projekcja trju trodenzonalnh dstrbucja na dvodenzonalne podprostore opsane noralaa. Ideja FLD je da se pronađe onaj podprostor za koj je su projcran uzorc najbolje razdvojen. U ovo prjeru taj podprostor je defnran noralo. 5.. Usporedba FLD VM Lnearna dskrnatna analza kao stroj s potporn vektora pronalaze optalne hperravnne uzajuć u obzr razlčte krterje. FLD pronalaz optalnu hperravnnu na načn da akszra udaljenost zeđu razreda, a nzra udaljenost unutar razreda. Matrca raspršenost koja se dobva pr zvođenju etode FLD velkh je denzja u slučaju kada su denzje vektora značajk velke. Os računalne zahtjevnost pr radu s velk atrcaa, proble predstavlja to što se često dobva sngularna atrca (broj uzoraka anj od denzonalnost uzorka). Pronalazak nverza atrce u to slučaju nje oguć, pa se FLD ne korst drektno, nego u kobnacja s etodo PCA koja prethodno sanj denzje. VM predstavlja vrh klasfkacjskh algortaa. Clj je pronać onu hperravnnu za koju je argna odvajanja aksalna. Optaln položaj hperravnne uza u obzr potporne vektore, one točke koje leže najblže deczjskoj hperravnn najteže se klasfcraju. 9

40 Fsherova lnearna dskrnantna analza U većn slučajeva korštenje etode VM daje bolje klasfkacjske rezultate od FLD [4]. troj s potporn vektora pokazao se stablan pr velk denzjaa. Ipak postoje slučajev u koja etoda FLD daje bolje rezultate od VM-a. akav prjer dan je slko 8. Optalna hperravna (VM) Optalna hperravna (LDA) lka 8 Usporedba FLD VM a slc 8 dan su uzorc dvju klasa. Prva klasa (zelen kvadratć) nje jednolko raspršena, postoj uzorak koj se zdvaja z grupe. Kako VM pronalaz grancu na teelju potpornh vektora, ože se prjett da je u ovo slučaju pronašao prestrogu grancu jer u obzr uza sao lokalne karakterstke, a ne globalne karakterstke uzoraka. FLD nae uza u obzr čtavo raspršenje uzoraka zbog čega nalaz bolju grancu. Može se zaključt da je FLD robusnja etoda od VM-a. Optu b bo korštenje kobnacje klasfkatora. Dakle radlo b se o prošrenju stroja s potporn vektora na načn da uza u obzr globalna svojstva uzoraka kao što to čn lnearna dskrnatna analza [5]. 30

41 Evaluacja 6. Evaluacja 6.. kup za učenje kup za učenje klasfkatora sastoj se od 6 ručno označena sječka slke na koja se nalaze znakov. Rad se o skupu 009 prkupljeno u radu []. U skupu je zastupljeno 5 od ukupno 50 razreda znakova upozorenja. Pr toe je broj uzoraka po razredu razlčt te se kreće od 4 do 48. lka 9 prkazuje zastupljene razrede razdobu broja prjeraka po razreda. lka 9 Zastupljen razred znakova broj prjeraka po razreda. lke z skupa su pod utjecaje setnje uzrokovane prepltanje te se za njh provod uklanjanje setnje, na načn opsan u poglavlju Odabr ulaznh značajk Pr klasfkacj znakova poželjno je odabrat ulazne značajke koje dobro opsuju razlku zeđu razlčth klasa znakova. Inforacja o razlc zeđu klasa se nalaz na području sredšta znaka Hstogra orjentacje gradjenata Razlka zeđu razlčth klasa znakova je u oblca koj se nalaze u sredštu te se hstogra orjentacje gradjenata (poglavlje.) koj nos nforacju o rubova na sredštu slke naeće kao logčan odabr ulaznh značajk. 3

42 Evaluacja lke se skalraju na velčnu 48x48 te se lunantna koponenta noralzra na raspon od 0 do 55. ljed fltrranje Gaussov fltro, a poto se zrađuju hstogra orjentacje gradjenata nad blokova sješten u sredštu slke. Postoje dva skupa blokova, jedn velčne 4x4, te drug velčne 6x6. lka 0 prkazuje raspored blokova [6]. lka 0 Raspored blokova Hstogra nad blokova velčne 6x6 se rade za četr kuta 80 stupnjeva, dok se hstogra nad blokova velčne 4x4 rade za seda kutova 360 stupnjeva Klasfkacja kup za testranje kup za testranje (00) sastoj se od dvje vrste slke, detekcja anotacja. vak skup sadrž po 99 znaka. lka prkazuje zastupljene razrede razdobu broja prjeraka po razreda. 50 A0 A03 A04 A05 00 A06 A07 A08 A09 A0 50 A A6 A7 A3 00 A4 A5 A6 A7 50 A33 A34 A35 A39 0 A44 lka Zastupljenost znakova u skupu za testranje. 3

43 Evaluacja Anotacje predstavljaju ručno označene znakove, koj su pravlno centrran. Za razlku od anotacja, detekcje su autoatsk označen znakov. Pr takvo označavanju, detektran znakov su često nepreczno locran. lka prkazuje znakove na koja se vd poak od dealne pozcje. lka epreczno locran znakov Kako skup za testranje sadrž nepostojeće klase znakova z skupa za učenje, dolje naveden rezultat klasfkacje odnose se sao na one znakove koj se nalaze u skupu za učenje troj s potporn vektora Rezultat naveden u tablc prkazuju postotak točnost klasfkacje stroja s potporn vektora nad znakova čje su značajke zlučene hstograo orjentacje gradjenta. Ipleentacja algorta je preuzeta z rada [3]. HOG+VM Anotacje 96,6089% 903/934 Detekcje 83,688% 78/934 ablca Rezultat klasfkacje HOG+VM Rezultat klasfkacje ručno označenh znakova (anotacje) daleko su bolj od autoatsk detektranh znakova (detekcje). Razlog je decentralzranost detektranh slka, pr čeu se gube btne nforacje za raspoznavanje znaka 33

44 Evaluacja HOG+VM 0 očnost raspoznavanja A0 A03 A04 A05 A07 A08 A09 A0 A A7 A3 A5 A33 A34 A44 AOACIJE 00 90,6 93,3 86,5 9, ,7 93,8 83,3 98,5 97,7 00 DEEKCIJE 00 85,9 78, 7, 6,7 97,4 00 9,7 97,9 63,6 6,5 66, ,5 00 lka 3 Rezultat klasfkacje VM-a po klasaa. a slc 3 prkazan su rezultat klasfkacje za pojednu klasu. ajlošj rezultat klasfkacje su za klase A07, A7, A3 A5. Razlog tou je al broj uzoraka pojednh klasa u skupu za učenje (redo 4, 6,, ) kao jako loša precznost locranja znaka pr autoatskoj detekcj. Klasa A07 os što sadrž najanje uzoraka u skupu za učenje, u skupu za testranje (detekcje) a uzorke alh denzje, loše kvaltete te nepreczno locrane. Upravo zbog toga odstupanje u točnost raspoznavanja za detekcje je najprjetnje. lka 4 prkazuje neke od uzoraka klase A07. lka 4 Uzorc z klase A Analza svojstvenh koponent očnost raspoznavanja analzo svojstvenh koponent (PCA) uvelke ovs o broju svojstvenh vektora [7]. vojstven vektor s najveć svojstven vrjednosta su upravo on koj sadrže najvažnje nforacje. 34

45 Evaluacja PCA 90 očnost raspoznavanja AOACIJE DEEKCIJE Broj svojstvenh vektora lka 5 PCA klasfkacja za ručno autoatsk označene znakove (64X64). lka 5 prkazuje točnost raspoznavanja ručno označenh znakova (anotacja) autoatsk označenh znakova (detekcja) u ovsnost o broju svojstvenh vektora u ntervalu od 0 do 00 (korak 0). Plava lnja prkazuje točnost raspoznavanja anotacja. Ispravnost klasfkacje raste do 40 svojstvenh vektora. ajbolja točnost klasfkacje anotacja se postže za 0 svojstvenh vektora. Iznad tog broja, točnost se sanjuje poto stagnra. Ljubčasta lnja prkazuje točnost raspoznavanja autoatsk označenh znakova (detekcja) u ovsnost o broju svojstvenh vektora. Maksu se postže za 30 svojstvenh vektora. U ntervalu od 40 do 50, znatno se ne jenja. akon 50 svojstvenh vektora, sanjuje se. Gledajuć prosječnu točnost raspoznavanja detekcja naspra anotacja, vd se da je klasfkacja detekcja lošja. Razlog je decentralzranost detektranh slka, pr čeu se gube btne nforacje za raspoznavanje znaka. Denzje slka koje su testrane su 64x64. Dolje navedena slka prkazuje rezultate za slke denzja 48x48. 35

46 Evaluacja PCA 90 očnost raspoznavanja AOACIJE DEEKCIJE Broj svojstvenh vektora lka 6 PCA klasfkacja za ručno autoatsk označene znakove (48X48). Rezultat nad slkaa anjh denzja su lošj to za zajetnh 5%. Maksu raspoznavanja kod anotacja postže se za 0 svojstvenh vektora, a kod detekcja za 40. Vdo da denzje slke utječu na točnost klasfkacje. Projeno velčne slke (eng. resze), sanjenje denzja, pksel se nterpolraju te dolaz do gubtka nforacja koje u ovo slučaju btno utječu na rezultate raspoznavanja. PCA 0 očnost raspoznavanja A0 A03 A04 A05 A07 A08 A09 A0 A A7 A3 A5 A33 A34 A44 Anotacje, 78,9 79,39 86,54 9, , Detekcje 33,33 80,47 54,55 7,79 4,67 94, , ,9 43, ,64 93,75 lka 7 Rezultat klasfkacja PCA po klasaa. a slc 7 dan su rezultat klasfkacje pojedne klase etodo PCA. lke su denzja 64x64. Odabran je broj svojstvenh vektora koj je dao najbolje rezultate. Za anotacje broj svojstvenh vektora je 0, a za detekcje je 40. ajlošje 36

47 Evaluacja klasfcrane klase su A0, A07, A3, A5 A33. Rad se o klasaa koje aju al broj slku u skupu za učenje (A07, A3, A5, A33) kao klasaa koje su loše kvaltete u skupu za testranje (A0). a slc 8 dan je uzorak z klase A0. lka 8 Klasa A Fsherova lnearna dskrnanta očnost raspoznavanja FLD etodo dana je donj tablcaa. lke su prethodno obrađene na jednak načn kao za PCA etodu (Dodatak A). Posvljene su skalrane na denzje 64x64, odnosno 48x48. Korštenje aske zdvojeno je područje nteresa zjednačen su hstogra u svrhu pojačanja kontrasta. Prethodno su denzje uzoraka sa orgnalnh denzja sanjene na 40, 75, 0 etodo PCA [7]. ablca prkazuje rezultate u ovsnost o razlčto broju svojstvenh vektora za slke denzja 64x64, tablca 3 za slke denzja 48x48. FLD Anotacje 93,790 93,369 9,3983 Detekcje 77,56 77,409 78,9079 ablca Klasfkacja etodo FLD (64x64) FLD Anotacje 9,0686 9, ,46 Detekcje 79,748 79,748 75,4555 ablca 3 Klasfkacja etodo FLD (48x48) Iz tablce vdo da su za anotacje najbolj rezultat za 40 svojstvenh vektora, a kod detekcja za 0. Za denzje 48x48 (tablca 3), najbolj rezultat za 37

48 Evaluacja anotacje su za 0 svojstvenh vektora, a za detekcje za 40 svojstvenh vektora. Zanljvo je prjett da sanjenje denzja slke na 48x48 poboljšava raspoznavanje detekcja, a pogoršava raspoznavanje anotacja. ablce 4 5 prkazuje rezultate FLD kada se prethodno odaberu značajke korštenje hstograa orjentacje gradjenta. HOG+FLD Anotacje 9,84 9,3983 9,863 Detekcje 8, , ,585 ablca 4 HOG+FLD (64x64) HOG+FLD Anotacje 88,7 88,7 90,57 Detekcje 8,7987 8, ,376 ablca 5 HOG+FLD (48x48) Iz prloženh rezultata vd se da je korštenje hstograa orjentacje povećalo točnost klasfkacje detekcja, a sanjlo anotacja. Hstogra orjentacje gradjenta se računaju nad blokova sješten u sredštu slke, gdje se nazale relevantne nforacje po koja se znakov razlkuju. Kako autoatsk detektran znakov nsu dobro centrran, točnost se povećava jer se HOG-o zlučuju btne značajke če se povećava otpornost na poake slke. Vdno povećanje točnost klasfkacje za detekcje vd se za odabran broj svojstvenh vektora 40 (64x64.) te 0 (48x48). Ukupna klasfkacja bolja je pr denzjaa 64x64. Rad provjere rezultata vezanh za sanjenje točnost klasfkacje pr kobnacj HOG+FLD za anotacje, dodatno je testrano raspoznavanje za broj svojstvenh vektora (denzje 64x64). 38

49 Evaluacja Anotacje očnost raspoznavanja Broj svojstvenh vektora FLD HOG+FLD lka 9 očnost raspoznavanja anotacja u ovsnost o zlučvanju značajk HOG-o. Detekcje očnost rapoznavanja FLD HOG+FLD Broj svojstvenh vektora lka 30 očnost raspoznavanja detekcja u ovsnost o zlučvanju značajk HOG-o. Iz prloženh rezultata vdo da zlučvanje značajk hstograo orjentacje gradjenta povećava točnost klasfkacje detekcje, što je blo očekvano, a znenađujuće je da sanjuje točnost klasfkacje anotacja. Za očekvat je blo da neće znatno utjecat na njhove rezultate raspoznavanja. 39

50 Velčna skupa za učenje Evaluacja U poglavlju 6.. opsan je koršten skup za učenje. Broj uzoraka po razredu kreće se od 4 do 48. Razlke u broju uzoraka za učenje pojedne klase su dosta velke. ljedeće testranje provest će se sao nad klasa koje aju preko 80 uzoraka u skupu za učenje. akvh razreda je 0 prkazane su slko 3. lka 3 Klase sa velk broje uzoraka Rezultat testranja dan su tablco 6. Iz prloženog se vd da broj uzoraka u klas uvelke utječe na točnost klasfkacje. Što je broj uzoraka u skupu za učenje već to su rezultat klasfkacje bolj. VM Anotacje 99,57% 33/34 Detekcje 97,44% 8/34 PCA Anotacje 95,65% 3/34 Detekcje 9,46% 7/34 FLD Anotacje 97,35% 8/34 Detekcje 94,48% /34 ablca 6 Klasfkacja velkh klasa VM-o 40

51 Proble neprecznog locranja Evaluacja Uspješnost klasfkacje detekcja pokazala se relatvno nsko. Pr raspoznavanju uzoraka, u ovo slučaju slka znakova, trebala b klasfkacja bt nvarjantna na translacju skalranje ulaznh podataka [6]. Jedan od prstupa rješavanja ovog problea je prlagodba skupa za učenje. Osnovna deja je dodavanje lošje pozconranh prjeraka znakova u skup, poput sječaka prkazanh na slc. Dodavanje lošje pozconranh prjeraka u skup za učenje svod se na generranje sth pooću operacja poaka, uvećanja sanjenja nad početn skupo za učenje. Horzontaln vertkaln poac kao uvećanje odelran su noralno razdobo s odgovarajuć paraetra [6]. U skup je dodano 0 novh, poaknuth znakova za svak znak (slka 3). lka 3 0 novh poaknuth slka ablca 7 prkazuje rezultate klasfkacje VM-a za detekcje anotacje. Razdoba poaka po x-os odelra se noralno razdobo s paraetra (µ-0.48, δ.5). Razdoba poaka po y-os odelra se noralno razdobo s paraetra (µ-0.74, δ.3). Razdoba uvećanja se odelra s noralno razdobo s paraetra (µ0.83, δ). HOG+VM Anotacje 93, /934 Detekcje 9, /934 ablca 7 Klasfkacja VM s nov, prošren skupo za učenje. 4

52 Evaluacja Rezultat tablce 7 pokazuju velko poboljšanje pr klasfkacj detekcja, s 83,688% na 9,4347%. očnost klasfkacje anotacja se sanjla. 00 očnost raspoznavanja eporotresen skup Protresen skup 75 Anotacje Detekcje lka 33 Usporedba VM klasfkacje nad razlčto trenran skupova za učenje. a slc 33 grafčk je predočena razlka rezultata klasfkacje anotacja detekcja nad razlčto trenran skupova za učenje (nad neprotresen skupo nad protresen skupo). U protreseno skupu dodan su lošje pozconran uzorc generran na već opsan načn (Dodatak A), dok neprotresen skup podrazujeva orgnaln skup za učenje u koje su uzorc (znakov) preczno locran. 4

53 Evaluacja Detekcje očnost raspoznavanja eprotresn skup Protresen skup Broj svojstvenh vektora lka 34 Usporedba klasfkacje detekcja nad razlčto trenran skupova za učenje PCA etodo. a slc 34 ožeo vdjet usporedbu rezultata klasfkacje detekcja za PCA etodu nad protresen neprotresen skupo za učenje. Vdo da neprotresen skup daje bolje rezultate, najveća razlka je pr 40 svojstvenh vektora (sa 76,695% na 80,547%). Anotacje očnost raspoznavanja eprotresen skup Protresen skup Broj svojstvenh vektora lka 35 Usporedba klasfkacje anotacja nad razlčto trenran skupova za učenje PCA etodo. 43

54 Evaluacja lka 35 prkazuje usporedbu rezultata klasfkacje anotacja PCA etodo nad razlčt skupova za učenje. očnost raspoznavanja anotacja pr učenju nad protresen skupo se sanjuje nakon 30 svojstvenh vektora. Vdo da protresanje skupa ne poboljšava klasfkacju ručno označenh znakova (anotacja) očnost raspoznavanja Anotacje Detekcje eporotresen skup Protresen skup lka 36 Usporedba klasfkacje etodo FLD nad razlčto trenran skupova za učenje lka 36 prkazuje usporedbu klasfkacje anotacja detekcja nad razlčto trenran skupova za učenje FLD etodo. Vdo da se klasfkacja anotacja pogoršala pr učenju nad protresen skupo, dok se klasfkacja detekcja poboljšala za %. 44

55 Evaluacja 0 očnost raspoznavanja eporotresen skup Protresen skup 0 Anotacje Detekcje lka 37 FLD nad neprotresen skupo za učenje, klasfkacja - nad protresen skupo za učenje Rezultat dan slko 37 dobven su tako da je FLD naučen nad neprotresen skupo, a klasfkator - klasfcra nad protresen skupo. e su se rezultat znatno poboljšal. U slučaju detekcja poboljšanje je 3 %, a u slučaju anotacja %. Može se zaključt da kondconranje skupa za učenje loše utječe na kvaltetu transforacje u nžedenzonaln prostor Klasfkacja VM-o za vše razreda troj s potporn vektora je orgnalno bnarn klasfkator. U ovo radu koršten je za klasfkacju 5 razreda. Postoj vše načna koj se prstupa prlagodb VM-a kao klasfkatora za vše razreda [8]. r najčešća su: jedan protv jednoga, jedan protv svh DAGVM (eng. Drected Acyclc Graph upport Vector Machnes) [8], [9]. Pr klasfkacj jedan protv jednog za sve oguće parove klasa grade se bnarn klasfkator. akvh klasfkatora a n( n ) / gdje je n broj klasa. vaka klasfkacja glasa za jednu od dvje klase te se na kraju uzorak prdjeljuje klas sa najvše glasova. trategja jedan protv svh konstrura n klasfkatora, gdje svak klasfkator a dvje klase: klasu tog znaka klasu u koju spadaju sv ostal znakov. vak klasfkator os zlaza daje jeru sgurnost u svoj zbor. Od svh klasfkatora koj 45

56 Evaluacja su zabral klasu znaka, a ne klasu sv ostal, zabre se onaj koj a najveću jeru sgurnost. DAGVM je prstup u koje se grad usjeren acklčk graf koj zgleda kao obrnuto bnarno stablo gdje su lstov sve raspoložve klase. U svako koraku, klase koje nsu elnrane upare se onda se nad nja vrš bnarna klasfkacja. a taj načn, svak korako se prepolov broj klasa, dok ne preostane jedna koja je ujedno odgovor klasfkatora. Prjer je dan slko 34 [6]. lka 38 VM za vše razreda [3] lka 38 prkazuje dva prjera DAGVM stabala. Klase su podjeljene u parove. a ljevoj stran su parov (A;B) (C,D), a na desnoj parov (A,C) (B,D). U svako koraku se rad bnarna klasfkacja. U sljedeć korak du sao pobjednc (puna lnja), (A protv B, B pobjeđuje, C protv D, D pobjeđuje, A protv C, C pobjeđuje, B protv D, B pobjeđuje). Gubtnc se sključuju (scrtana lnja). Proces se zvod dok ne preostane sao jedna klasa. Razlčto uparvanje ože uzrokovat razlčte rezultate kao što se vd u prjeru sa slke. oko evaluacje našh eksperenata korštena je bbloteka LIBVM koja ncjalno korst strategju jedan protv jednoga. U ovo testranju korsto DAGVM pleentran u radu [6]. Rezultat su dan tablco 8. VM Anotacje 89,677% 837/934 Detekcje 80,0556% 75/934 ablca 8 Rezultat VM klasfkacje korštenje strategje DAGVM 46

57 Evaluacja Krtčne klase znakova zbog kojh se točnost sanjuje su klase A03, A04, A05 A3. U slučaju detekcja rad se o klas A33. Klase A03, A04 A05 aju prealo uzoraka u skupu za učenje naspra broju uzoraka u skupu za testranje. Ojer su dan tablco 9. Broj uzoraka u skupu za učenje Broj pogrešno klasfcranh Broj uzoraka uzoraka u skupu za testranje Anotacje Detekcje A A A A A ablca 9 tatstka loše klasfcranh klasa Uzorc z klase A3 os ale brojnost ujedno su loše kvaltete. eke od prjera uzoraka z skupa za učenje dan su slko 39. lka 39 Uzorc z klase A3 Za klasu A33 velk je broj krvo klasfcranh uzoraka pr testranju detekcja. ek od znakova koj se loše prepoznaju dan su slko 40. Rad se o nepreczno locran znakova koj su velk djelo odsječen z slke. lka 40 Uzorc z klase A33 Za sve znakove koj su krvo klasfcran, najčešće se rad o slkaa alh denzja. 47

58 Evaluacja Iz prloženh rezultat vdo da strategja DAGVM nje poboljšala klasfkacju. Kako je koršten pleentran VM [6], brzna zvođenja je bolja, al su rezultat lošj. Možeo zaključt da je korštenje bbloteke LIBVM po uputaa z [9] najbolja opcja za postzanje zadovoljavajućh rezultata. 48

59 ZAKLJUČAK 7. ZAKLJUČAK U sklopu ovog rada proučen su razlčt prstup z lterature za raspoznavanje proetnh znakova. Uhodan su sptan postupc klasfkacje k- VM te prstup za sanjenje denzonalnost uzoraka (PCA, FLD). v algort trenran su nad st skupo za učenje, a poto testran nad ručno označen znakova (anotacje) autoatsk detektran znakova (detekcje). Prprea slka odabr vektora značajk a važan utjecaj na rezultate raspoznavanja. Korštenje hstograa orjentacje gradjenta pokazala se kao uspješna etoda za zlučvanje vektora značajk. Značajno je povećana učnkovtost klasfkacje etodo VM. Pr korštenju za FLD etodu rad se o poboljšanju od 5% za detekcje. očnost raspoznavanja ovs o velčn skupa za učenje. Znakov onh klasa koje aju vše slka u skupu za učenje bt će bolje klasfcran od klasa s al broje slka u skupu za učenje. Uspješnost klasfkacje PCA etodo ovs o broju svojstvenh vektora. Optaln rezultat postgnut za 40 svojstvenh vektora. Pocanje slka u skupu za učenje poboljšalo je rezultate klasfkacje detekcje. Za VM točnost raspoznavanja je 9% (poboljšanje od 7%), za PCA 8 % (poboljšanje od 4%) te za FLD je 90 % (poboljšanje od 3%). 49

60 LIERAURA 8. LIERAURA [] K. Brkć, A. Pnzl,. Šegvć, raffc sgn detecton as a coponent of an autoated traffc nfrastructure nventory syste, Proceedngs of the annual Workshop of the Austran Assocaton for Pattern Recognton (OAGM/AAPR), tanz, Austra, 009. [] A.Žabćć, Eksperentalna evaluacja etoda za prepoznavanje proetnh znakova, Dplosk rad, FER, Zagreb, veljača 0. [3] I.Bonač, I.Kovaček, I.Kusalć, Z.Kalafatć,. Šegvć, Addressng false alars and localzaton naccuracy n traffc sgn detecton and recognton,he Coputer Vson Wnter Workshop, Graz, Austra, 0. [4]. Dalal and B. rggs, Hstogras of Orented Gradents for Huan Detecton, n Coputer Vson and Pattern Recognton, IEEE Coputer ocety Conference on, Los Alatos, CA, UA, 005, vol., pp [5] C. L. ovak and. A. hafer, Anatoy of a color hstogra, n Proceedngs 99 IEEE Coputer ocety Conference on Coputer Vson and Pattern Recognton, Chapagn, IL, UA, pp [6] Duda, R., Hart, P., tork, D., Pattern Classfcaton, econd edton, John Wley and ons, Inc., 00, str [7]. Rbarć, Raspoznavanje uzoraka, predavanje 5 (VM), FER, rujan 009. [8] urk, M., Pentland, A. Egenfaces for Recognton, Journal of Cogntve euroscence, pp [9] I.učć, Prjena etode PCA nad skupo slka zankova, Završn rad, FER, Zagreb, lpanj 009. [0].Elezovć, Lnearna algebra, vojstven vektor, Eleent, Zagreb, 995. [] th, L. I, A tutoral of Prncpal Coponent Analyss,Journal Artcle, Cornell Unversty, UA, 00. []. heodords, K. Kountroubas, Pattern Recognton, Acadec press, 006. [3]. Rbarć, Raspoznavanje uzoraka, predavanje 3 (FLD), FER, Zagreb, rujan 009. [4] I. Gokcen and J. Peng, Coparng Lnear Dscrnant Analyss and upport Vector Machnes, n Advances n Inforaton ystes, vol. 457,. Yakhno, Ed. Berln, Hedelberg: prnger Berln Hedelberg, 00, pp [5] A cobned VM and LDA approach for classfcaton, vol. 3, pp vol. 3, Aug [6] I.Bonač, I.Kusalč,I. Kovaček, Detekcja raspoznavanje proetnh znakova u vdeo snc, FER, Zagreb, 00. [7] Lnear dscrnant analyss, Wkpeda, the free encyclopeda, , [8] Chang, Chh-Chung; Ln, Chh-Jen, A Coparson of ethods for Mult Class upport Vector Machnes, 00, [9] Chang, Chh-Chung; Ln, Chh-Jen: A practcal gude to upport Vector Classfcaton, 00, [0] M. Ells and F. Lundh, Python Iagng Lbrary Overve. -Mar-00. [] IageMagck Users Gude, E. I. du Pont de eours and Copany, 999, [] Open ource Coputer Vson Lbrary, Reference Manual, [3] Chang, Chh-Chung; Ln, Chh-Jen: LIBVM: a lbrary for support vector achnes, [4] Jacob egenvalue algorth, Wkpeda, the free encyclopeda, , 50

61 Dodatak A: Ops pleentacje Označavanje proetnh znakova Dodatak A: Ops pleentacje Prograo Marker [] ručno su označen znakov na vdeo sekvencaa te su stvorene datoteke koje opsuju položaj znakova u pojedn okvra vdeo sekvence. krpta za zrezvanje znakova napsana je u prograsko jezku Python (zrez.py) u radu [6]. Korštena je bbloteka PIL (eng. Python Iagng Lbrary) koja oogućuje anpulacju slkaa [0]. apsana skrpta oogućuje zdvajanje znaka na dva načna: noralno protreseno. oralno zdvajanje podrazujeva da se znak z slke zreže po koordnataa defnran datoteko generrano prograo Marker (sekvence.seq). Protreseno zdvajanje podrazujeva da se z svake slke zreže 0 slka stog znaka poaknuth na razlčte načne od orgnalnog položaja. Ideja je da se korštenje noralne (Gaussove) razdobe projen pozcja denzja znaka. oralna dstrbucja se označava kao : ( µ, σ ) gdje je µ srednja vrjednost oko koje su raspršene vrjednost, a σ varjacja. Znakov su razlčth velčna ovsno o udaljenost od kaere. Pozcja denzja znaka se jenjaju relatvno u odnosu na šrnu znaka, što znač da se už znakov (ujedno anj) anje poču nego šr. Pocanje se rad tako da se generraju za svak od deset paraetara, koordnate x y opsanog pravokutnka te šrna vsna pravokutnka. Poto se generra slučajan broj po zadanoj noralnoj razdob koj će se nožt sa šrno slke te dodat zadano paraetru. Množenje sa šrno slke osgurava da poac budu već za veće slke, a anj za anje slke. Obrada slke Za obradu slka koršten je progrask alat IageMagc []. IageMagc je alat za anpulacju slkaa u razlčt forata. Korštena verzja pokreće se.z koandne lnje. Za rješavanje problea prepltanja napsana je skrpta denterlace.sh u dplosko radu []. Odbacvanje polovce lnja nterpolacja lnja koje nedostaju (eng. denterlacng) ostvareno je korštenje naredbe convert na sljedeć načn: 5

62 Convert -saple 00%x50% -resze 00%x00% srciage destiage Dodatak A: Ops pleentacje Convert -roll +0- -saple 00%x50% -resze 00%x00% srciage destiage Opcja -saple 00%x50% defnra da će se z orgnalne slke uzet sve vrjednost po x os (00%) svaka druga po y os (50%). Opcja -resze ovako zdvojenu slku uvećava po y koponent na dvostruko veću slku, na denzje koje je slka ala na početku. Prlko stvaranja druge slke korst se opcja -roll, čja je sntaksa -roll{+-}x[+-}y, koja će slku poaknut za jedan redak prea gore kako b se zdvojl parn redov. Za algorte PCA FLD, slke je potrebno posvt te skalrat na denzje 64x64 (48x48). Za te potrebe napsana je skrpta reszegray.sh u dplosko radu []. Željene projene ostvarene su korštenje sljedećh naredb: convert -crop dthxheght+xoffset+yoffset -resze +48x+48 colorspace Gray -depth 8 srciage destiage Opcja -crop će zrezat pravokutn do slke šrne dth vsne heght, poaknut od početka slke za xoffset u sjeru x os yoffset u sjeru y os. Opcja -resze će slc projent denzju na zadanu, dok će opcja -colorspace Gray slku pretvort u svu slku. Hstogra orjentacje gradjenta Hstogra orjentacje gradjenta pleentran je u prograsko jezku C++ u radu [6]. Korštena je besplatna bbloteka OpenCV [] za prkaz, obradu učtavanje slke. Ipleentacja je zvedena po postupku objašnjeno u poglavlju 6... Prje računanja hstograa orjentacje gradjenta potrebno je zračunat gradjente u oba sjera [6]. Gradjent funkcje dvje varjable: f ( x, y) f ( x, y) f ( x, y) + j x y Kontnurana varjanta gradjenta ne ože se korstt jer je slka dskretna pa se korste aproksacje dervacja: 5

63 Iznos gradjenta se računa kao: jer gradjenta računa se kao: f ( x, y) f ( x +, y) f ( x, y) dx x f ( x, y) f ( x, y + ) f ( x, y ) dy y g dx + dy dy φ arctg( ) dx Dodatak A: Ops pleentacje Gradjent u oba sjera zračunat su korštenje funkcje OpenCV-a cvobel: vod cvobel( const CvArr* I, CvArr* J, nt dx, nt dy, nt apertureze3 ); Zadana funkcja je pozvana na načn: cvobel(g,dx,,0,cv_charr); cvobel(g,dy,0,,cv_charr); Paraetar CV_CHARR označava da se ujesto obela korst 3x3 charrov fltar. charrov fltar daje precznj gradjent jer uza u obzr djagonalne vrjednost. charrov operator je defnran askaa: G X G y Hstogra nad blokova velčne 6x6 se rade za četr kuta 80 stupnjeva, a hstogra nad blokova velčne 4x4 se rade za seda kutova 360 stupnjeva. U obzr su uzet sao relevantn djelov znaka (slka 9). Ukupn vektor značajk je 74. troj s potporn vektora U sklopu ovog rada korštena je pleentacja stroja s potporn vektora: besplatna bbloteka LIBVM [3]. Glavna prednost bbloteke LIBVM je u brzn, a nedostatak je to što ju je teže odfcrat eksperentrat s djelovanje pojednh eleenata stroja s potporn vektora. Bbloteka je pleentrana u prograsko jezku C++ u radu [6]. 53

64 Dodatak A: Ops pleentacje Za prpreu slka se korst bbloteka OpenCV []. Prje računanja vektora značajk potrebno je projent denzje slke na 48x48, pretvort slku u svu noralzrat vrjednost slke. Bbloteka LIBVM os saog trenranja testranja uzoraka oogućava skalranje ulaznh podataka na vrjednost u rasponu [-,]. o se obavlja pozvo prograa: sv-scale ulaznadatoteka > zlaznadatoteka Paraetare C γ za Gaussovu jezgru oguće je optrat korštenje skrpte grd.py koja to čn postupko unakrsne valdacje. troj se trenra nad skalran podatca s odabran optaln paraetra: sv-tran c 3 g ulaznadatoteka Progra će u slučaju uspješnog zvršavanja u stoe drektorju stvort datoteku ulaznadatoteka.odel koja sadrž paraetre odela. Klasfkacja uzoraka se vrš pozvo prograa: sv-predct testdatoteka odel zlaznadatoteka U zlaznoj datotec se nalaze ndeks klase u koje su klasfcran uzorc, redo za sve testne uzorke. Analza svojstvenh koponent Analza svojstvenh koponent (PCA) pleentrana je u prograsko jezku C++ u dplosko radu []. Prje sae pleentacje algorta (poglavlje 4.) slke su dodatno obrađene kako b se poboljšala točnost klasfkacje. Pozadna znaka nje btna za raspoznavanje. Da b se zdvojlo područje nteresa, korštena je aska (slka 4). lka 4 Maska korštena za uklanjanje pozadne Rezultat njene prjene dan je slko 4. 54

65 Dodatak A: Ops pleentacje lka 4 Prjena aske na ulaznoj slc U korštenoj baz slka razlčte slke aju razlčta osvjetljenja. Da b se noralzrala, zjednačen su hstogra. Hstogra slke je grafčk prkaz dstrbucje vrjednost slke. On pokazuje broj slkovnh eleenata za svaku vrjednost. Korštene slke su sve pa postoj sao jedna vrjednost za svak slkovn eleent svjetlna. Ona se nalaz u ntervalu [0,55]. Izjednačavanje hstograa služ za projenu osvjetljenja kontrasta slke na željen načn. Ideja je da se projeno srednje vrjednost svjetlne slke jenja osvjetljenje, a projeno standardne devjacje svjetlne jenja kontrast. a slc 43 dan je rezultat zjednačavanja hstograa ulazne slke. lka 43 lka znaka sa zjednačen hstograo akon navedene prpree slka proveden je algorta etode PCA opsan u poglavlju 4.. Ulazn podatc organzran su u kovarjacjsku atrcu C, odnosno C'. te je potrebno zračunat svojstvene vektore svojstvene vrjednost prpadajuće atrce. Kako se rad o atrc velkh denzja, nepraktčno je te vrjednost računat na osnovn načn. U tu svrhu razvjen su razn algort za jednostavnje brže računanje. Jedan od njh je Jacobjev rotacjsk algorta [], [4]. Postupak počnje od pretpostavke da se svaka kvadratna atrca A ože djagonalzrat noženje sa atrco svojstvenh vektora V na sljedeć načn: Q V AV Jacobjev algorta se bazra na nzu rotacja koje su osšljene tako da pr svakoj teracj podatc zvan glavne djagonale postaju sve anj dok atrca ne postane djagonalna. Postupak je sljedeć: 55