DETEKCIJA I RASPOZNAVANJE PROMETNIH ZNAKOVA U VIDEO SNIMCI

Transcription

1 SVEUČILIŠTE U ZAGREBU FAKULTET ELEKTROTEHNIKE I RAČUNARSTVA Igor Bonač Ivan Kovaček Ivan Kusalć DETEKCIJA I RASPOZNAVANJE PROMETNIH ZNAKOVA U VIDEO SNIMCI Zagreb, 2010

2 Ovaj rad zrađen je u Zavodu za elektronku, mkroelektronku, računalne ntelgentne sustave (ZEMRIS), pod vodstvom prof. dr. sc. Zorana Kalafatća predan je na natječaj za dodjelu Rektorove nagrade u akademskoj godn 2009./2010.

3 SADRŽAJ 1 Uvod Cljev Značajke slke Obrada slke Ispravljanje smetnj uzrokovanh prepltanjem slke Sustav boja Gradjent slke Hstogram orjentacje gradjenta Haarove značajke Stroj s potpornm vektorma Intucja o najboljoj granc odluke Klasfkator optmalne grance Korštena notacja Funkcjska geometrjska margna Formulacja optmzacjskog problema Prmal Dual optmzacjsk problem Jezgren trk Motvacja Ideja Izbor jezgre Stroj s potpornm vektorma L1 meke grance Motvacja Modfkacja Sljedna mnmalna optmzacja Izvedba stroja s potpornm vektorma Umjetne neuronske mreže Umjetn neuron Arhtektura unaprjedne neuronske mreže Učenje Gradjentn spust Propagacja greške unatrag Ubrzanje konvergencje Valdacja... 34

4 5.4 Izvedba umjetnh neuronskh mreža Algortam Vole Jonesa Integralna slka Detekcja objekata na slc Kaskada klasfkatora Boostng AdaBoost algortam Algortam Vole Jonesa Pregled algortma Ulazne značajke Jedna razna klasfkatora Izgradnja kaskade Detekcja Realzacja Učenje Učenje algortma Vole Jonesa Učenje neuronske mreže stroja s potpornm vektorma Rezultat odabr klasfkatora Poboljšanja Problem lažnh detekcja Problem neprecznog locranja Ostala poboljšanja Konačna zvedba Rezultat Detekcja Klasfkacja Performanse sustava Moguća poboljšanja Zaključak Zahvale Dodatak A Ops mplementacje A.1 Algortam Vole Jonesa A.2 Učtavanje obrada slke: A.1.1 Učenje kaskade:... 75

5 A.1.2 Detekcja znakova A.2 Programsko ostvarenje stroja s potpornm vektorma A.2.1 Učenje stroja s potpornm vektorma A.3 Programsko ostvarenje umjetnh neuronskh mreža Lteratura Naslov, sažetak ključne rječ Ttle, abstract and keywords... 83

6 1 Uvod Posljednjh nekolko desetljeća, računala postaju sve prsutnja u ljudskoj svakodnevc. Postoj mnoštvo problema koje računala rješavaju puno efkasnje od ljud stoga su mnog poslov nezamslv bez računalne potpore. Unatoč zraztoj moć obrade podataka, računalma se dalje ne mogu efkasno rješavat nek problem koje ljud rješavaju svakodnevno bez velkog napora. Umjetna ntelgencja, kao grana računalne znanost, zučava takve probleme traž rješenja sth. Računaln vd je grana umjetne ntelgencje koja razmatra probleme obrade slke vdea, te zdvajanja korsnh nformacja z njh. Danas ne postoj općent postupak koj rješava problem detekcje objekta u slc. Svakom konkretnom problemu detekcje objekta, poput detekcje lca l prometnog znaka, prstupa se pojednačno, uzmajuć u obzr posebna svojstva objekta. U ovom se radu rješava problem detekcje raspoznavanja prometnh znakova u vdeo snmc. Osnovn clj je za danu slku locrat pozcju na kojoj se nalaz prometn znak, te potom odredt o kojem se znaku rad. Ovaj je problem veoma zanmljv te b njegovo rješenje malo šroku praktčnu prmjenu: kao pomoć u održavanju prometnca, kao pomoć vozačma tjekom vožnje, kao sgurnosn sustav u vozlma U sklopu rada zgrađen je sustav temeljen na algortmu Vole Jonesa, stroju s potpornm vektorma te umjetnm neuronskm mrežama. Detekcja znaka u slc vrš se algortmom Vole Jonesa, dok neuronska mreža stroj s potpornm vektorma prvenstveno služe za raspoznavanje znaka, to jest određvanje njegove klase. Na temelju usporedbe rezultata stroj s potpornm vektorma je odabran kao prmarn klasfkator, a neuronska mreža kao sekundarn. U konačnoj zvedb dodatnom neuronskom mrežom se obavlja detekcja nad rezultatma algortma Vole Jonesa, u svrhu smanjenja razne lažnh detekcja. Kroz razvoj sustava provedena su brojna stražvanja u svrhu dentfcranja problema rješavanja sth. Neka od th stražvanja znesena su u radu, prmjerce odabr ulaznh značajk, modelranje skupa za učenje, korštenje neuronske mreže kao dodatne kaskade algortmu Vole Jonesa... Na temelju stražvanja sustavno su poboljšavan rezultat, te su naposljetku postgnute odlčne performanse. Nakon scrpnog proučavanja problema, predlažemo rješenje koje daje veoma dobre rezultate. Predložen postupak je prmjenjen na prometne znakove upozorenja, no prmjenjv je na druge vrste prometnh znakova. Koršten postupc, njhova teorjska osnova dobven rezultat sljede u nastavku. 1

7 2 Cljev Osnovn clj u ovome radu je automatzrana dentfkacja prometnh znakova kroz vdeo snmku. Rad je ogrančen na prometne znakove upozorenja, koj su trokutastog oblka. Za potrebe detekcje raspoznavanja znakova drugh oblka, prmjerce okruglh znakova, također je moguće, uz manje promjene, prmjent opsan postupak. Obrada vdeo snmke svod se na obradu slka koje čne stu, te se problem detekcje raspoznavanja prometnh znakova sastoj od dva osnovna potproblema: Detekcja locranje prometnog znaka u slc Raspoznavanje detektranog znaka Problem detekcje znaka u slc svod se na pretražvanje svh mogućh djelova slke, te utvrđvanja za svak pojedn do predstavlja l on prometn znak l ne. Slka 2.1. Detekcja prometnog znaka Slka 2.1 prkazuje prmjer željenog rezultata detekcje. Izlaz procesa detekcje čn ops položaja detektranog znaka unutar slke, te predstavlja ulaz za proces raspoznavanja. Detektran položaj prometnog znaka je na slc prkazan crvenm kvadratom koj uokvruje detektran znak. Slka 2.2 Raspoznavanje prometnh znakova 2

8 Na slc (Slka 2.2) je prkazan rezultat postupka raspoznavanja. Raspoznavanjem se za dan sječak slke utvrđuje koj prometn znak taj sječak predstavlja. Konačan rezultat detekcje raspoznavanja kazuje da l se u zadanoj slc nalaz znak (l vše njh), kojeg je tpa taj znak te njegovu pozcju u slc. Na osnovu podataka o detekcj raspoznavanju znakova u slkama, naposljetku je potrebno dentfcrat znakove na razn vdeo snmke. Rezultat konačne analze govor u kojm se vremenskm perodma kroz vdeo snmku nalaze znakov, te kojeg su on tpa. U ovome radu se za potrebe detekcje korste algortam Vole Jonesa, te umjetne neuronske mreže, dok se problem raspoznavanja rješava pomoću umjetnh neuronskh mreža stroja s potpornm vektorma. U dućm poglavljma detaljno su analzran prncp rada trju navedenh algortama, dok je u kasnjm poglavljma opsan koncept zvedenog sustava te su prezentran dobven rezultat. 3

9 3 Značajke slke Da b se z slke zdvojla korsna nformacja, potrebno je odredt načn zlučvanja značajk z slke. Također, prje zlučvanja značajk potrebno je obradt slku da b se spravle eventualne smetnje, l postgl željen efekt. Ovo poglavlje obrađuje dva navedena problema: obrada slke, te zlučvanje značajk. 3.1 Obrada slke Ispravljanje smetnj uzrokovanh prepltanjem slke 1 Slke nad kojma se vrš klasfkacja su djelov vdeo snmke. Kamera pr snmanju korst prepltanje (eng. nterlacng): prvo snm svak drug redak slke, a zatm preostale retke. Kao rezultat toga, javljaju se smetnje na slc pr brzm pokretma kamere. Slka 3.1 prkazuje prmjere slka sa smetnjom pr utjecaju prepltanja. Slka 3.1 Prepltanje slke U skupu slka postoj okvrno 10% slka sa smetnjom prouzročenom prepltanjem, te b adekvatna obrada takvh slka poboljšala rezultate klasfkacje. Jednostavna metoda s dobrm rezultatma je odbacvanje polovce lnja, te nterpolacja lnja koje nedostaju. Slka 3.2 Slke spravljene odbacvanjem lnja 1 Djelov poglavlja su preuzet z I. Kovaček: Sustav za detekcju raspoznavanje prometnh znakova 4

10 Slka 3.2 prkazuje slke s prjašnje slke (Slka 3.1) spravljene metodom odbacvanja lnja. Slke su vdno bolje nakon obrade, al pak nsu kvaltetne. Problem u odbacvanju lnja je gubtak nformacje o slc, te kada b se provodla obrada slka u tome oblku, nformacja b se zgubla na kvaltetnm slkama. Očuvanje nformacje je motvacja za sljedeć prstup spravljanju smetnj uzrokovanh prepltanjem. Promatrana smetnja se očtuje u pomaknutm horzontalnm lnjama, te b aproksmacja nverza smetnje bo pomak th lnja natrag. Problem je otkrvanje najboljeg pomaka. U frekvencjskom spektru spravne slke u pravlu se stču nske frekvencje, dok su vsoke relatvno male. Promotrmo l slku sa smetnjom uzrokovanom prepltanjem, zamjett ćemo da su staknutje vertkalne frekvencje slke. Takva prroda smetnje omogućuje odabr udjela vsokh vertkalnh frekvencja spektra slka za mjeru kvaltete. transformacje: Dvodmenzonalna dskretna kosnusna transformacja (3.1) je oblk dskretne Fourerove X k1, k 2 N1 = 1N2 1 n = 0 n = x π cos n N1 1 + k 2 π cos n N n1, n k2 (3.1) Pojašnjenje: X - vrjednost spektra za prostorne frekvencje k1 k2 k1, k 2 N 1, N 2 - dmenzje slke ( prostorna domena ) x n 1,n 2 - vrjednost slke na pozcj n 1, n 2 Osnovna svojstva 2D DCT transformacje povoljna su za zdvajanje vertkalnh frekvencja slke. Velčna spektra jednaka je velčn slke, te je spektar razapet dmenzjama horzontalne vertkalne frekvencje. Tako se u 0-tom stupcu n-tom retku nalaz faktor vsoke vertkalne prostorne frekvencje slke. Odabr mjere kvaltete slke Q svod se na odabr funkcje vsokog vertkalnog spektra slke. Odabrana mjera je negatvna suma 0.25% spektra, za frekvencje najblže najvećoj vertkalnoj frekvencj: 5

11 Q = H N2 1 X k, k k = 0 k = V , H V = = 0.05 N 0.95 N 2 1 (3.2) Nakon što je odabrana mjera kvaltete slke, možemo prstupt procesu spravljanja slke metodom pomaka horzontalnh lnja l odbacvanjem parnh (l neparnh) lnja. Osnovna deja je pomakom parnh (l neparnh) horzontalnh lnja za razlčte znose, odredt pomak za koj je slka mala najveću mjeru kvaltete Q. Dskretna kosnusna transformacja se računa nad lumnantnom komponentom slke. Promotrmo spravljanje slke na kojoj nema pojave prepltanja. Slka 3.3 Ispravljanje prepltanja pomakom Slka 3.3. prkazuje prmjer spravljanja prepltanja metodom pomaka. Velčna je pr tome horzontaln pomak lnja, dok je mjera kvaltete predložena zrazom (3.2). Očto je da je početna slka, s pomakom 0, najkvaltetnja od ponuđenh, a za tu slku je mjera kvaltete Q najveća. To odražava btno svojstvo ovog prstupa spravljanju smetnje: očuvanje nformacje kvaltete slka bez smetnje uzrokovane prepltanjem. Pokazalo se da se ovom metodom spravne slke ne mjenjaju. Na slc (Slka 3.4) nalaz se usporedba dvaju metoda popravljanja. Metoda spravljanja pomakom popravlja slku, al se pak pokazuje lošjom od metode spravljanja odbacvanjem lnja. Uzrok tome je prroda smetnje. Pr prepltanju, podac na zakašnjelm lnjama nsu samo horzontalno pomaknut od željenh podataka, nego su pomaknut ovsno o smjeru gbanja kamere. 6

12 Slka 3.4 Usporedba metoda spravljanja prepltanja Ispravljanje pomakom može poslužt za detekcju prepltanja: ako je najbolj pomak razlčt od 0, slka sadrž smetnje uzrokovane prepltanjem. Kombnacja dvaju metoda daje najbolje rezultate. Ispravljanje pomakom služ kao detektor prepltanja. Ako je detektrana smetnja, slka se spravlja metodom odbacvanja lnja. 3.2 Sustav boja Boje su važne značajke slke, te je potrebno dobro odabrat reprezentacju boja pr rješavanju problema klasfkacje. Osnovn zaps slke je u RGB (eng. red, green, blue) formatu. Slka je razložena na tr komponente: crvenu, plavu zelenu, za svak slkovn element. U praks se pokazalo da su podac u ovakvome zapsu često loše značajke za predstavljanje uzoraka. Često se korst samo lumnantna komponenta koja odgovara komponent Y z YUV sustava boja. U V su kromnantne komponente. Formula (3.3) je zraz za zračun lumnantne komponente z komponent RGB sustava. Slka 3.5 prkazuje odnos slke njene lumnantne komponente. Y = R G B (3.3) 7

13 Slka 3.5 Lumnantna komponenta slke Lab sustav boja dzajnran je da b apro oksmrao ljudsko vđenjee boja, to jest kom mponente su mu perceptualno unf formne u odnosu na ljudsk vd. L komponenta predstavlja lumnantnu komponentu, dok a b komponentee razapnju nja anse boje. Slka 3..6 prkazuje dnamku Lab sustava. Kao što se može očtat sa grafova, u Lab sustavu su defnrane boje koje nsu vdljve ljudskom oku. Slk ka 3.6. Lab sustav boja [16] 3..3 Gradjent slke Rubov slke sadrže btnu nformacju o oblku. Gradjent lumnantne komponentee relatvno dobr ro zdvajaa rubove slke, pošt to je gradjent smjer najb bržeg rastaa funkcje. Gradjent funkcje dvje varjable: f ( x, y) f (x, y) ) = ff ( x, y ) + x y j (3.4) Poštoo je slka dsk kretna, korstmo aproksmacje dervacja po x y: f ( x, y) dx = x = f (xx +11, y) 2 f (x 1,, y) (3.5) dy = f ( x, y) y = f (x, y +11 ) f (x, y 1) ) 2 (3.6) 8

14 Pomoću zraza (3.5) (3.6) gradjent se aproksmra na temelju vrjednost horzontalnh vertkalnh susjeda slkovnog elementa. Prkaz gradjenta pomoću kuta znosa često je prkladnj: 2 2 = dx dy, = arctg ) r + dy ( dx φ (3.7) Slka 3.7 prkazuje znos gradjenta lumnantne komponente slke. Može se zamjett sposobnost zdvajanja rubova. Slka 3.7 Gradjent lumnantne komponente slke Precznj gradjent, koj uzma u obzr djagonalne vrjednost, može se postć fltrranjem (konvolucjom) Schaarovm operatorma, koj su cjelobrojne aproksmacje: G y 3 = G x 3 = (3.8) 3.4 Hstogram orjentacje gradjenta Upotreba hstograma je jednostavan načn zlučvanja značajk nad djelovma slke. Adekvatnm odabrom velčne položaja segmenata slka nad kojma se rade hstogram značajk, postže se određena otpornost na pomake slke. Posebno zanmljv je hstogram orjentacje gradjenata. Nakon odabra segmenata slke nad kojma se rade hstogram, za svak slkovn element u segmentu promatra se kut gradjenta. Hstogram kutova gradjenata daje ops orjentacje rubova za dotčn segment slke, te tme daje nformacju o oblku koj se nalaz u segmentu. 9

15 Slka 3.8 Hstogram orjentacje gradjenata Slka 3.8 prkazuje gradjent slke podjeljen na segmente, te hstograme smjera gradjenata. Vrjednost kuteva lnearno su raspoređene od 0 do -150 stupnjeva. Hstogram vjerno prkazuju mogućnost zdvajanja nformacje o smjeru rubova slke. U navedenom prmjeru hstogram se temelj na smjeru, to jest, na rasponu od 180 stupnjeva. Detaljnju nformacju o rubovma može se dobt prošrenjem hstograma na orjentacju, to jest na 360 stupnjeva, te prošrenjem na dvodmenzonaln hstogram dodavajuć dmenzju znosa gradjenta. Uz hstogram orjentacje gradjenta često se korste hstogram bazran na značajkama z razlčth sustava boja. Takve značajke su otporne na rotacju translacju objekta. 3.5 Haarove značajke U matematc su poznat Haarov valć (eng. Haar wavelet) koj su prv poznat prebrojv sljed ortonormalnh funkcja koje su baza u Lebesqueovom prostoru kvadratno ntegrablnh funkcja[19]. Slka 3.9 prkazuje osnovn Haarov wavelet. Slka 3.9 Prkaz Haarovog waveleta 10

16 Svaka kontnurana funkcja može se aproksmrat lnearnom kombnacjom, 2, 2, njhovh pomaka. Također je poznata dskretna Haarova wavelet transformacja koja se danas često korst u kompresj slke, prmjerce u JPEG 2000 standardu. Dskretna Haarova transformacja korst ortonormaln skup Haarovh značajk. Prednost korštenja Haarove transformacje u odnosu na DCT 2 transformacju je brzna kompresje te bolja kompresja naglh promjena odnosno vsokh frekvencja u slc koje nastaju kao rezultat rubova objekta. Po uzoru na Haarove valće osmšljene su Haarove značajke. Defnraju se kao razlka sume slkovnh elemenata unutar određenh pravokutnh područja. Slka 3.10 prkazuje osnovne oblke Haarovh značajk. Crne regje slke označavaju da se slkovn element u njma zbrajaju, a bjele regje da se slkovn element oduzmaju od ukupne vrjednost. Slka 3.10 Prkaz Haarovh značajk Prmjena valća u kompresj korst ortonormalnu bazu u Haarovom prostoru značajk. Nasuprot tome u metodama računalnog vda korst se potpun skup svh Haarovh značajk na određenom području. Taj skup ne čnu bazu jer nje lnearno nezavsan, te se prmjerce za regju velčne slkovna elementa sastoj od čak elemenata, dok je dmenzja tog vektorskog prostora jednaka 576. Ukolko je zvorna slka sva tada se generraju značajke samo na tom jednom kanalu slke. Ukolko postoj već broj kanala slke (prmjerce u RGB, HSV l LAB sustavu boja) tada je moguće zračunavat Haarove značajke na svakom od kanala nezavsno [23]. 2 DCT dskretna kosnusna transformacja (dscrete cosnus transform) 11

17 4 Stroj s potpornm vektorma 3 Stroj s potpornm vektorma (eng. Support Vector Machne, [1]) će bt objašnjen postepeno. Prvo će bt znesene dvje općente ntucje o klasfkacj, nakon toga sljed objašnjenje klasfkatora optmalne grance (eng. Optmal Margn Classfer, [2]), te će konačno klasfkator optmalne grance bt modfcran tako da nastane stroj s potpornm vektorma. 4.1 Intucja o najboljoj granc odluke Promatra se bnarna klasfkacja s grupama 1-1. Svak objekt se za potrebe klasfkacje predstavlja kao vektor značajk (eng. Feature vector). Vektor značajk n x R sadrž n realnh brojeva koj predstavljaju pojedne osobne objekta (npr. cjena objekta, velčna, površna koju zauzma, težna slčno). Buduć da je n x R, vektor značajk se može promatrat kao točka u n-dmenzonalnom prostoru. Pretpostavlja se da su grupe 1-1 lnearno odvojve u n-dmenzonalnom prostoru. To znač da postoj hperravnna koja djel n-dmenzonaln prostor na dva djela tako da se sv element (točke) grupe 1 nalaze s jedne strane hperravnne, a sv element (točke) grupe -1 nalaze s druge strane hperravnne. U slučaju n = 2 dobvamo 2D prostor, a hperravnna postaje pravac. Slka 4.1. Lnearno odvojve grupe u 2D prostoru Na slc 4.1 su prkazane dvje lnearno odvojve grupe (grupa 1 je označena kružćem, a grupa -1 ksćem). Hperravnna koja odvaja grupe je pravac. Na slc 4.1 su prkazana tr pravca koja uspješno odvajaju grupe. Od tr prkazana odvajajuća pravca najbolj je pravac prkazan punom lnjom. Taj je pravac najudaljenj od obje grupe, te tme smanjuje mogućnost pogrešne klasfkacje u rubnom području 3 Djelov poglavlja su preuzet z I. Kusalć: Raspoznavanje prometnh znakova metodom potpornh vektora 12

18 grupa, uz sam pravac. To je druga ntucja: najbolj odvajajuć pravac dvje lnearno odvojve grupe je onaj koj je najudaljenj od obje grupe. 4.2 Klasfkator optmalne grance Stroj s potpornm vektorma (eng. Support Vector Machne, SVM) se temelj na starjem klasfkatoru optmalne grance (eng. Optmal Margn Classfer, poznat pod nazvom Maxmum Margn Classfer), te će prje samog SVM-a bt objašnjen ovaj algortam Korštena notacja Da b blo moguće matematčk postavt temelje algortma potrebno je uvest određenu notacju. Neka je y { 1, + 1} oznaka pojedne grupe neka je defnrana funkcja 1, ako z 0 g( z) = 1, ako je z<0 Nadalje, neka je h( x ) hpoteza koja vraća oznaku grupe (+1 l -1). Hpoteza h( x ) je parametrzrana s parametrma w b. Pr tome je n x R vektor značajk, a n w R b R su parametr hpoteze. Vrjed: h, ( x) = g( w T x + b) w b Skup za učenje je skup prmjera za učenje koj su predstavljen kao uređen parov ( ) ( ) (, ) x y gdje je x ( ) n R vektor značajk -tog objekta, a ( ) y je oznaka grupe kojoj prpada -t objekt Funkcjska geometrjska margna Par parametara ( w, b ) defnra klasfkator, tako što defnra određenu razdvajajuću hperravnnu koja razdvaja grupe objekata. Funkcjska margna Defncja : Funkcjska margna hperravnne ( w, b ) s obzrom na nek određen prmjer za učenje ( ) ( ) T ( ) x y je ˆ γ = y ( w x + b). ( ) ( ) (, ) Ovako defnrana funkcjska margna zapravo matematčk znos ntucju o pouzdanost klasfkacje. Name, ako je y ( ) = 1, da b funkcjska margna bla što veća, mora vrjedt T ( ) w x 0, odnosno ako je y ( ) = 1, mora vrjedt T ( ) w x 0. Što je veća funkcjska margna, to je veća 13

19 pouzdanost klasfkacje. Vrjed da je -t prmjer za učenje ( ) ( ) (, ) x y spravno klasfcran vrjed l ( ) ˆ 0 γ >, što sljed drektno z same defncje. Defncja: Funkcjska margna hperravnne ( w, b ) s obzrom na cjel skup za učenje je γ ) ˆ mn ˆ( γ =. Odnosno, funkcjska margna s obzrom na cjel skup za učenje je najlošj slučaj funkcjske margne s obzrom na nek određen prmjer za učenje z danog skupa za učenje. Rečeno je kako je poželjno mat što veću funkcjsku margnu. Problem s tm zahtjevom je taj da je funkcjsku margnu moguće povećat za željen faktor tako da se za taj faktor skalraju parametr w b (npr. ( w 2w b 2 b) ˆ γ 2 ˆ γ ). Ovaj problem je moguće rješt dodavanjem normalzacjskog uvjeta, npr. ako se zahtjeva da vrjed w = 1. Geometrjska margna ( ) Defncja: Geometrjska margna γ hperravnne ( w, b ) s obzrom na nek određen prmjer za učenje ( ) ( ) (, ). x y je geometrjska udaljenost točke koja predstavlja taj prmjer za učenje od hperravnne ( w, b) Slka 4.2. Geometrjska margna u 2D Na slc 4.2 je prkazana geometrjska margna ( ) γ u 2D prostoru određenom s x1 x2 osma. T Hperravnna je zadana s w x + b = 0, pa je normala na tu hperravnnu dana s n = w w. Točka T je 14

20 dana s x pa vrjed: γ ( ) ( ) w T ( ) ( ) w x b ( ) ( ). Kako točka T lež na hperravnn, mora zadovoljavat jednadžbu hperravnne, w w γ + = 0 w T T ( ) ( ) w w ( ) w x + b = γ = γ w w γ T w b = x + w w ( ) ( ) čme je zražena udaljenost prmjera za učenje ( x, y ) od hperravnne zadane s ( w, b ). Uzme l se u obzr mogućnost da prmjer za učenje nje spravno klasfcran, geometrjska je margna dana s: γ T w b = y x +. w w ( ) ( ) ( ) Dobven zraz za geometrjsku margnu dentčan je zrazu za funkcjsku margnu, samo je još ( ) γ normalzran s w (tj. γ = ). Clj je mat što veću geometrjsku margnu. Odnosno, ako je w ( ) ˆ objekt spravno klasfcran, bolje je da je što dalje od odvajajuće hperravnne. Defncja: Geometrjska margna hperravnne ( w, b ) s obzrom na cjel skup za učenje je γ = mn γ ( ) Formulacja optmzacjskog problema Klasfkator optmalne grance je algortam koj bra parametre w b tako da maksmzra geometrjsku margnu. Algortam postavlja sljedeć optmzacjsk problem: max γ, pod uvjetom da vrjed: γ, w, b ( + ) γ = 1 ( ) T ( ) y w x b w Buduć da se geometrjska margna ne mjenja u ovsnost o w, moguće je postavt w na prozvoljnu vrjednost. U ovoj formulacj optmzacjskog problema zahtjeva se w = 1 što zjednačava geometrjsku margnu s funkcjskom margnom. Problem trenutne formulacje optmzacjskog problema je što w = 1 nje konveksno ogrančenje (zahtjeva da w lež na jednčnoj hperkugl). 15

21 Poželjno je nać formulacju optmzacjskog problema koja ma samo konveksna ogrančenja, jer tada će postojat samo globaln optmum, pa će spravno radt blo koj algortam lokalne pretrage, poput gradjentnog spusta. Optmzacjsk problem moguće je reformulrat na sljedeć načn: 2 mn w, pod uvjetom da vrjed: w, b ( ) T ( ) y w x b ( + ) 1 U konačnoj formulacj je funkcja clja kvadratna funkcja (dakle konveksna), a ogrančenja su lnearna ogrančenja na parametre koja zbacuju poluprostore kao nedozvoljene. Slka 4.3 prkazuje funkcju clja ogrančenja u konačnoj formulacj optmzacjskog problema. Slka 4.3. Funkcja clja ogrančenja u konačnoj formulacj optmzacjskog problema Dobvenu formulacju problema moguće je rješt modfkacjom gradjentnog spusta, no još je bolje ubact ovu formulacju u Quadratc programmng (QP) Solver tme je rješen problem klasfkatora optmalne grance Prmal Dual optmzacjsk problem Ovdje je moguće stat, jer je problem zapravo rješen. Ipak, ovaj optmzacjsk problem ma određena svojstva zbog kojh je moguće zvest efkasnje rješenje koje će kasnje bt modfcrano tako da nastane stroj s potpornm vektorma. Lagrangeov multplkator Pomoću metode Lagrangeovh multplkatora moguće je rješt problem mnmzacje mn f ( w ), pod w uvjetom da je zadovoljen skup ogrančenja: h ( w ) = 0, = 1,..., l. 16

22 Konstrura se Lagrangan: multplkator. l L( w, β ) = f ( w) + β h ( w), pr čemu su parametr β Lagrangeov = 1 L Problem se rješava tako da se postav na 0, da se w vrjedt da: β *, takav da L( w*, β*) L( w*, β*) = 0 = 0 w β * L postav na 0. Da b w * blo rješenje, mora β Prmal problem Optmzacjsk problem klasfkatora optmalne grance se može rješt prmjenom generalzranh Lagrangeovh multplkatora. Neka je potrebno rješt optmzacjsk problem zadan s: mn f ( w ), tako da bude zadovoljeno: g( w) 0, = 1,..., k h ( w ) = 0, = 1,..., l w Konstrura se generalzran Lagrangan: Neka je θ ( w) = max L( w, α, β ) neka je p α, β α 0 k L( w, α, β ) = f ( w) + α g ( w) + β h ( w) = 1 = 1 p* = mn θ ( w) = mn max L( w, α, β ), w p w α, β α 0 +, ako g ( w) > 0 Oznaka p stoj za prmal problem. Vrjed: θ p ( w) = +, ako h ( w) 0 f ( w), nače Vrjed l g( w ) > 0, narušeno je ogrančenje optmzacje. Postavljanjem α = + dobje se θ ( w ) = +. Isto vrjed za h ( w) 0, jer je opet narušeno ogrančenje optmzacje. p Ako nsu narušena ogrančenja optmzacje, sumacje u L( w, α, β ) su jednake 0, jer se maksmum postže kad su sv α = 0 β = 0, stoga je θ ( w p ) = f ( w )., ako su ogrančenja narušena Zato je: θ ( w + p ) = f ( w), nače To znač da je p* = mn θ ( w) zapravo orgnaln problem. w p l Dual problem Neka je θ ( α, β ) = mn L( w, α, β ), neka je d w d* = max θ ( α, β ) = max mn L( w, α, β ), α, β d α, β α 0 α 0 gdje oznaka d stoj za dual problem. Razlka zmeđu prmal dual problema,to jest zmeđu p * d *, je jedno u poretku maksmzacje mnmzacje. w 17

23 Uvjek vrjed d* p * (tj. max mn(...) mn max(...) ). Pod određenm uvjetma vrjed d* = p *. Ov su uvjet poznat pod nazvom Karush Kuhn Tuckerov (KKT) uvjet [7]. Tada je moguće rješt dual problem umjesto prmal problema. Prmjena na klasfkator optmalne grance Promjena u notacj za prmjenu na klasfkator optmalne grance: generalzran Lagrangeov multplkator α, β α (postoje samo g nejednakost u optmzacjskom problemu, nema h jednakost), parametr w w, b. Optmzacjsk problem: 1 mn w, b 2 y ( w x + b) 1 2 w, 1 2 dodana rad ljepšeg računa, pod uvjetom da vrjed ( ) T ( ) Uvjet se može napsat kao: g w b = y w x + b +. ( ) T ( ) (, ) ( ) 1 0 ) Iz KKT uvjeta: α * > 0 g ( w*) = 0. Zato α * > 0 ˆ( γ = 1, tj. jednaku jedan, što je prkazano na slc 4.4. ( ) ( ) (, ) x y ma funkcjsku margnu Slka 4.4. Potporn vektor ( ) Občno vrjed ˆ γ = 1 α 0. ( ) Prmjer za učenje koj su dalje od odvajajuće hperravnne maju ˆ γ > 1. Kao što slka 1.4 sugerra, občno prmjera za učenje s ( ) ˆ 1 γ = ma relatvno malo (s obzrom na cjel skup za učenje). Prmjer za učenje s ( ) ˆ 1 γ = nazvaju se potpornm vektorma (eng. Support Vectors). Odavde potječe me stroj s potpornm vektorma (eng. Support Vector Machne, SVM). Kako je relatvno 18

24 malo potpornh vektora, većnom vrjed α = 0, jer je α = 0 za prmjere za učenje koj nsu potporn vektor. Generalzran Lagrangan je: Za dual problem vrjed: θ ( α) = mn L( w, b, α). d 1 L w b w y w x b. m 2 ( ) T ( ) (,, α ) = α ( ( + ) 1) 2 = 1 w, b Rješavanjem pomoću generalzranh Lagrangana dobje se: 1 W ( α) = L( w, b, α) = α y y α α < x, x > m m m ( ) ( j) ( ) ( j) j = 1 2 = 1 j= 1 Dual problem je: max W ( α ), uz ogrančenja: α 0 Po KKT vrjed: θ ( α) = W ( α). d α m = 1 α y ( ) = 0 Postupak rješavanja problema klasfkatora optmalne grance Prvo se rješ dual problem za α, zatm se odred w z zraza m = α ( ) ( ), = 1 w y x max T ( ) T ( ) w x + mn w x (1) (1) : y = 1 : y = 1 te je još potrebno odredt b z b =. 2 Interpretacja formule za b : nađe se najgor prmjer za učenje z grupe 1 najgor prmjer za učenje z grupe -1, te se stav hperravnna na pola njhove međusobne udaljenost. Opsan postupak ma dobro svojstvo da samo potporn vektor maju α 0, zbog čega je potrebno pamtt samo potporne vektore jednom kada je klasfkator zgrađen. Rad potpunost treba spomenut da su uvjet potrebn da vrjed d* = p * ( spravnost KKT uvjeta) spunjen, pa je sav proveden postupak spravan. 4.3 Jezgren trk Klasfkator optmalne grance je prlčno dobar lnearn klasfkator. Ipak, baš zato što je lnearan, ma ogrančenu prmjenu jer je prmjenjv samo na klasfkacju lnearno odvojvh grupa objekata (u odnosu na zabran skup značajk). Stroj s potpornm vektorma je modfcran klasfkator optmalne grance koj nje ogrančen samo na lnearnu klasfkacju. Mogućnost prmjene na lnearno neodvojve grupe objekata postže se metodom poznatom pod nazvom jezgren trk (eng. Kernel Trck, [3]). 19

25 4.3.1 Motvacja Postoj cjel nz problema koje je moguće zrazt (točnje, koj su vezan uz podatke) samo preko unutarnjeg produkta (eng. Inner product), umnoška dva vektora koj kao rezultat daje realan broj. Klasfkator optmalne grance takav je problem. Hpoteza je dana s h, ( x) = g( w T x + b), gdje je w b m = α ( ) ( ). = 1 w y x Vrjed T m α ( ) ( ) = 1 w x + b = y < x, x > + b, pr čemu je ( ) ( ) < x, x >= ( x ) T x oznaka za unutarnj produkt vektora Također ( ) x x. vrjed 1 W ( α) = α y y α α < x, x > m m m ( ) ( j) ( ) ( j) j = 1 2 = 1 j= 1, gdje je opet ( ) ( ) ( ) ( ) < x, x j >= ( x ) T x j oznaka za unutarnj produkt vektora ( ) x ( j) x. Zato je moguće postupak zgradnje klasfkatora (određvanje w b ), kao postupak klasfkacje novog objekta povezat s podacma korsteć samo unutarnj produkt. Sljed da nkada nje potrebno vektore značajk Ideja ( ) x odnosno x zrazt drektno. Neka je dan vektor značajk n n m x R, neka je dana funkcja : R R, gdje je m φ > n. Funkcja φ ( x) preslkava točku (vektor značajk) x z n-dmenzonalnog vektorskog prostora u m- dmenzonaln vektorsk prostor, gdje su n- m-dmenzonaln prostor tzv. Hlbertov prostor (eng. Hlbert space). Pr tome m-dmenzonaln prostor občno ma puno vše dmenzja, a čak je dozvoljeno da je φ( x) R, tj. da se preslkava u beskonačno-dmenzonalan prostor. Buduć da se cjel algortam može zrazt pomoću unutarnjeg produkta, zamjenom ( ) ( j) < x, x > s φ φ ( ) ( j) < ( x ), ( x ) > cjel algortam sada rad s m-dmenzonalnm vektorma značajk ( x) φ. Javlja se problem efkasnog računanja unutarnjeg produkta vektora koj maju veoma velk (l čak beskonačan) broj značajk. Srećom, u mnogm btnm specjalnm slučajevma moguće je napsat tzv. jezgrenu funkcju (eng. Kernel Functon) K ( x, z ), tako da vrjed K( x, z) =< φ( x), φ( z) > da je pr tome moguće zračunat K ( x, z ) puno efkasnje nego da se eksplctno računa < φ( x), φ( z) >. Prmjer n Neka je x, z R neka je K( x, z) ( ) T 2 = x z, tada za (, ) K x z vrjed: 20

26 n n n n T 2 (, ) = ( ) = ( )( j j ) = ( j )( j ) = 1 j= 1 = 1 j= 1 K x z x z x z x z x x z z x1 x1 x1 x 2 T Nadalje, neka je φ( x) =. Vrjed: K( x, z) = ( φ( x)) φ( z) xnxn 1 xnx n T Računa l se K ( x, z ) kao K( x, z) = ( φ( x)) φ( z), složenost je K( x, z) ( ) T 2 = x z, tada je složenost ( ) O n. 2 O( n ), a ako se K ( x, z ) računa kao Izbor jezgre Da b se zgrado kvaltetan klasfkator, zbor jezgre je prlčno btan. Neka su x z vektor značajk, te x φ( x) z φ( z) slke dobvene jezgrom. Ako su x z jako slčn, tada su vektor φ ( x) φ ( z) usmjeren u prblžno stom smjeru, pa je njhov unutarnj produkt velk, a ako su x z veoma razlčt, tada je njhov unutarnj produkt malen. Ova ntucja je korsna, a nje stroga. Pr susretu s novm klasfkacjskm problemom jedan od načna kako počet je pokušat nać funkcju K ( x, z ) koja za objekte koj se promatraju kao slčn vraća velku vrjednost, a za objekte koj se promatraju kao razlčt vraća malu vrjednost. Ispravnost jezgre Ptanje spravnost jezgre je ekvvalentno ptanju postoj l funkcja φ ( x) koja preslkava vektor z jednog prostora u drug. Odnosno, K ( x, z ) je spravna jezgra ako samo ako φ takav da vrjed: K( x, z) =< φ( x), φ( z) > Mercerov teorem (nužan dovoljan uvjet da b K ( x, z ) bla spravna jezgra): Neka je dan prozvoljan skup od m < točaka { x1,..., x m }. Jezgra K ( x, z ) je spravna (Mercerova) jezgra ako samo ako za prpadajuću matrcu je smetrčna da je K 0. K n n R, defnranu kao K K x x ( ) ( j) j = (, ) vrjed da Gaussova jezgra Ako se razvje specjalzrana jezgra za određen problem, mogu se znatno poboljšat dobvene performanse. Do sada su krerane jezgre specjalzrane za rad sa slkama [9],[10]. Dobra alternatva 21

27 razvoju vlastte jezgre je korštenje Gaussove jezgre koja je ovdje ukratko opsana (osm Gaussove jezgre, postoje još neke standardne jezgre opće namjene, [4]. Gaussova jezgra (eng. Gaussan kernel) je vjerojatno jezgra s najrašrenjom prmjenom. Defnrana je formulom 2 K( x, z) = exp( τ x z ), gdje je τ R. Nazva se Gaussovom jezgrom zbog slčnost formule jezgre s formulom Gaussove krvulje. Ova jezgra odgovara preslkavanju u prostor, tj. dobje se beskonačno-dmenzonalan prostor. R Sve što je orgnalno lnearno razdvojvo u prostoru početnh značajk, razdvojvo je u všem prostoru određenom ovom jezgrom. Za velk broj problema je Gaussova jezgra dobar zbor početne jezgre. 4.4 Stroj s potpornm vektorma L1 meke grance U nastavku je opsana modfkacja stroja s potpornm vektorma kojom se postžu bolje performanse veća upravljvost zgradnjom klasfkatora Motvacja Stroj s potpornm vektorma je klasfkator optmalne grance na koj je prmjenjen jezgren trk. Zato je u klasfkatoru optmalne grance svaka pojava unutarnjeg produkta zamjenjena s jezgrenom funkcjom ( < x, z > K( x, z) ). Upotrebom jezgrenog trka, stroj s potpornm vektorma može dat nelnearnu grancu zmeđu dvje grupe, pa je prmjenjv na lnearno neodvojve grupe objekata (u odnosu na zabran skup značajk). Zapravo, stroj s potpornm vektorma dalje rezultra lnearnom grancom, no ta je granca lnearna u prostoru u koj su preslkan vektor značajk funkcjom φ ( x). Funkcja φ ( x) često nje eksplctno poznata, a ponekad n sam prostor, u koj se preslkava upotrebom jezgre, nje poznat. Ovakav stroj s potpornm vektorma dalje zahtjeva da su grupe objekata potpuno odvojve (u suprotnom algortam neće uspješno završt). Vjerojatnost da su grupe odvojve u nekom prostoru raste s brojem dmenzja. Unatoč tome, upotreba određene jezgre ne garantra da će dan skup za učenje bt (lnearno) odvojv u prostoru određenom s upotrjebljenom jezgrom. Iz tog je razloga korsno modfcrat stroj s potpornm vektorma tako da rad ako je određen do skupa za učenje lnearno neodvojv, čak u prostoru određenom upotrebom jezgre. Na slc 4.5 su prkazane dvje lnearno neodvojve grupe objekata. Iako grupe nsu odvojve, pak postoj granca koja odvaja grupe relatvno uspješno. 22

28 Slka 4.5. Lnearno neodvojve grupe objekata Osm znesenog problema, javlja se problem prevelkog utjecaja pojednog prmjera za učenje na rezultantnu grancu grupa. Občno je bolje donekle smanjt utjecaj pojednog prmjera za učenje. Tme se zbjegava slučaj kada je u skupu za učenje nek objekt greškom smješten u krvu grupu. Slka 4.6 lustrra ovaj problem. Slka 4.6. Problem prevelkog utjecaja pojednog prmjera za učenje Jedna modfkacja stroja s potpornm vektorma koja rješava prethodno zložene probleme nazva se stroj s potpornm vektorma L1 meke grance (eng. L1 norm softmargn Support Vector Machne, [5]). 23

29 4.4.2 Modfkacja Modfcra se formulacja problema stroja s potpornm vektorma: 1 mn w w, b, ξ 2 2 m + C ξ pod uvjetom da vrjed ( ) T ( ) y ( w x + b) 1 ξ ξ 0, = 1,..., m, gdje su ξ = 1 kaznene varjable. Ako je ( ) T ( ) y w x b ( + ) > 0, tada je objekt spravno klasfcran, u suprotnom je pogrešno klasfcran. Postav l se nek ξ > 1, tada je ˆ γ < 0, pa se dozvoljava da prmjer z skupa za učenje bude krvo klasfcran. Ipak, takav zbor se ne preporuča jer u (mnmzacjskom) optmzacjskom clju stoj: m + C ξ = 1, pr čemu zadan parametar C određuje kolko se lošm smatra zbor ξ > 1. Izvođenjem dual problema se u konačnc dobje: m m m 1 ( ) ( j) ( ) ( j) max W ( α) = max α y y αα j < x, x > α α = 1 2 = 1 j= 1 m, ( ) uz ogrančenja: α y = 0 0 α C, = 1,..., m. = 1 Odnosno, jedna modfkacja je 0 α C umjesto α 0. Iz KKT uvjeta se dobje krterj konvergencje, kada su α konvergral k globalnom optmumu. Ovaj se krterj može korst u algortmu koj rješava optmzacjsk problem po α : α = + α ( ) T ( ) 0 y ( w x b) 1 ( ) T ( ) = C y w x + b α ( ) 1 C y w x b ( ) T ( ) 0 ( + ) = Sljedna mnmalna optmzacja Sljedna mnmalna optmzacja (eng. Sequental Mnmal Optmzaton, SMO) je jedan od algortama [6] koj rješava optmzacjsk problem stroja s potpornm vektorma. Sljedna mnmalna optmzacja je nsprrana algortmom poznatm pod nazvom koordnatn uspon (eng. Coordnate Ascent). Ovaj algortam rješava optmzacjsk problem: max,,,, pr čemu nsu zadana nkakva ogrančenja. Ideja algortma je u svakom koraku držat sve konstantnm osm jednog. Tako. postaje funkcja samo jedne varjable, te se maksmzacja u danom koraku može rješt analtčk. Svakm se korakom algortam prblžava rješenju duž jedne os, što ukupno dovod do konvergencje algortma. 24

30 Koordnatnm usponom nje moguće rješt optmzacjsk problem stroja s potpornm vektorma, jer postoje ogrančenja na α. Nje moguće sve α, osm jednog, držat konstantnm u jednoj teracj algortma, zbog ogrančenja m ( ) α y = 0. Ovo ogrančenje zahtjeva da je blo koj = 1 α u potpunost određen s preostalm α j (npr. vrjed m α y = 2 α 1 = (1) y ( ) ). Iako nje moguće mjenjat samo jedan α, moguće je mjenjat blo koja dva α, a da se pr tome ne naruše ogrančenja na α. Kao posljedca ove deje nastao je algortam sljedne mnmalne optmzacje (eng. Sequental Mnmal Optmzaton, [7]). U nazvu algortma je mnmalna optmzacja jer se mjenja najmanj moguć broj α, a da su pr tome ogrančenja zadovoljena. Nacrt algortma: Ponavljaj do konvergencje { Odaber, α α pomoću heurstke j Drž sve α k, k, j konstantnm Optmzraj W ( α ) u odnosu na α, α j } (uvažavajuć pr tome sva ogrančenja) Efkasnost SMO algortma uvelke ovs o dobrom odabru heurstke koja zabre α, α koj će se sljedeć optmzrat [11]. j Uzastopnom prmjenom optmzacjskh koraka algortam se prblžava traženom rješenju. Kako se u pojednom koraku mjenja par α, α, ponekad se dogod da se optmzacjom njegovoj konačnoj vrjednost), j α (prblžavanjem α j udalj od njegovog konačnog rješenja. Unatoč ovom udaljavanju od njegovog rješenja, ukupn učnak svakog pojednog koraka je poztvan, pa se algortam svakm korakom prblžava traženom rješenju [8]. α α j 25

31 4.6 Izvedba stroja s potpornm vektorma Stroj s potpornm vektorma je zapravo bnarn klasfkator, a naš clj je detektrat trokutaste prometne znakove te h potom klasfcrat u jednu od nekolko desetaka klasa. Problemu klasfkacje s vše klasa se uobčajeno prstupa na dva načna [13]: klasfkacja jedan na jedan (eng. One-Aganst-One) klasfkacja jedan protv svh (eng. One-Aganst-All). Kod klasfkacje jedan na jedan se za sve moguće parove klasa naprav po jedan bnarn klasfkator. Uzorak se najčešće klasfcra u klasu koja dobje najvše glasova nakon upotrebe svh klasfkatora. Za potrebe klasfkacje jedan protv svh se naprav onolko bnarnh klasfkatora kolko je klasa klasfkacje. Jedan se bnarn klasfkator zgrad tako da se jedna klasa zdvoj, a sve se ostale tretraju kao druga klasa. Svak klasfkator prhvaća po jednu klasu a odbacuje sve ostale. U ovom su projektu sprobane obje prethodno zložene metode, no u fnalnoj se verzj ne korste u osnovnom oblku, već modfkacja klasfkacje jedan na jedan. Modfkacja je u načnu kombnranja klasfkatora. Klasfkacja se vrš tako da se nad svm klasama zgrad bnarno stablo. Na početku se zabere mnmalan broj klasfkatora koj pokrvaju sve klase. Jedan klasfkator pokrva dvje klase, pa se ukupno zabere dvostruko manje klasfkatora nego je klasa. Provede se klasfkacja sa svm ovm klasfkatorma tme se odbac pola klasa (jer svak bnarn klasfkator zabere jednu od dvje klase kao stntu). Za sve klase koje su ostale, odabere se ponovno mnmalan broj klasfkatora koj m odgovaraju. Postupak se ponavlja sve dok ne ostane samo jedna klasa. Tme je dobven rezultat klasfkacje. Kako sam proces klasfkacje nje vremensk zahtjevan u odnosu na ostatak programa, ovaj se postupak provede n puta, gdje je n unaprjed zadan neparan broj (najčešće 3, 5 l 7). Za svaku provedbu procesa se odabru razlčt klasfkator koj pokrvaju sve početne klase. Tme se dobvaju potencjalno razlčt rezultat, jer se kroz cjel postupak korste razlčt klasfkator (Slka 4.7). Konačno se kao rezultat klasfkacje zabre ona klasa koja je odabrana barem n/2 puta (dobla većnu glasova). Ako takve nema, ne donos se odluka o klasfkacj pomoću stroja s potpornm vektorma, već se odluka prepušta umjetnoj neuronskoj mrež. 26

32 Slka 4.7. Ilustracja mogućnost razlčte klasfkacje za razlčta stabla. Klasfkator je predstavljen punm pravokutncma u kojma je njegova odluka, a početne klase su predstavljene scrtkanm pravokutncma 27

33 5 Umjetne neuronske mreže 4 Probleme poput detekcje klasfkacje slka, rjetko je moguće rješavat pomoću tradconalnh algortama. Pokazalo se kako je računalo vrlo loše u rješavanju mnogh problema u čjoj je srž sposobnost generalzacje. Za razlku od računala, čovjek takve probleme rješava brzo efkasno. Upravo je ljudsk mozak nspracja za razvoj umjetnh neuronskh mreža. Ljudsk mozak sastoj se od međusobno povezanh neurona. Osnovn prncp rada mozga je prolazak elektrčnh mpulsa kroz veze među neuronma. Slka 5.1 Pojednostavljen model neurona [14] Slka 5.1 prkazuje osnovne djelove pojednostavljenog modela neurona. Elektrčn mpuls z susjednh neurona preko snapsa dendrta dolaze u tjelo stance, te čne pobudu neurona. Odzv na pobudu se šalje preko aksona prema drugm neuronma. Umjetne neuronske mreže [14] su matematčk model zasnovan na pojednostavljenom modelu ljudskog mozga. 4 Djelov poglavlja su preuzet z: I. Kovaček: Sustav za detekcju raspoznavanje prometnh znakova 28

34 5.1 Umjetn neuron Već godne McCulloch Ptts predložl su matematčk model umjetnog neurona [14], prkazan na slc (Slka 5.2). Slka 5.2 Umjetn neuron [14] Djelov umjetnog neurona su: x 1..n - ulazn sgnal w 0..n - težnsk faktor zbrajalo f - prjenosna funkcja Analogja zmeđu umjetnog neurona ljudskog neurona je sljedeća: x su ulazn sgnal z drugh neurona, w su težne koje predstavljaju jakost snapse, zbrajalo je tjelo stance, a prjenosna funkcja predstavlja akson. Vrjednost zlaza neurona određena je relacjom 5.1: gdje je x 0 = 1. n o = f ( x w ) (5.1) = 0 Odabr prjenosne funkcje je prozvoljan, te ovs o problemu. Pogodna prjenosna funkcja za klasfkacju je sgmodalna funkcja (5.2). 29

35 f ( x) x (5.2) 1 = 1 + e Slka 3. Sgmodalna funkcja [14] Btno svojstvo sgmodalne funkcje je nelnearnost, koja omogućava razdvajanje lnearno nerazdvojvh klasa pomoću neuronske mreže. U okvru ovog rada, neuronske mreže se korste samo za klasfkacju, te se u nastavku podrazumjeva da je prjenosna funkcja neurona funkcja (5.2). 5.2 Arhtektura unaprjedne neuronske mreže Neuronska mreža nastaje povezvanjem neurona. Unaprjedna neuronska mreža (eng. feedforward network) je osnovna arhtektura mreže (Slka 5.3). Slka 5.3 Arhtektura unaprjedne neuronske mreže [14] Ulazn sloj predstavlja ulazne podatke, dok su zlaz neurona zlaznog sloja rezultat. Skrven sloj se sastoj od jednog l vše podslojeva neurona. Veze postoje samo zmeđu susjednh slojeva podslojeva: zlaz prethodnog sloja su ulaz sljedećeg, promatrajuć od strane ulaznog sloja. 30

36 5.3 Učenje Svak od zlaza neuronske mreže je funkcja ulaznh podataka. Općento je clj konstrurat traženu funkcju. To se postže postavljanjem težnskh faktora na adekvatne vrjednost. Ručno određvanje težnskh faktora je teško već za vrlo nzak broj neurona, a u konkretnm problemma je nemoguće. Stoga se težnsk faktor određuju učenjem. Jedan prmjerak za učenje sastoj se od ulaznh podataka traženog zlaza. Skup prmjera za učenje je dskretn uzorak tražene funkcje, te je clj učenja što bolje rekonstrurat funkcju z njenh dskretnh uzoraka. Osnovna deja je mnmzrat funkcju pogreške u ovsnost o težnskm faktorma. Odabrana funkcja pogreške je polovna srednje kvadratne pogreške: gdje su: w - težnsk faktor mreže N - broj prmjera za učenje t - cljana vrjednost -tog prmjerka o - vrjednost zlaza mreže za -t prmjerak. 1 N 2 E( w ) = ( t o ) (5.3) 2N = 1 Osnovna deja je odredt metodu traženja mnmuma pogreške za jedan neuron, te pomoću propagacje pogreške unazad prošrt traženje mnmuma na cjelu mrežu Gradjentn spust Promotrmo funkcju pogreške zlaza zbrajala, zanemarujuć trenutno aktvacjsku funkcju neurona. Odabrana metoda za traženje mnmuma funkcje pogreške jednog neurona je gradjentn spust [14]. Gradjent je smjer najbržeg rasta funkcje, te se težne mjenjaju u suprotnom smjeru: w( k + 1) = w( k) η E( w) (5.4) w gdje je η stopa učenja, w faktor težne neurona,a k korak učenja. Gradjent funkcje pogreške znos: 31

37 N N de( w ) d d we( w) = = ε = ε ε (5.5) dw dw 2N = 1 N = 1 dw gdje je N broj prmjeraka za učenje, a ε znos pogreške na -tom prmjeru. Prmjetmo da zračun gradjenta pomoću zraza (5.5) omogućuje samo grupno učenje. U praks se pokazalo boljm pojednačno učenje. Da b se omogućlo pojednačno učenje, funkcja pogreške se aproksmra korsteć samo jedan prmjerak za učenje: 1 ( ε 2 Tada je aproksmacja gradjenta funkcje pogreške: 2 E w ) (5.6) d we w ) ε ε dw Ogrančmo se trenutno na zlaz zbrajala neurona, za kojeg vrjed: Tada vrjed: Iz formula (5.9) (5.7) sljed: ( (5.7) o net w x = (5.8) ε = t o = t w x (5.9) net net net we( w) ε x (5.10) Promotrmo sada dervacju sgmodalne aktvacjske funkcje (5.2) : d dx d 1 f ( x) = = f ( x)(1 f ( x)) x (5.11) dx 1+ e Veza zmeđu greške na zlazu zbrajala, greške na zlazu prjenosne funkcje je: Iz (12), (10) sljed: ε = ( t o) f '( onet ) = o(1 o)( t o) (5.12) we( w) o (1 o) ( t o) x (5.13) Iz (5.13) (5.4) sljed konačan zraz za traženje mnmuma funkcje pogreške jednog neurona pojednačnm učenjem gradjentnm spustom: w( k + 1) = w( k) + η o (1 o) ( t o) x (5.14) 32

38 5.3.2 Propagacja greške unatrag Pomoću zraza (5.14) moguće je gradjentnm spustom ugađat težne zlaznh neurona, al da b se pravlo prmjenlo na neurone skrvenog sloja, potrebno je defnrat pogrešku na zlazu neurona ( t o ). Upravo to rad propagacja greške unatrag [14] (eng. backpropagaton ). je: Veza greške δ na zlazu skrvenog neurona greške ε (5.10) na zlazu zbrajala zlaznog neurona gdje je w težnsk faktor zmeđu dva neurona, δ = w ε (5.15) Greška na zlazu skrvenog neurona δ h s obzrom na sve zlazne neurone, je: gdje je K broj neurona zlaznog sloja, K δ = t o = w ε (5.16) h h h = 1 h w h težnsk faktor zmeđu h-tog neurona skrvenog sloja -tog neurona zlaznog sloja, a ε greška na zlazu z zbrajala -tog neurona zlaznog sloja. Iz (5.16) (5.14) sljed pravlo ugađanja skrvenog neurona gradjentnm spustom: w h k + 1) = w ( k) + η o (1 o ) δ x ( (5.17) h h h h h Pomoću gradjentnog spusta propagacje greške unazad, moguće je učt kompletnu mrežu. Sljed algortam za učenje: Incjalzraj težnske faktore slučajne vrjednost Dok nje spunjen uvjet zaustavljanja rad: Za svak prmjer za učenje rad: Izračunaj zlaz mreže Ugod faktore zlaznog sloja po (14) Ugod faktore skrvenog sloja po (17) Kraj Kraj 33

39 5.3.3 Ubrzanje konvergencje Modfkacjom algortma učenja često se može postć brža konvergencja. Neke od modfkacja su adaptacja stope učenja te moment učenja[15]. Nakon jedne epohe učenja, to jest nakon jednog učenja svakog od prmjeraka, stopa učenja se adaptra u odnosu na promjenu funkcje greške: ako se greška smanjla, stopa se povećava, ako se greška povećala, promjene težna se zanemaruju stopa se smanjuje. Negatvna strana metode gradjentnog spusta je rzk pronalaženja lokalnh mnmuma. Dodavanjem momenta učenju [15] postže se mogućnost bjega z malh lokalnh mnmuma, kao nastavljanje učenja na ravnm plohama funkcje pogreške. w( k + 1) = w + m ( w( k) w( k 1)) (5.18) Izraz (5.18) predstavlja učenje sa momentom. Faktor je faktor momenta predstavlja udo prošle promjene težna u trenutnoj promjen. Član w je promjena težna određena metodom gradjentnog spusta Valdacja Neuronska mreža pretjeranm učenjem ulaznog skupa može naučt šumove skupa za učenje, zgubt svojstvo generalzacje. Tako naučena neuronska mreža će dat loše rezultate u prmjen. Sprječavanje pretjeranog učenja postže se uvođenjem skupa za valdacju [14]. Mreža uč na prmjerma skupa za učenje, a kao rezultantna mreža odabre se ona sa najboljm performansama na skupu za valdacju. Uz oprezan odabr skupova za učenje valdacju, ovm prstupom se postže očuvanje svojstva generalzacje mreže. 34

40 Slka 5.4 Korštenje valdacje [14] Važno je napomenut da rezultat nad skupom za valdacju nsu rezultat testranja. Iako mreža nje učla na prmjerma za valdacju, samm odabrom mreže po performansama valdacje, mreža je pod utjecajem tog skupa. Za testranje je potrebno odvojt još jedan skup prmjeraka. Osm što se po valdacj odabre najbolja mreža, po njoj se također odabru ulazne značajke, što se manfestra u još većem utjecaju valdacje na mrežu. 5.4 Izvedba umjetnh neuronskh mreža Sve korštene neuronske mreže su unaprjedne (Slka 5.3). Sastoje se od ulaznog sloja, skrvenog sloja sa jednm podslojem, te zlaznog sloja. Prjenosna funkcja svh neurona skrvenog zlaznog sloja je sgmodalna funkcja. Ulazn sloj predstavlja ulazne značajke, te je broj neurona ulaznog sloja jednak broju ulaznh značajk. Broj neurona u skrvenom sloju mora bt dovoljno velk da b mreža mogla naučt traženu funkcju, a pak je potrebno da bude dovoljno nzak da b brzna konvergencje bla prhvatljva. U pravlu je u zvedenm neuronskm mrežama velčna skrvenog sloja prblžno jednaka trećn velčne ulaznog sloja neurona. Broj zlaznh neurona u mrežama za detekcju znaka je 1. Zbog odabra sgmodalne prjenosne funkcje, zlaz z mreže je realan broj zmeđu 0 1. Ako je zlaz već od određene grance k (prmjerce k = 0), promatranu slku proglašujemo znakom. Izlazne vrjednost prmjera za učenje postavljamo na 1, ako je prmjerak znak, a na 0 nače. 35

41 Broj zlaznh neurona u mrežama za klasfkacju znaka je jednak broju klasa. Odabrana klasa znaka je redn broj onog zlaznog neurona čja je zlazna vrjednost najveća. Izlazne vrjednost prmjera za učenje se postavljaju u skladu s tme: zlazna vrjednost neurona koj predstavlja klasu prmjerka postavlja se na 1, dok se zlazne vrjednost ostalh neurona postavljaju na 0. Zbog prrode sgmodalne funkcje, očekvanja vrjednost ulaznh neurona normraju se oko 0, na temelju skupa za učenje. Nakon toga vrjednost se skalraju u ovsnost o zadanom rasponu. Početne vrjednost težna neuronske mreže se postavljaju na slučajne brojeve zmeđu Ovakvo postavljanje početnh vrjednost težna normranje ulaza osguravaju rad prjenosne funkcje (2) u prjelaznom području. 36

42 6 Algortam Vole Jonesa Algortam Vole Jonesa je generčk postupak za detekcju objekata na slc koj se odlkuje veoma brzom detekcjom, a unatoč tome osgurava vsok postotak detekcje. Danas je jedan od najšre korštenh te najefkasnjh algortama za detekcju objekata na slc. Zbog svoje brzne često se prmjenjuje u analz vdeo sekvenc u stvarnom vremenu. 6.1 Integralna slka Integralna slka je pomoćn alat za brz zračun Haarovh značajk (Slka 3.10). Svaka točka ntegralne slke sadrž sumu svh slkovnh elemenata koj se nalaze znad ljevo od pozcje točke. Tme je omogućen zračun sume slkovnh elemenata u određenom pravokutnom području. Prmjerce osjenčan prostor sa slke (Slka 6.1) moguće je dobt formulom gdje predstavlja vrjednost ntegralne slke u točk. Slka 6.1 Prkaz korštenja ntegralne slke za zračun sume slkovnh elemenata Izračun Haarovh značajk sastoj se zbroja razlke razlčth pravokutnh područja čju je sumu moguće dobt upravo pomoću ntegralne slke. Za svak okvr vdeo sekvence se jednom unaprjed zračuna ntegralna slka. Zatm je ntegralnu slku moguće korstt prlkom zračuna blo koje Haarove značajke neovsno o njenom položaju velčn. Izračun ntegralne slke moguće je provest jednm prolazom kroz sve slkovne elemente, prmjerce ukolko želmo zračunat ntegralnu slku u točk 4, a poznajemo ntegralnu slku u točkama 1, 2, 3 moguće je prmjent sljedeću relacju (Slka 3.10)

43 gdje je s označena ntegralna slka, a s zvorna slka. Slka 6.2 Prkaz zračuna ntegralne slke Postavlja se ptanje logčke opravdanost ovakvog odabra značajk. Name može se prmjett da Haarove značajke vjerno opsuju pojavu ruba u slc. Prmjerce prva značajka sa slke 3.10 opsuje pojavu vertkalnog ruba. Glavna prednost korštenja Haarovh značajk je brzna njhovog zračuna te se stoga korste prlkom detekcje objekata u slc u algortmu Vole Jonesa koj je opsan u nastavku. 6.2 Detekcja objekata na slc Najjednostavnj načn detekcje objekata u slc je detekcja pomčnm prozorom. Slka 6.3 prkazuje pomcanje posmčnog prozora po slkovnoj ravnn. Prozor se pomče u oba smjera s pomacma u znosu slkovnh elemenata, te je za svako dobveno okno potrebno procjent da l je ono objekt od nteresa. Šrna vsna slke su označen s. Jednostavnm zračunom moguće je zračunat ukupan broj razlčth prozora koje je potrebno sptat (Slka 6.3): Slka 6.3 Prkaz detekcje metodom posmčnog okna S obzrom da u većn prmjena nje poznata velčna objekta kojeg je potrebno pronać u slc potrebno je provest opsan postupak za razlčte velčne početnog okna. Neka je faktorom označen 38

44 faktor uvećanja (eng. scale factor) koj određuje kolko je svako sljedeće okno veće od prethodnog, a s označeno mnmalna odnosno maksmalna velčna objekta u slc kojeg je potrebno pronać. Uzevš u obzr ove pretpostavke moguće je zračunat ukupan broj prozora koje je potrebno klasfcrat u dvje grupe: objekt od nteresa l pozadna. log U ovom trenutku moguće je odredt za velčnu slke od slkovnh elemenata, najmanju moguću velčnu objekta 24 slkovna elementa te najveću velčnu u znosu 200 slkovnh elemenata, te parametre 1.1, 1, Tpčna vdeo sekvenca sastoj se od 25 slke po sekund, te broj djelova slke koje je potrebno klasfcrat u jednoj sekund všestruko raste. Ovaj prmjer stoga ukazuje na vsoku računalnu zahtjevnost ovakvog prstupa. Nt jedan od prje opsanh klasfkatora (SVM neuronska mreža) ne zadovoljavaju ovaj uvjet. Također je važno da je udo lažno negatvnh prmjeraka vrlo nzak s obzrom na potreban broj klasfkacja za svak okvr vdeo sekvence. Oba navedena problema moguće je rješt kaskadom klasfkatora koja je opsana u sljedećem odjeljku Kaskada klasfkatora U općentom slučaju za klasfkacju je moguće stovremeno korstt već broj klasfkatora te njhove rezultate ujednt u jednstven odgovor zajednčkog klasfkatora. Tpčn načn zgradnje zajednce klasfkatora se nazvaju: boostng, baggng cascadng. U ovom poglavlju bt će posebno opsana metoda kaskadranja (eng. cascadng) upravo na načn na koj se ona korst u algortmu Vole Jonesa. Slka 6.4 Prkaz kaskade klasfkatora 39

45 Slka 6.4 prkazuje kaskadu klasfkatora. Svak od klasfkatora na svoj ulaz odgovara s da l ne. Ukolko je odgovor ne tada je ulaz odmah označen kao ne-znak, a ukolko je odgovor da ulaz se prosljeđuje na sljedeću raznu kaskade koja ponovno odlučuje. Ulaz je proglašen znakom ako zadovoljava sve razne kaskade. Upravo ovaj načn zgradnje kaskade omogućuje brzo pretražvanje slke, jer djelov slke koj nsu znakov gotovo uvjek će bt odbačen već na prvh nekolko razna, a tek manj broj potencjalnh znakova će doć do krajnjh razna kaskade. Iz gornjeg razmatranja, uz pretpostavku nezavsnost klasfkatora, moguće je zvest formule za postotak detekcje (eng. detecton rate) lažno poztvnh prmjera (eng. false postve): gdje je broj lažno poztvnh prmjera za -tu raznu kaskade, a postotak detekcje za -tu raznu. Broj lažno poztvnh prmjera pada s povećanjem razne kaskade, al se ujedno smanjuje postotak detekcje. Prmjerce, ukolko se žel postć broj lažno poztvnh prmjera 10, a klasfkator koj grade kaskadu maju vsok postotak detekcje postotak lažno negatvnh prmjera, prmjerce 0.99, 0.33 trebamo spojt u kaskadu ukupno 13 klasfkatora. Tme se dobje: 0.877; Opravdano je dovest u sumnju pretpostavku o nezavsnost klasfkatora koja je uzeta prlkom provedenh zračuna. Pretpostavka ne vrjed u općem slučaju zgradnje kaskade, al je ovdje navodmo jer vrjed za algortam Vole Jonesa, zbog posebnog načna zgradnje kaskade, koj je opsan u kasnjem tekstu. 6.3 Boostng Boostng je metoda strojnog učenja čj je clj od većeg broja slabh 5 klasfkatora formrat jedan jak klasfkator 6. Prmjerce razmotrmo slku (Slka 6.5), skup ulaznh značajk se prosljeđuje na ulaz prvh dvaju algortama. Ukolko oba algortma daju st odgovor tada zlaz th algortama možemo proglast konačnm zlazom. Ukolko se dva algortma ne slažu oko rješenja, konačnu odluku donos treć algortam. Ovakvom kombnacjom algortama očekujemo da će konačn rezultat bt bolj nego 5 Termn slab klasfkator se korst za klasfkator s vsokom pogreškom klasfkacje 6 Termn jak klasfkator označava pouzdan klasfkator s malom pogreškom 40

46 pojednačn rezultat klasfkatora. Ovaj algortam razvo je Schapre 1990 godne. Da b se ovakvom kombnacjom klasfkatora postgl bolj rezultat, potrebno je osgurat njhovu statstčku nezavsnost. Schapre je predložo metodu podjele skupa za učenje u tr dsjunktna skupa,, ;. Prv algortam uč na skupu, drug na skupu pogrešaka prvog algortma na skupu jednakom broju točnh klasfkacja prvog algortma na skupu. Konačno, treć algortam uč na djelu skupa na kojem se algortm 1 2 ne slažu. Schapre je formalno dokazao da se ovakvm kombnranjem klasfkatora smanjuje pogreška klasfkacje, te da se pogreška može prozvoljno smanjt rekurzvnm kombnranjem ovako zgrađenh klasfkatora. Slka 6.5 Prkaz zvornog boostng algortma Iako se opsana metoda pokazala uspješnom u praks, njena negatvna strana je što zahtjeva velk skup prmjeraka za učenje. Freund Schapre su predložl zmjenu zvornog boostng algortma za prozvoljno velk broj klasfkatora koj za učenje cjele kombnacje korst st skup. Tme je potreba za velkm skupom za učenje zbjegnuta. Do danas je predstavljen veoma velk broj razlčth algortama za boostng: AdaBoost, GentleBoost, RankBoost, BrownBoost, CoBostng, LPBoost[20]. U ovom radu ogrančt ćemo se na zvorn AdaBoost.M1 postupak AdaBoost algortam Neka je s, označen jedan prmjerak z skupa za učenje. označava vektor značajk koj prpadaju tom uzorku, a njegovu spravnu klasfkacju. Osnova deja algortma je modulrat vjerojatnost zvlačenja pojednog uzorka z skupa uzoraka za učenje. Neka je ta vjerojatnost označena s gdje označava redn broj slabog klasfkatora. Početne vjerojatnost su sve jednake znose, gdje je velčna skupa za učenje. Zatm počevš od 1 dodaje se nov slab klasfkator u skup. Sa neka je označena pogreška -tog klasfkatora. Pogreška se defnra na skupu uzoraka modulranh sa vjerojatnostma. Pogreška mora bt strogo manja od, a ukolko nje zaustavlja se učenje klasfkatora. Defnrajmo Vjerojatnost svakog točno klasfcranog prmjera smanjujemo faktorom odnosno vrjed 1., 41

47 nače vjerojatnost ostaje jednaka kao u trenutnom koraku, odnosno vrjed:. S obzrom da je funkcja gustoće vjerojatnost potrebno ju je normalzrat tako da vrjed da je ukupna suma jednaka 1, odnosno. Ovm postupkom se vjerojatnost točno klasfcranh prmjera smanjuje, a vjerojatnost krvo klasfcranh prmjera povećava. Tme se sljedeć klasfkator vše fokusraju na pogreške prethodnh razna te tme popravljaju ukupan rezultat klasfkacje. Tablca 6.1 prkazuje pseudokod AdaBoost.M1 algortma [17]. Učenje klasfkatora: Tablca 6.1 Algortamsk zaps AdaBoost algortma Za svak,, postav Za sve slabe klasfkatore 1 Slučajno odaber podskup z s vjerojatnostma Trenraj klasfkator na skupu. Za svak, klasfcraj uzorak Izračunaj pogrešku Ako je zađ Testranje: Za svak, ukolko je spravno klasfcran: Normalzraj vjerojatnost Težna klasfkatora je log Za dan vektor značajk zračunaj za 1 Izračunaj ukupan zlaz 1, nače Klasfkacja se zvod jednostavnom lnearnom kombnacjom zlaza svakog pojednog klasfkatora u kaskad. Težna pojednog klasfkatora označena je s log te raste s padom 42

48 greške pojednog klasfkatora. Schapre (1998.) je pokazao da AdaBoost optmra margnu razdvajanja na slčan načn kao SVM [18]. Ukolko se margna razdvajanja poveća, uzorc za učenje se bolje razdvajaju te je tme greška manje vjerojatna. Logčno je zaptat se u kojm slučajevma AdaBoost može popravt performanse klasfkatora. Ukolko se prmjenjuje nad kombnacjom jakh lnearnh klasfkatora, prmjerce SVM-a, svak sljedeć klasfkator će učt samo nad malm brojem uzoraka koj sadrže vsoku raznu šuma, stoga dodavanje novh klasfkatora u kaskadu ne b utjecalo na povećanje performans. Stoga je AdaBoost dealno korstt nad slabm slabo korelranm klasfkatorma vsoke varjance. Neka je varjanca pojednog klasfkatora, ukupna varjanca njhove lnearne kombnacje, a težna pojednog klasfkatora neka je zbog jednostavnost, sljed: 1/ 1 te je ukupna varjanca zajednce klasfkatora manja nego varjanca jednog klasfkatora. 6.4 Algortam Vole Jonesa Algortam Vole Jonesa je najpoznatj najkorštenj detektor objekata na slc. Njegove ključne odlke su brzna koja omogućava detekcju na vdeu u stvarnom vremenu te njegova pouzdanost otpornost na šum Pregled algortma Algortam korst ntegralnu slku za zračun Haarovh značajk korštenh u klasfkacj. Izgrađuje se kaskada klasfkatora od kojh svak uč AdaBoost algortmom na greškama prethodnh razna. AdaBoost odabre manj broj najboljh značajk koje dskrmnraju zmeđu traženog objekta pozadne te tme omogućava vrlo vsoku brznu zvršavanja. Parametr svake razne kaskade su odabran na načn da maju zuzetno vsok postotak detekcje, prmjerce 0.999, al stovremeno broj lažno negatvnh razmjerno vsok, prmjerce 0.5. Kaskadranjem klasfkatora na načn opsan u prethodnm poglavljma postepeno se smanjuje postotak detekcje, al značajno brže pada postotak lažno negatvnh prmjera Ulazne značajke Tpčno se ulazne slke skalraju na velčnu 24x24 slkovna elementa, te se zatm zračunava potpun skup Haarovh značajk nad tako dobvenm slkama. Ukolko se slka sastoj od vše kanala značajke se zračunavaju na svakom kanalu zasebno. Ovakav potpun skup Haarovh značajk može bt vrlo velk, prmjerce gotovo 10 značajk. 43

49 6.4.3 Jedna razna klasfkatora Prv korak prlkom zgradnje jedne razne klasfkatora je evaluacja svh značajk na svm slkama z skupa za učenje. Glavn zadatak ove faze zgradnje konačnog klasfkatora je odabr ključnh značajk z potpunog skupa Haarovh značajk. U ovoj faz svakoj stvorenoj značajk prdajemo prag (threshold) polartet (polarty). Ideja ja da se od svake značajke može stvort jedan slab klasfkator na sljedeć načn: 1,,,, 0, č Odabr najboljeg praga polarteta za pojedn klasfkator bt će jedan od zadataka AdaBoost algortma. Prag polartet se odabru na načn da mnmzraju grešku klasfkacje svakog pojednog slabog klasfkatora. AdaBoost algortam, opsan u prethodnom poglavlju možemo shvatt kao pohlepan algortam koj odabre najbolje slabe klasfkatore te formra jedan konačan jak klasfkator. S obzrom na zmjene koje je potrebno napravt na zvornom AdaBoost algortmu, u tablc (Tablca 6.2) naveden je pseudokod načce koja se korst u algortmu Vole Jonesa. Tablca 6.2 Algortamsk zaps AdaBoost algortma korštenog u algortmu Vole Jonesa Učenje klasfkatora: Za zadane,, gdje 1 za poztvne uzorke 0 za negatvne M je broj negatvnh prmjera, L broj poztvnh Incjalzraj težne:, za negatvne uzorke, za poztvne Za t = 1,, T 1. Normalzraj težne:,,, 2. Odaber najbolj slab klasfkator s obzrom na pogrešku klasfkacje mn,,,,, 3. Defnrajmo,,, tako da,, mnmzraju 4. Osvjež težne:,,, gdje je 1 ako je uzorak krvo klasfcran, odnosno 0 ako je uzorak spravno klasfcran 44

50 Testranje: Rezultantn jak klasfkator je: 1,, gdje je log 0, č Ovaj korak je računalno vrlo zahtjevan jer je tpčna velčna ulaznog skupa slka nekolko tsuća uzoraka, što pomnoženo s brojem značajk rezultra velkm zahtjevma za memorjom procesorskom snagom. Posebnu pažnju potrebno je posvett drugom koraku opsanog algortma, s obzrom da je on računalno najzahtjevnj. Ops efkasne mplementacje opsanog koraka može se pronać u zvornom članku P. Vole M. Jonesa [21] Izgradnja kaskade Razne kaskade se grade trenranjem slabh klasfkatora AdaBoost algortmom. Zatm se obavlja postupak promjene fnalnog praga AdaBoost algortma u svrhu promjena odnosa zmeđu postotka detekcje postotka lažno poztvnh prmjera. Name, postotak detekcje se tpčno postavlja na preko 99%, dok broj lažno poztvnh prmjera tpčno znos oko 30%. Clj je zgradt kaskadu koja će mat što jednostavnje početne razne tako da bude računalno efkasna. Najčešće se prlkom učenja algortma odabre postotak detekcje postotak lažno poztvnh prmjera jedne razne kaskade, te ukupan postotak lažno poztvnh. Algortam zatm sam određuje potreban broj značajk koje će se korstt u svakoj razn na načn da zadovolj postavljene parametre. Važno je napomenut da svaka sljedeća razna kaskade uč na lažno poztvnm prmjerma prethodnh razna. Prlkom zgradnje kaskade negatvn prmjer se zrezuju z slka u kojma nema objekata od nteresa. Izrezvanje negatvnh prmjera za krajnje razne kaskade je također računalno zahtjevan zadatak, jer je potrebno obradt zuzetno velk broj slka da se prkup dovoljan broj lažno negatvnh prmjera. Poztvn prmjer za učenje su st za svaku raznu kaskade. Također je važno napomenut da skup poztvnh negatvnh prmjera treba razdvojt na dva dsjunktna skupa; skup za učenje te skup za valdacju. Skup za učenje korst se prlkom učenja AdaBoost algortma, dok se skup za valdacju korst kod određvanja postotka detekcje postotka lažno negatvnh prmjera. 45

51 Tablca 6.3 Algortamsk zaps Vola Jones postupka Izgradnja kaskade: Odabre se: - postotak lažno poztvnh prmjera na jednoj razn kaskade(maksmaln dopušten) postotak detekcje jedne razne kaskade (mnmaln dopušten) postotak lažno poztvnh prmjera cjele kaskade je skup poztvnh prmjera, je skup negatvnh prmjera 1.0; Dok je 1 0; 1 Dok je 1 Trenraj klasfkator sa značajk na slkama, pomoću AdaBoost algortma Smanj prag dok klasfkator postotak detekcje ne postane barem te odred 0 Ako je onda evaluraj kaskadu na skupu negatvnh slka sve krve detekcje postav u skup Detekcja Prv korak prlkom postupka detekcje objekta je zgradnja ntegralne slke. U prethodnm poglavljma opsan je načn zgradnje kaskade klasfkatora. Naučen klasfkator se zbog svojstava ntegralne slke može na jednostavan načn pomcat preko slke, na sve postojeće koordnate slkovne ravnne. Osm translacje sam klasfkator je moguće skalrat. Name kod većne drugh klasfkatora blo b potrebno skalrat ulaznu slku na spravnu velčnu zatm provest klasfkacju, al takav prstup b prlkom detekcje objekata bo suvše računalno zahtjevan. Stoga zgrađena kaskada, osm što je neovsna na translacju, ma mogućnost skalranja. Name, s obzrom da se svaka značajka zračunava kao lnearna kombnacja nekolko elemenata ntegralne slke moguće je jednostavnm skalranjem koordnata koje treba zbrojt skalrat sam klasfkator, pr tome posebna pažnja mora bt posvećena 46

52 pravlnom skalranju praga svakog slabog klasfkatora. Na ovaj načn jednostavnm pretražvanjem slke moguće je pronać sve objekta od nteresa. Vrlo često se događa da je jedan te st objekt detektran nekolko puta jer se okna za pretražvanje međusobno preklapaju, stoga je potrebno na zlaz Vola Jones algortma prmjent dodatnu algortamsku logku za elmnacju preklapanja. Čak se često, ukolko je clj smanjt postotak lažno negatvnh prmjera, objekt smatra točnom detekcjom samo ako je vše puta detektran uz određen pomak l skalranje. Slka 6.6 Prkaz rada algortma za određvanje rezultantnog okna U ovom radu koršten je UnonFnd 7 algortam. Osnovna je deja upart detekcje koje sgurno međusobno odgovaraju, metodom preklapanja površna. Ukolko je postotak preklapanja detekcja vsok tada on sgurno odgovaraju stom objektu. Zatm se, prmjenom UnonFnd strukture, detekcje uparuju u međusobno vezane skupove, a kao predstavnka uzma se prosjek svh elemenata skupa. Amortzrana složenost opsanog algortma je, gdje je s označena nverzna Ackermanova funkcja. 7 Unon fnd se u lteratur još često nazva: Dsjont-set data structure. Algortam je u svojoj osnovnoj načc detaljno opsan u T. H. Cormen, Leserson, Rvest, Sten: Introducton to Algorthms[24]. 47

53 Vrlo često se smatra konstantom s obzrom da je 5 za sve praktčne vrjednost. S obzrom da je jedna od najvažnjh odlka Vola Jones algortma njegova brzna, stoga je posvećena posebna pozornost da ova komponenta sustava rad na najbrž moguć načn. Slka 6.6 prkazuje prmjer rada opsanog algortma. Najjednostavnja moguća prmjena algortma Vole Jonesa na detekcju objekata u vdeo sekvencama je evaluacja cjelokupne kaskade na cjelom slkovnom okvru. Na prv pogled ovakav postupak je pretjerano zahtjevan, s obzrom da su promjene zmeđu dvaju uzastopnh okvra malene, te da stoga nje potrebno uvjek pretražvat cjelu slku. Međutm upravo ovakav prstup donos mnoge prednost jer je moguće značajno smanjt broj lažno poztvnh prmjera te povećat postotak detekcje upravo prmjenom algortamskh postupaka nad zlazma detekcje za svak pojedn slkovn okvr. Taj postupak je opsan u daljnjem tekstu. 48

54 7 Realzacja U prethodnm poglavljma zložena je teoretska podloga metoda za detekcju raspoznavanje objekata u slc. Realzran sustav većm se djelom oslanja na ste. Kroz ovo poglavlje znesen je koncept sustava, podac o procesma te usporedba klasfkatora. Predstavljen su uočen problem te prstup rješavanju sth. Naposljetku je predstavljena konačna načca sustava 8. Slka 7.1 Osnovn koncept sustava 7.1 Učenje Sv koršten algortm prpadaju kategorj algortama nadzranog učenja. Stoga m je potreban skup za učenje, koj se sastoj od uzoraka prpadnog točnog rješenja. U nastavku je detaljnje opsano učenje pojednh algortama Učenje algortma Vole Jonesa Vola Jones algortam učen je na skupu od 1802 znaka. Nezavsno su generrane Haarove značajke na sve tr komponentne LAB sustava boja. Rezultantna kaskada se sastoj od 16 razna, a prva razna se sastoj od tr značajke, što je btno za brznu zvođenja. Negatvn prmjerc za svaku raznu kaskadu se dobju tako da se pretraže slke za učenje na kojma prethodne razne kaskade daju lažno poztvnu detekcju. Parametr koršten prlkom učenja znose: postotak lažno negatvnh po razn: 0.35 ukupan postotak lažno negatvnh: 10 postotak detekcje na jednoj razn: Kroz poglavlje je predstavljen koncept sustava. Ops same mplementacje se nalaz u dodatku A. 49

55 7.1.2 Učenje neuronske mreže stroja s potpornm vektorma Učenje neuronske mreže stroja s potpornm vektorma odvja se na načn opsan u prethodnm poglavljma. Kroz ovo poglavlje obrađuje se odabr ulaznh značajk skupov za učenje. U prvome djelu zneseno je stražvanje o najboljem odabru ulaznh značajk za detekcju klasfkacju. Iako je stražvanje provedeno korštenjem neuronskh mreža, odabrane značajke se korste kao ulaz stroja s potpornm vektorma. Isto tako, opsan skup za učenje se korst za neuronsku mrežu, za stroj s potpornm vektorma. Odabr ulaznh značajk 9 Pr korštenju klasfkatora poput neuronske mreže, l stroja s potpornm vektorma, potrebno je odredt skup ulaznh značajk nad kojma će klasfkator radt. U ovom poglavlju opsana je usporedba performans sustava u odnosu na odabr značajk. Usporedba je provedena korštenjem neuronskh mreža. U skladu s rezultatma je odabran najbolj načn zlučvanja značajk. Detekcja znaka Detekcja znaka u slc neuronskom mrežom l strojem s potpornm vektorma nje praktčna zbog brzne zvođenja. Ipak, takav detektor se može korstt za dodatnu provjeru detekcja algortma Vole Jonesa, kada je potrebno provjert mal broj sječaka slke. Za rješavanje problema detekcje znaka, poželjno je odabrat ulazne značajke po kojma se znak može lako razlkovat od okruženja. Prometn znakov se stču svojom bojom oblkom, te su ulazne značajke odabrane u skladu s tme. Hstogram boje zasćenja Prv načn odabra ulaznh značajk temelj se na svojstvma znakova vezanm za boju. Slka se prje zlučvanja značajk skalra na velčnu 24x24. Informacju o boj slke dobro opsuje hstogram boja obrađen u poglavlju 3.4. Pošto je u znakovma udo bjele boje također značajan, korst se hstogramom S komponente (zasćenja) HSV 9 Djelov poglavlja su preuzet z I. Kovaček: Sustav za detekcju raspoznavanje prometnh znakova 50

56 sustava koj daje nformacju o udjelu bjele boje u slc. Oblk znaka se također uzma u obzr, te se hstogram zrađuju samo na djelovma slke. Slka 7.2 Odabr slkovnh elemenata Slka 7.2 prkazuje područja nad kojma se zrađuju hstogram. Hstogram boje se zrađuje nad slkovnm elementma unutar vanjskog ruba, dok se hstogram zasćenja zrađuje na manjem području, na slkovnm elementma unutar unutrašnjeg ruba. Velčna hstograma boje hstograma zasćenja je 20. Tme je velčna ulaznog sloja neuronske mreže 40, dok je velčna skrvenog sloja 32. Hstogram orjentacje gradjenata Drug načn zlučvanja značajk oslanja se na trokutast oblk znakova. Hstogram orjentacje gradjenata (poglavlje 3.4) lumnantne komponente dobro zdvajaju nformacju o rubovma slke, koj su staknut u slkama prometnh znakova. Prje zlučvanja značajk, slka se skalra na velčnu 48x48, zatm se vrjednost lumnantne komponente normalzraju na raspon Nakon normalzacje, lumnantna komponenta se fltrra Gaussovm fltrom: f = (7.1) Fltrranjem slke Gaussovm fltrom postže se uglađvanje rubova slke, te tme smjer gradjenta postaje ravnomjerno raspoređen na rubovma, što je btno pr zrad hstograma orjentacje gradjenata. Hstogram se zrađuju nad blokovma velčne 6x6, te su raspoređen uzevš u obzr pozcju znaka u slc. Slka 7.3 prkazuje raspored blokova. 51

57 Slka 7.3 Raspored blokova Hstogram se zrađuju za šest kuteva te uzmaju u obzr samo smjer, to jest, 180 stupnjeva. Velčna ulaznog sloja neuronske mreže je 264, dok je velčna skrvenog sloja 79. Rezultat Skupov za učenje, valdacju testranje sastoje se od dvje vrste slka, znakova, okolne. Sve slke su zabrane z jednog skupa slka metodom slučajnog odabra. Početn skup se sastoj od slka zdvojenh z vdeo snmaka. Tablca 7.1 prkazuje podatke o velčn skupova za učenje, valdacju testranje. Tablca 7.1. Velčne skupova za učenje,valdacju, testranje Učenje Valdacja Testranje Znakov Ostalo % 100% 100% 99,72% 100% 99% 98,91% 99,10% 99,28% 99,05% 99,31% 98% 97% RGB Hstogram boje zasćenja Hstogram orjentacje gradjenata Učenje Valdacja Testranje Slka 7.4. Usporedba rezultata za razlčt odabr značajk 52

58 Slka 7.4 prkazuje rezultate na skupovma za učenje, valdacju testranje, u ovsnost o odabru ulaznh značajk. Odabr ulaznh značajk utječe na performansu, al manje nego što je očekvano. Razlog tomu lež u velkom skupu za učenje, te neuronska mreža može naučt generalzrat, ako je odabr značajk loš. Najbolj rezultat se postžu na hstogramma orjentacje gradjenata, te se stoga odabru kao ulazne značajke za detekcju. Klasfkacja znakova Za razlku od detekcje znaka, pr klasfkacj znakova poželjno je odabrat ulazne značajke koje dobro opsuju razlku zmeđu razlčth klasa znakova. Informacja o razlc zmeđu klasa se nalaz na području sredšta znaka. Lumnantna komponenta Prv načn odabra značajk je lumnantna komponenta sredšta znaka. Slke se skalraju na velčnu 24x24, zatm se zdvajaju sredšnj element slke, na načn prkazan na slc 7.5. Slka 7.5 Izdvajanje sredšnjeg djela slke Dobvena lumnantna komponenta djela slke se zatm normalzra na raspon od 0 do 255. Ukupan broj promatranh slkovnh elemenata je 112, te je tolk broj neurona ulaznog sloja neuronske mreže. Broj neurona skrvenog sloja je

59 Hstogram orjentacje gradjenata Razlka zmeđu razlčth klasa znakova je u oblcma koj se nalaze u sredštu, te se hstogram orjentacje gradjenata koj nos nformacju o rubovma na sredštu slke nameće kao logčan odabr ulaznh značajk. Slke se skalraju na velčnu 48x48, te se lumnantna komponenta normalzra na raspon od 0 do 255. Nakon toga sljed fltrranje Gaussovm fltrom (7.1). Zatm se zrađuju hstogram orjentacje gradjenata nad blokovma smještenm u sredštu slke. Postoje dva skupa blokova, jedn velčne 4x4, te drug velčne 6x6. Slka 7.6 prkazuje raspored blokova. Slka 7.6 Raspored blokova Hstogram nad blokovma velčne 6x6 se rade za četr kuta 180 stupnjeva, dok se hstogram nad blokovma velčne 4x4 rade za sedam kuteva 360 stupnjeva. Broj neurona ulaznog sloja neuronske mreže je 174, te je broj neurona u skrvenom sloju jednak 52. Rezultat Skupov za učenje, valdacju testranje odabran su na st načn kao skupov za detekcju znaka. Odabrane su klase znakova čjh je prmjeraka na raspolaganju vše od 140. Takvh je klasa ukupno 8. Korštene klase prkazane su na slc 7.7. Skup za učenje sastoj se od 80 prmjeraka po klas, skup za valdacju od 30 prmjeraka po klas, te skup za testranje od 30 prmjeraka po klas. Slka 7.7 Korštene klase znakova. Učenje je provedeno za tr načna odabra ulaznh značajk: RGB format, lumnantna komponenta sredšta slke, te hstogram orjentacje gradjenata. 54

60 100,00% 96,71% 100% 100% 96,64% 98,32% 98,75% 95,00% 92,91% 90,00% 85,00% 80,00% 75,00% 79,41% 76,25% RGB Lumnantna komponenta Hstogram orjentacje gradjenata Učenje Valdacja Testranje Slka 7.8 Rezultat klasfkacje u ovsnost o odabru značajk Najbolj rezultat je postgnut korštenjem hstograma orjentacje gradjenata, te se on odabre kao skup ulaznh značajk za klasfkacju. Skup za učenje Skup za učenje klasfkatora sastoj se od 1802 ručno označena sječka slke na kojma se nalaze znakov. U skupu je zastupljeno 25 od ukupno 50 razreda znakova upozorenja. Pr tome je broj uzoraka po razredu razlčt, te se kreće od 4 do 236. Slka 7.9 prkazuje zastupljene razrede, razdobu broja prmjeraka po razredma. Slka 7.9 Zastupljen razred znakova broj prmjeraka po razredma 55

61 Pr učenju, kao pr evaluacj, zlučuju se značajke na načn opsan u prethodnom poglavlju. Slke z skupa su pod utjecajem smetnje uzrokovane prepltanjem, te se za njh provod uklanjanje smetnje, na načn opsan u poglavlju Rezultat odabr klasfkatora Proces detekcje raspoznavanja ostvaren je na dva načna s cljem usporedbe razlčth klasfkatora. U oba se korst algortam Vole Jonesa za detekcju objekata na slc, dok za klasfkacju jedan korst stroj s potpornm vektorma, a drug neuronsku mrežu. Uzorc za provedeno testranje su 1842 slke z vdeo snmke. Na svakoj od slka se nalaz barem jedan prometn znak. Važno je napomenut da su skupov za učenje klasfkatora generran na temelju ovh slka te rezultat testranja nsu mjerodavn. Clj ovakvog testranja je dentfkacja problema, čjm rješavanjem će se sustav unaprjedt. Rezultat detekcje prkazan su na slc Na gornjem grafu je prkazana uspješnost detekcje u ovsnost o mnmalnoj promatranoj velčn okvra 10. Na donjem grafu je prkazana raspodjela velčne slke u skupu. Slka 7.10 Rezultat detekcje 10 Pojašnjenje: uspješnost detekcje ukolko u testranje ulaze samo on znakov već od mjere na apscs. 56

62 Uspješnost detekcje je 78.23%. Taj rezultat je prlčno loš. Ipak, sa grafa se očtava da se uspješnost detekcje popravlja sa povećanjem velčne mnmalnog promatranog okvra. Tako je za znakove veće od 24x24 uspješnost detekcje 97.67%. Ta čnjenca omogućava soldne performanse na razn vdeo snmke. Nska razna detekcje uzrokovana je čnjencom da su u slkama za testranje zbačen parn vertkaln horzontaln redc, zbog smetnje uzrokovane prepltanjem. Tme je velk broj znakova postao manj od 24x24, što se vd sa donjeg grafa. Pošto je 24x24 najmanja velčna za koju algortam Vole Jonesa detektra znak, ovakav nzak rezultat ne prkazuje stvarnu stuacju, te je tme opravdano promatrat rezultat za okvre veće od 24x24. Na ukupno 1840 slka algortam je mao 326 lažnh detekcja. Razna krvh detekcja je 17.69%. Ona predstavlja odnos krvh detekcja broja znakova. Točnje, ovaj rezultat nam govor da se u perodu pojave 6 znakova pojavljuje 1 lažna detekcja. Očto je naveden rezultat nedovoljno dobar za prmjenu, te predstavlja velk problem. U svrhu određvanja kvaltete pozconranja za spravne detekcje, uvedena je mjera preklapanja površna zmeđu označenog detektranog sječka. Defnrana je kao udo površne preklapanja u većoj od površna. Slka 7.11 prkazuje razdobu preklapanja površna za spravne detekcje. Slka 7.11 Razdoba kvaltete pozconranja Sa slke se može vdjet da je položaj većne detekcja odmaknut od označenog položaja znaka. Ipak, prkazan graf potrebno je promatrat sa oprezom. Name, u obzr se mora uzet greška ručnog označavanja znakova, te čnjenca da je pozconranje prlčno dobro već za preklapanje od 90%, jer greška raste kvadratno sa kombnacjom vertkalnog horzontalnog odmaka. Ipak postoj udo detekcja sa relatvno malom površnom preklapanja, to jest, neprecznm pozconranjem. Za očekvat je da će takva pozconranja mat negatvan utjecaj na uspješnost klasfkacje. 57

63 Usporedba klasfkacje neuronskom mrežom (crvena) strojem s potpornm vektorma (plava) prkazana je na slc Slka 7.12 Usp poredba uspješnost klasfkatora Graf prkazuje uspješnost klasfkacje u ovsnost o udjelu preklapanja detekcje sa znakom. Očtoo je da je uspješnost klas sfkacje bolja za precznje locran znak. Na krajnjem ljevom desnom rubu testranje se odvja nad vrlo malm broj jem uzorakaa stoga se pojavljujuu samo ekstremne vrjednost odnosno detekcja od 0 l 1. Slka prkazuje broj detektranh uzoraka s točnoo tm preklapanjem. Ukupna uspješnost klasfkacje neuronskom mrežom znos 88.16%, dok za stroj s potpornm vektorma znos 91% %. Stroj s potpornm vektorma postže bolj rezultat, te je on odabran kao prmarn klasfkator. Rezultat od 91% uspješnost klas fkacje je osrednj, al nje dovoljno dobar za prmjenu. Jedan od važnh aspekata performans samog sustavaa je brzna. Sustav je sposoban obradt 8 slka u sekund, dok je za obradu vdeo snmke u realnom vrem menu potrebna brzna od barem 20 slka u sekund Poboljšanjaa Kao što je većć spomenuto u pret thodnom poglavlju, rezultat nsu zadovoljavajuć nt u smslu detekcje, nt klasfkacje. Sljedeć korak u razvoju sustava je dentfkacja rješavanje prob blema koj rezultraju lošm performansama. 58

64 Problem lažnh dete ekcja Osnovn problem detekcje je vsoka razna lažnh detekcja. To je velk ka mana sustava, pošto b za zloženee performanse kroz vdeo snmku postojalo vše lažnh detekcja neg go samh znakova. Kao rješenjee problema vsoke razne lažnh detekcja nameće se korštenjee doda atnog detektora koj b se ponašao kao dodatna razna kaskade klasfkatora algortma Vo ole Jonesa. Za dodatnu raznu kaskade upotrebljena je umjetna neuronska mrež ža. Ulazne znač čajke su ops sane u poglavlju Skup za učenje ovak kve neuronske mrežee se sastoj od dva razreda: znakov osta al sječc. U skupu za učenjee postoj 1639 znakova. Prm mjerc okolša su sluč čajno odab bran sječc slka, te h ma Osm toga, da b se neuronska mreža ponašala kao razna kask kade, u skup za učenje je dodano 1000 lažnh detekcja algortma Vole Jonesa, z prethodnoo prezentranog testranja. Dobvena neuronska mreža naučenaa je spravljat pogreške detekcje. Potrebno je još odredt korstt l neuronsku mrež žu prje l poslje ujednjavanja prozora. Pokazalo se da postavljanje neuronske mreže poslje ujednjavanjaa prozora značajno smanjuje raznu lažnh detekcja, al uvelke sma anjuje uspješnost detekcje, što je neželjen učnak. Postavljanje neuronske mrežee prje procesa ujednjenja prozora pokazuje se prlčno dobr rm rješenjem. Razna lažnh detekcja sma anjena je s 17.69% na 4..83%, što je značajno poboljšanje. Uspješnost detekcje je snžena za 4%, što je pak u razu umnm razmjerma. Slka 7.13 prkazuje usporedbu uspješnost detekcje s (crvena) bez (plava) korštenja neur ronske mreže za detekcju, u ovsnost o mnmalnoj promatranoj velčn proz zora. Slk ka 7.13 Utjecaj neuronske mreže na uspješnost detekcje. Očto je smanjenje razne detekcje manje za većee znakove, te već za mnmalnu velčnu od 30x300 postaje zanemarva, što se može očtat sa grafa. Pošto se uspješnost detekcje nje promjenla za veće znakove, očekvano je da ovakvo snženje performanse neće utjecat na per rformansu kroz vdeo 59

65 snmku. Stoga je razumno prhvatt navedenu redukcju detekcje u svrhu značajnog uklanjanja lažnh detekcja Problem neprecznog locranja Uspješnost klasfkacje pokazala se relatvno nskom. Uzrok tomu je pojava neprecznog pozconranja znaka algortmom Vole Jonesa. Slka 7.14 prkazuje prmjerke nepreczno pozconranh detekcja. Očt su pomac od dealne lokacje znaka. Slka 7.14 Nepreczno pozconranje algortmom Vole Jonesa Jedan prstup rješavanju ovog problema je pokušaj naknadnog precznog pozconranja znaka. Istražen je rad neuronske mreže Houghove transformacje za detekcju trokuta na ovom problemu, no pokušaj nsu polučl značajne rezultate. Drug prstup rješavanju ovoga problema je prlagodba skupa za učenje klasfkatora. Osnovna deja je dodavanje lošje pozconranh prmjeraka znakova u skup, poput sječaka prkazanh na slc Dodavanje lošje pozconranh prmjeraka u skup za učenje svod se na generranje sth pomoću operacja pomaka, uvećanja smanjenja nad početnm skupom za učenje. Da b ovakav prstup bo adekvatan, potrebno je modelrat razdobe pomaka uvećanja tako da odgovaraju razdobama pomaka uvećanja detekcja algortma Vole Jonesa. Rezultat sa slka dobven su usporedbom zlaza algortma Vole Jonesa sa ručno označenm pozcjama znakova. 60

66 Slka 7.15 Razdobe pomaka detekcja alg gortma Vole Jonesa Razdobu uvećanjaa može se aproksmrat razdobom omjera preklapanjaa površna detektranog označenog sje ečka, što prk kazuje slka Slka 7.16 Razdoba preklapanja površna Sve tr razdobe, prkazane na gornjm grafovma, mogu se aproksmrat kombnacjom normalnh razdoba. Pr tome se razd doba pomaka po x-os modelra normalnom razdobom s parametrma (µ = 0.48,σσ = 1..15), a razdoba pomakaa po y-os se modelra s nor rmalnom razdobom s parametrma (µ = 0..74, 4,σ = ). Razdoba faktora uvećanjaa je malo kompleksnja, jer nje smetrčna, al dalje nalk kuje na normalnu razd dobu, no devjacje ljeve desnee stane nsu ste. Zato je svakaa strana mod delrana s zasebnom normalnom razdobom (tj. njenom odgovarajućomm stranom). Pr tome je desna stranaa mode elranaa normalnom razdobom s para ametrma (µ µ = 1,σσ = 0. 3), a ljeva stranaa normalnom razdobom s parametrma (µ = 1,σ = 0.2). Na slc prka azan su rezultat klas sfkacje stroja s potpornm vektorma učenog na skupuu generranom na opsan načn (plava), te stroja s potpornm vektorma trenranog na org gnalnom, nemodelranom skupu za učenje. Promjena skup pa za učenjee donjela je zna ačajno poboljšanje : sa 91.33% na 95.42%. 61

67 Slka 7.17 Rezultat klasfkacje SVM-a na razlčtm skupovma Graf prkazuje kako klasfkator naučen na modelranom skupu značajno bolje klasfcra lošje pozconrane prmjerke, što je bo clj modelranja skupa za učenje. Pr tome je klasfkator zadržao dobre performanse za precznje pozconrane prmjerke Ostala poboljšanja Zbog načna određvanja klase pomoću stroja s potpornm vektorma, moguće je da shod bude neodlučen. Stoga se u tome slučaju kao klasfkator korst neuronska mreža. Poboljšana je mplementacja detekcje algortma Vole Jonesa nad okvrma vdeo sekvence prmjenom paralelzma. Name, algortam je moguće jednostavno paralelzrat stovremenom detekcjom nad susjednm okvrma. Testranjem na dvojezgrenom procesoru je pokazano dvostruko ubrzanje detekcje, sa osam na 14 okvra okvra po sekund. S obzrom da je mplementacju jednostavno prlagodt većem broju dretv na procesorma s vše jezgr l grozdu računala (eng. cluster) računala postgnuta ubrzanja mogu bt všestruka. Dodatno ubrzanje je postgnuto zmjenom operacja nad realnm brojevnm tpovma s operacjama nad cjelm brojevma, čme je postgnuto dodatno ubrzanje od 20%, a rezultantna pogreška je gotovo zanemarva. 62

68 7.4 Konačna zvedba Slka 7.18 prkazuje konačnu zvedbu sustava. Prva faza je detektranje potencjalnh regja znakova algortmom Vole Jonesa. Potom se detekcje pročšćavaju neuronskom mrežom te se zatm obavlja proces ujednjavanja susjednh detekcja. Nad detekcjama z slke pokreće se SVM klasfkator koj određuje tp znaka sa slke. Ukolko SVM ne može odredt razred znaka tada se pokreće neuronska mreža za klasfkacju. Rezultat detekcje klasfkacje kroz nekolko susjednh okvra vdeo sekvence se prosljeđuju u sustav za obradu vdeo sekvence. Na vdeo sekvencama moguće je, zbog brzne mplementranog algortma, korstt nezavsno pretražvanje svakog okvra vdeo sekvence. Ovakvo pretražvanje uvod velku zalhost u metodu detekcje klasfkacje s obzrom da se znak pojavljuje na vše uzastopnh okvra te s druge strane omogućava mplementacju algortma koj prat uzastopne detektrane okvre te na temelju njh određuje koj su nastal kao posljedca greške klasfkatora l šuma u podacma. Nakon detekcje, regje koje sustav označ kao potencjalne znakove na slkama ulaze u proces dentfkacje znaka na razn vdeo snmke. Prmarn clj ovog procesa je točno određvanje položaja znaka u vdeo sekvenc. Nakon toga sljed proces pročšćavanja lažnh detekcja klasfkacje. U tom procesu razmatra se određen broj susjednh okvra vdeo sekvence (tpčno 30), te ukolko je u njma pronađena detekcja koja odgovara stom području tada se regja proglašava spravnom detekcjom, a nače se odbacuje. Ovaj proces uvelke smanjuje udo lažno poztvnh detekcja te čn klasfkacju pouzdanjom s obzrom da se za sve susjedne detektrane regje klasfkacja obavlja nezavsno te se zatm odabre ona klasa koja se najveć broj puta pojavla kao rezultat pojednačne klasfkacje. 63

69 Slka 7.18 Shematsk prkaz zvedenog sustava 64

70 8 Rezultat Rezultat zložen u prethodnm poglavljma poslužl su u svrhu dentfkacje problema, te poboljšanja sustava. Tme je konačno rješenje ovsno o snmkama, odnosno slkama nad kojma su takv rezultat zrađen. Da b rezultat bl mjerodavn, provedeno je završno testranje nad vdeo snmkom o kojoj je sustav u potpunost neovsan. Točnje, nt jedan uzorak za učenje valdacju nje z testne vdeo snmke. Jednako tako, nt jedno stražvanje, nt poboljšanje sustava nje temeljeno na stoj. Također, pr snmanju snmke za testranje korštena je vdeo kamera razlčth svojstava od one koja je korštena pr snmanju prethodnh snmk. Kroz daljnja poglavlja su prezentran rezultat detekcje klasfkacje na razn slka te na razn vdeo snmke, postgnut na opsanoj snmc za testranje. 8.1 Detekcja Testranje je provedeno nad slkama z vdeo snmke, za koje je označena pozcja tp znaka. Slka 8.1 prkazuje rezultate u ovsnost o mnmalnoj promatranoj velčn znaka (gornj graf). Na donjem grafu je prkazana razdoba velčne znakova u skupu za testranje. Slka 8.1 Rezultat detekcje 65

71 Uspješnost detekcje je 83.53%, što je relatvno loš rezultat. Uzrok tomu je što algortam Vole Jonesa provod detekcju samo za okvre veće od 24x24 slkovna elementa 11. Sa gornjeg grafa se očtava rezultat detekcje za okvre veće od 24x24, te znos 89.18%, što je još uvjek loš rezultat za prmjenu. Očevdan je rast uspješnost detekcje s porastom mnmalne promatrane velčne, te se stoga može zaključt da algortam Vole Jonesa bolje rad nad velkm znakovma. Uspješnost detekcje već za okvre veće od 50x50 znos 99.14%, što je prhvatljv rezultat. Uzevš u obzr da se znak u vdeo snmc pojavljuje u većem broju slka, te da se njegova velčna povećava, za očekvat je da će u pravlu znak postć velčnu 50x50, te da će performanse kroz vdeo snmku bt prhvatljve. Parametr koršten prlkom detekcje su: Faktor uvećanja okna za detekcju (eng. scale factor): 1.20 Korak pomcanja okna (eng. step sze): 5% velčne okvra Mnmalna velčna grupe (korst se kod koraka ujednjavanja okvra): 2 Izmjenom navedenh parametara moguće je mjenjat odnos zmeđu broja lažno negatvnh detekcja postotka detekcje. Parametr također utječu na brznu zvršavanja algortma Vole Jonesa. 8.2 Klasfkacja Testranje je provedeno nad stm slkama kao za detekcju, to samo za spravne detekcje. Slka 8.2 prkazuje rezultate klasfkacje u ovsnost o postotku preklapanja površna detekcje označenog znaka (donj graf). Gornj graf prkazuje raspodjelu udjela preklapanja površna zmeđu označenog znaka detekcje. 11 Velčna od 24x24 slkovna elementa je najčešće korštena mnmalna velčna prlkom detekcje Vola Jones algortmom. Važno je da odabrana mnmalna velčna okvra sadrž dovoljno nformacje za razlkovanje objekta od pozadne 66

72 Slka 8.2 Rezultat klasfkacje Uspješnost klasfkacje znos 90.42%. Kao u slučaju detekcje, to je na prv pogled loš rezultat. Ipak, promatrajuć graf ovsnost performanse o postotku preklapanja, očgledno je da je klasfkacja bolja za precznje locrane znakove. Za očekvat je da su znakov male velčne, kao znakov velke velčne, nepreczno locran, za razlku od onh prosječne velčne. Pošto se kroz vdeo sekvencu znak najvše puta pojavljuje u velčn oko prosječne, za očekvat je da će ga se vše puta preczno locrat, te da će u pravlu klasfkacja glasanjem kroz snmku polučt prhvatljve rezultate. 8.3 Performanse sustava Konačna performansa sustava očtuje se u kvaltet detekcje raspoznavanja znakova kroz vdeo snmku. Slka 8.3 prkazuje rad sustava na vdeo snmc. 67

73 Slka 8.3 Rad sustava na vdeo snmc Na prmjeru je pokazano kako je sustav dentfcrao znak, ako ga je detektrao tek kada je postgao određenu velčnu. Ovakvo ponašanje sustava ukazuje na pretpostavku da b rezultat kroz vdeo snmku trebal bt osjetno bolj od rezultata na slkama. Testranje je provedeno ručno, nad vdeo snmkom sljedećh karakterstka: Rezolucja: 480x360 px Trajanje: 1h 28m 16s Ukupno slka: Slka po sekund: 25 Ukupno znakova: 265 Rezultat detekcje prkazan su u tablc 8.1: 68