Diplomski rad br. 1396

Transcription

1 Sveučilište u Zagrebu Fakultet elektrotehnike i računarstva Zavod za elektroniku, mikroelektroniku, računalne i inteligentne sustave Diplomski rad br Uporaba višeslonog perceptrona za raspoznavane bročano-slovčanih znakova na registarskim tablicama Autor: Kristian Kraupner Predmet: Raspoznavane uzoraka Mentor: prof. dr. sc. Slobodan Ribarić Ak. god /2003. Zagreb, 12. runa 2003.

2 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Sadrža 0.0. Opis diplomskog zadatka Prikaz sustava automatske klasifikacie registarskih tablica [4] Uvod Perceptron ednoslona neuronska mreža Višeslona neuronska mreža s unapriednom propagaciom - MFN Struktura i svostva višeslonog perceptrona Organizacia MLP-a Notacia Postupak učena višeslonog perceptrona LMS algoritam Algoritam učena propagaciom greške unatrag Sluča 1. Neuron e izlazni čvor Sluča 2. Neuron e skriveni čvor Dva prolaska izračunavana Aktivaciska funkcia Brzina učena Sekvencialni i grupni način učena Uveti zaustavlana Generalizacia Sažetak algoritma propagacie unatrag Primer algoritma propagacie unatrag za funkciu EKSKLUZIVNO-ILI Pregled postupaka raspoznavana bročano-slovčanih znakova koi se temele na uporabi MLP-a Automatski sustav za lokalizaciu i raspoznavane znakova tablica vozila [5] Korištene višeslonog perceptrona za raspoznavane rukom pisanih slovnih znakova [6] Neizraziti višesloni perceptron [7] Opis programskog sustava za raspoznavane i klasifikaciu registarskih tablica Slikovna baza registarskih tablica Predobrada slika Programska izvedba višeslonog perceptrona Struktura perceptrona Postupak klasifikacie Skup uzoraka za učene i skup uzoraka za testirane Ocena rezultata klasifikacie na velikom brou uzoraka Sintaksna analiza registarskih pločica Registarske oznake država Europe [8] Formati registarskih tablica država Europe [8] Rezultati pobolšana postupka klasifikacie korištenem sintaksne analize Eksperiment korištene horizontalne i vertikalne proekcie uzorka kao metode pretprocesirana Zaklučak Reference Literatura Dodatak popis priložene literature u digitalnom obliku / 104

3 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 0.0. Opis diplomskog zadatka Opisati strukturu višeslonog perceptrona MLP (MultiLayer Perceptron), negova svostva i postupak učena. Dati pregled postupaka raspoznavana bročano-slovčanih znakova koi se temele na uporabi MLP-a. Oblikovati slikovnu bazu registarskih tablica. Definirati strukturu MLP-a i postupak učena. Izraditi programsku opremu klasifikatora. Ocieniti rezultate klasifikacie na velikom brou uzoraka. Uporabom sintaktičke analize sadržaa registarskih pločica pobolšati rezultate klasifikacie. 2 / 104

4 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 0.1. Prikaz sustava automatske klasifikacie registarskih tablica [4] Jedan od primera postupaka raspoznavana bročano-slovčanih znakova e raspoznavane temeleno na osobinama feature-based recognition korišteno u Sustavu za raspoznavane automobilskih tablica (Car License Plate Recognition CLPR [4]). CLPR sustav automatske klasifikacie i raspoznavana registarskih tablica razvien e u sklopu Matematičkog i računarskog zavoda Sveučilišta Riksuniversiteit, Groningen Nizozemska, kao dio VIPUR sustava za identifikaciu vozila na avnim cestama (Vehicle Identification on PUblic Roads). Automatska identifikacia vozila pomoću sadržaa registarskih pločica (tablica) vrlo e bitna u privatnim transportnim primenama poput merena vremena putovana, upravlana parkiralištima, naplaćivana cestarina, provođena ograničena brzine vožne, identifikacia otuđenih vozila i sl. Dizan CLPR sustava temeli se na zakonsko regulacii nizozemskih registarskih tablica koa propisue strogi skup pravila o položau registarske tablice na vozilu, obliku, veličini, boi tablice (slova i pozadine), vrsti i obliku znakova, i dr (slika 1.). (A) KD 51 - BF (B) ABCDEFGHIJKLMNOPRSTUVWXYZ DD SP - 39 Slika 1. Registarske tablice sa crnim znakovima na žuto refleksivno pozadini (A) sa znakovima (B). Visina znakova varira od 75 mm do 77 mm. Širina, uklučuući margine, varira između 32 mm i 87 mm. Znakovi su smešteni simetrično na registarsko tablici [4]. CLPR sustav (slika 2.) sastoi se od 4 glavna diela [4]: segmentaciski dio, izolaciski dio, klasifikator znakova i sintaksni analizator. Segmentaciski dio određue lokaciu registarske tablice na slici na temelu strukturnih svostava i određenih ograničena. Izolirana tablica prosleđue se izolatoru znakova koi pokušava odrediti položa znakova na tablici. Izolirani znakovi tablice dale se obrađuu u klasifikatoru znakova. Ova dio CLPR sustava koristi višeslone perceptrone (MLP) i poklapane predložaka (template matching). Sintaksni analizator proverava zadovolavau li potencialno prepoznati znakovi određeni bro sintaksnih pravila koa opisuu nizozemske registarske tablice. Ako pravila nisu zadovolena, ili edan ili više znakova nie moguće raspoznati, slika tablice se ne prihvaća. ulazna slika (768*567 pixela) tekst registarske tablice Segmentaciski dio Izolator znakova Klasifikator znakova Sintaksni analizator Slika 2. CLPR sustav za raspoznavane registarskih automobilskih tablica [4] 3 / 104

5 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Modul od većeg interesa e klasifikator znakova koi se temeli na uporabi višeslonih perceptrona i raspoznavanu temelenom na osobinama. Kako bi se znakovi klasificirali, zahtieva se da su izolirane slike kvantificirane tako da klasifikator vidi razliku. Direktno predstavlane slike modulu za raspoznavane čini težim raspoznavane transformiranih slika (uslied rotacie, promene veličine, translacie i sl.). Stoga e definiran skup osobina invariantnih na takove transformacie, i to uz tri pristupa: momenti koi predstavlau kompoziciu (strukturu i raspored poedinih elemenata slike), glavne komponente koe reflektirau kompoziciu slike, i bočne proekcie kompozicie Momenti Momenti [4] su numeričke karakteristike distribuiranog skupa obekata, merene relativno u odnosu od referentne točke. Kod slike sa sivim razinama, momenti se temele na n slikovnih elemenata (piksela) P i sa sivom razinom m i i udalenošću r i od referentne točke: moment = n ( m i r i ) i= 0 Drugim riečima, moment predstavla meru unutarne strukture obekta. Ako e referentna točka (ishodište) odabrana kao središte slike, mera se naziva centralnim momentom. Na ova način moment postae invariantan s obzirom na rotaciu i promenu veličine segmentiranog diela. Uteca različitih dielova znaka na moment može se diferencirati potenciranem doprinosa mase i udalenosti na p i q : u pq = n p q ( m r ) i i i= 0 Dužom analizom definirano e 16 momenata I 1 I16 koima se može učiti višesloni perceptron. 16 osobina predstavla se 16 ulaznih neurona. Mreža e nabole naučena sa 30 skrivenih neurona, sa 90%-tnim raspoznavanem [4]. Analiza glavnih komponenata Analiza glavnih komponenata (Principal Component Analysis PCA) statistička e metoda koom se određue optimalna linearna transformacia y = Wx danog ulaznog vektora x stacionarnog stohastičkog procesa i određene dimenzie m izlaznog vektora y, gde e W želena transformaciska matrica. U teorii raspoznavana uzoraka, PCA e poznata i kao Karhunen-Loéve transformacia. PCA transformira korelirane ulazne podatke u skup od m statistički nepovezanih (neovisnih) osobina (ili komponenti), načešće uređenih prema smanenu količine informacia koe sadrže. Proekcie Treći način kvantifikacie znakova e korištene bočnih proekcia. To e naednostavnie postići ednodimenzionalnim broanem crnih piksela. Uz to, koristi se i broane povezanih komponenti (connected component count) prilikom koeg se broi koliko e promena iz crnog u bieli piksel duž edne skenirane linie. Generirau se četiri proekcie: horizontalna, vertikalna, broane horizontalnih povezanih komponenti, i broane vertikalnih povezanih komponenti. 4 / 104

6 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Kombinaciom navedena tri pristupa izveden e klasifikator znakova registarskih tablica modul za raspoznavane (slika 3.). binarna slika (32*40) izvođene momenata izvođene glavnih komponenti izvođene osobina proekcia neuronska mreža temelena na momentu neuronska mreža temelena na analizi glavnih komponenata neuronska mreža temelena na proekciama neuronska mreža za glasovane prepoznati znak (klasa) Slika 3. Shematski prikaz modula za raspoznavane. Višestruki neuronski klasifikatori rade paralelno, svaki nad svoim različitim skupom ulaznih osobina. [4] Zadni dio CLPR sustava predstavlau sintaksna pravila (slika 4.). Rezultati modula za raspoznavane uspoređuu se sa određenim sintaksnim pravilima podelenima u dva skupa. Prvi skup pravila uzima u obzir dimenziske zahteve (razmake između znakova) propisane službenim naputcima. Drugi skup pravila otkriva nedozvolene kombinacie bročanih i bročano-slovčanih znakova. Važeće nizozemske registarske tablice sadržavau samo parove znamenki i slova, primerice, GD-85-DF, 56-FG-PR ili KL Nadale, neki su parovi slova nedozvoleni kao npr. SS i SD. Potencialni registarski bro treba zadovoliti i edan i drugi skup pravila kako bi bio označen kao prepoznat. U slučau ikakvih neslagana, slika (t. bro registarske tablice) se ne prihvaća. 67-HG-JN ulaz CC-CC-DD CC-DD-CC DD-CC-CC 67-HG-JN izlaz PRIHVATI Kd-51-BF ulaz CC-CC-DD CC-DD-CC DD-CC-CC KD-51-BF izlaz ISPRAVI I PRIHVATI V5-FT-45 bd-rt-er CC-CC-DD CC-DD-CC DD-CC-CC izlaz ODBACI ulaz Slika 4. Sintaksni modul proverava sintaksu nađenih znakova i nastoi provesti konačno raspoznavane sumnivo raspoznatih znakova prikazanih malim slovima. Nizozemske registarske tablice sadrže tri skupine od po dva znaka - dvie znamenke ili dva slova [4]. 5 / 104

7 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Evaluacia uspešnosti CLPR sustava pri automatskom raspoznavanu registarskih tablica opisana e postotkom raspoznavana, postotkom greške i postotkom odbiana, na nivou raspoznavana znakova. ( bro ispravno raspoznatih znakova) postotak raspoznavana = bro svih izoliranih znakova postotak greške = postotak odbiana ( ) ( bro krivo raspoznatih znakova) ( bro svih izoliranih znakova) ( bro odbienih znakova) = ( bro svih izoliranih znakova) Bro točno raspoznatih znakova zaedno sa broem krivo raspoznatih i odbienih (neraspoznatih) znakova ednak e ukupnom brou izoliranih znakova. CPLR sustav testiran e na gotovo različitih slika. Za čitlive tablice i izolirane znakove, postignut e postotak raspoznavana od 99.1% i postotak odbiana od 0.9% po znaku. Ovi iznosi dau poprilično "ružičast" pogled na performanse sustava,no realističnia mera može se postići uzimanem u obzir postotka raspoznavana cielih registarskih tablica (svih znakova). postotak raspoznavana postotak greške = postotak odbiana = ( bro ispravno raspoznatih tablica) = ( bro svih izoliranih tablica) ( bro krivo raspoznatih tablica) ( bro svih izoliranih tablica) ( broodbienih tablica) ( bro svih izoliranih tablica) 6 / 104

8 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Referenca postotak raspoznavana / postotak greške osobine sustava sustav % / 0.9% ulaz: 20x30 crno-bielih piksela za svaki znak, MLP neuronska mreža; postotak odbiana 3.6% sustav % / 1.8% segmentacia i raspoznavane pomoću MLP mreža sa pikselima na ulazu sustav 3 95% / 5% znakovi između 16x23 i 38x47 piksela; MLP mreža sa osobinama na ulazu sustav 4 ulaz: 512x480 slike sa sivim razinama; 98.2% /? (znamenke) raspored znakova radi popunavana slabie 96.1% /? (kin. zn.) vidlivih znamenki sustav % / 3.2% klasifikacia temelena na neuronsko mreži sa 12 ulaznih osobina; bez detala sustav 6 90% /? (danu) postoci se temele na registarskim tablicama; 65% /? (noću) temeleno na podudaranu predložaka 768x493 slike sa sivim razinama; segmentacia neizrazitom logikom; sustav 7 97% / 1% klasifikacia MLP mrežom sa pikselima na ulazu (14x14) sa dodatnim gornim i donim ulaznim pikselima (14x9) sustav 8 94% /? klasifikacia sa 12x16 piksela na ulazu MLP-a ova pristup 99.1% / 0% klasifikacia korištenem višestrukih neuronskih mreža sa ulaznim osobinama i/ili podudaranem predložaka (template matching); postotak odbiana 0.9% Tablica 1. Pregled CLPR sustava na razini znaka [4] 1 Lisa, F., Carrabina, J., Pérez-Vincente, C., Avellana, N., i Valderrama, E., "Two-bit Weights Are Enough To Solve Vehicle License Plate Recognition Problem", Proceedings of the International Conference on Neural Networks, Vol. 3 2 Föhr, R., i Raus, M., "Automatisches Lesen amtlicher Kfz-Kennzeichen", Elektronik, No. 1 3 Yoo, J., Chun, B., i Shin, D., "A Neural Network for Recognizing Characters Extracted from Moving Vehicles", Proceedings of World Congress on Neural Networks,Vol. 3 4 Tanabe, K., Marubayashi, E., Kawashima, H., Nakanishi, T., i Shio, "PC-based Car License Plate Reading", Image and Video Processing, Vol. SPIE Abe, S., i Lan, M., "A Classifier Using Fuzzy Rules Extracted Directly From Numerical Data", Proceedings of the Second IEEE International Conference on Fuzzy Systems, Vol. 2 6 Kanayama, K., Fuikawa, Y., Fuimoto, K., i Horino, M., "Development of Vehicle-License Number Recognition System using Real-Time Image Processing and its Application to Travel-Time Measurement", Proceedings of the 41st IEEE Vehicular Technology Conference, St. Louis 7 Hwang, C., Shu, S., Chen, W., Chen, Y., i Wen, K., "A PC-based License Plate Reader", Proceedings Machine Vision Application, Architectures and Systems Integration, Vol. SPIE Kertész, A., Kertész, V., i Müller, T., "An On-line Image Processing System for Registration Number Identification", Proceedings of IEEE International Conference on Neural Networks, Vol. 6 7 / 104

9 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Referenca sustav 9 sustav 10 63% / 37% sustav 11 76% /? postotak raspoznavana / postotak greške 61.7% / 11.2% (mala brzina) 33.6% / 6.6% (velika brzina) ova pristup 85.6% / 0.001% osobine sustava evaluacia 3M RIA-300 CLPR sustava; postotci se temele na registarskim tablicama; postotak odbiana od 27.1% pri malim brzinama i 59.8% pri velikim rezultati dobiveni provođenem sintaksne analize; postotci se temele na registarskim tablicama postotak temelen na registarskim tablicama (7 znakova); ulaz: 512x512 slika sa sivim razinama; klasifikacia temelena na osobinama segmetacia pomoću DT-CNN neuronskih mreža; klasifikacia višestrukim neuronskim mrežama sa ulaznim osobinama i/ili podudaranem predložaka (template matching); postotak odbiana 14.4% Tablica 2. Usporedba kompletnih CLPR sustava [4] 9 Davies, P., Emmott, N., i Ayland, N., "License Plate Recognition Technology for Toll Violation Enforcement", Proceedings of IEEE Colloquium on Image analysis for Transport Applications, Vol Williams, P., Kirby, H., Montgomery, F., i Boyle, R., "Evaluation of Video-Recognition Equipment for Number-Plate Matching", Proceedings of the 2nd International Conference on Road Traffic Monitoring 11 Lotufo, R.A., Morgan, A.D., i Johnson, A.S., "Automatic Number-Plate Recognition", Proceedings of the IEE Colloquium on Image Analysis for Transport Applications, Vol / 104

10 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 1. Uvod Osnovni predmet proučavana ovog diplomskog rada čini posebna vrsta neuronskih mreža višesloni perceptron. Uloga perceptrona kao ednog od modela neuronskih mreža očitue se u klasifikacii i raspoznavanu uzoraka, u ovom slučau bročano-slovčanih znakova na registarskim tablicama. Umetne neuronske mreže ("artificial neural networks ANN" [1]) poznate su i kao konektivistički modeli, paralelni distribuirani procesni elementi i neuromorfni sustavi. Osnovna zadaća neuronskih mreža e postići dobre performanse pomoću gusto isprepletenih veza (sinapsi) između poedinih procesnih elemenata. S ovog e staališta struktura neuronske mreže bazirana na našem trenutnom shvaćanu biološkog živčanog sustava. Modeli neuronskih mreža pokazuu naveći potencial na područu raspoznavana govora i slike gde se mnoge pretpostavke ispituu istodobno. Upravo u paralelno i brzo obradi informacia, te velikom brou procesnih elemenata mreže leži računalna moć takovog modela. Dobre performanse omogućene su gustim međuvezama ednostavnih procesnih elemenata. Procesni elementi (neuroni ili čvorovi) korišteni u neuronsko mreži tipično su nelinearni. Naednostavnii neuron zbraa N ulaza modificiranih pripadnim težinskim faktorima i šale rezultat kroz nelinearnost, kao što e prikazano na slici 5. Čvor e karakteriziran unutarnim pragom ili pomakom ("offset" ili "bias") θ i tipom nelinearnosti. Slika 5. prikazue tri načešće vrste nelinearnosti; step funkciu, funkciu praga i sigmoidalnu nelinearnost. x 0 x 1 x 2 x N 1... w 1 w N 1 w 0 y IZLAZ N = 1 y f w i x i θ i= 0 +1 f h ( α ) +1 f t ( α ) +1 f s( α ) 0 α -1 STEP FUNKCIJA 0 α FUNKCIJA PRAGA 0 α SIGMOIDA Slika 5. Procesni element (čvor) oblikue zbro N težinskih ulaza i prosleđue rezultat kroz nelinearnost. Prikazane su tri vrste nelinearnosti. Modeli neuronskih mreža definirani su topologiom mreže, karakteristikama procesnog elementa i pravilima učena i trenirana koa određuu početni skup težinskih faktora i način na koi se težine prilagođavau tiekom upotrebe, u svrhu pobolšana performansi. Potencialna korist neuronskih mreža proteže se dale od visoke računalne moći masivnog paralelizma. Mogućnost adaptacie i nastavka učena klučna e u područima poput raspoznavana 9 / 104

11 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner znakova i govora, gde se stalno susreću nova okruža. Adaptacia posebice omogućue određeni stupan robusnosti kompenzaciom manih varirana osobina procesnih elemenata Perceptron ednoslona neuronska mreža Perceptroni su edna od nakorišteniih i napoznatiih neuronskih mreža. Sam e poam prvi upotriebio Frank Rosenblatt (Rosenblatt, 1958) 12 kako bi opisao različite modele neuronskih mreža. Od nega e potekla idea da se funkciski opis rada neurona implementira u obliku programskog algoritma umesto da se pokušava izgraditi fizički model neurona. 6.). Perceptron [2] predstavla ednostavni model osnovne stanice mozga, model neurona (slika aksonsko granane dendriti sinapsa akson druge stanice akson ezgra sinapse tielo stanice ili soma Slika 6. Osnovna struktura neurona - stanice mozga Naednostavnia neuronska mreža sastoi se od ednog perceptrona kao što e prikazano na slici 7. Jednoslonu neuronsku mrežu može činiti više perceptrona kao osnovnih mrežnih čvorova. ulazi x 1 težine θ w 1 x 2 w 2 čvor izlaz y x 3 w 3 Slika 7. Perceptron s tri ulaza, pragom θ i ednim izlazom [2] Svaki ulaz e množen težinskim faktorom i zaedno čine zbro umnožaka. Na tu vriednost primenue se "aktivaciska funkcia" čii rezultat predstavla izlaz, aktivacisku vriednost čvora. Jedna takva funkcia e i step funkcia prikazana na slici / 104

12 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 1 izlaz 0 θ ulaz Slika 8. Aktivaciska step funkcia Za svaki dani ulaz, perceptron proizvodi određeni izlaz, ovisno o ulazno vriednosti i težinskim faktorima. Težine se mogu podesiti tako da se postigne želeni izlaz za određeni ulaz. aksonsko granane akson druge stanice dendriti sinapsa akson ezgra sinapse tielo stanice ili soma x x 0 x 1 x 2 x N 1... w 1 w N 1 w 0 Σ z y aktivaciska funkcia (funkcia praga) Slika 9. Usporedba modela biološkog neurona i osnovnog procesnog elementa (čvora, perceptrona) Kao što e vidlivo na slici 9. ulazi u perceptron analogni su sinapsama, same težinske veze ulaza i čvora analogne su dendritima, dok e čvor (zbro svih težinskih ulaza i aktivaciska fukcia) analogia ezgri odnosno tielu živčane stanice (neurona). Izlaz y perceptrona istovetan e aksonu koi e sinapsama spoen s drugim neuronima, baš kao što e izlaz ednog perceptrona spoen sa ulazima drugih. 11 / 104

13 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 1.2. Višeslona neuronska mreža s unapriednom propagaciom - MFN Višeslone neuronske mreže s unapriednom propagaciom (multilayer feedforward networks [3]) predstavlau važnu klasu neuronskih mreža. Tipično, mreža se sastoi od skupa senzornih elemenata (ulazni čvorovi source nodes) koi čine ulazni slo, ednog ili više skrivenih sloeva procesnih elemenata, i izlaznog sloa procesnih elemenata. Ulazni signal širi se mrežom unapried, slo po slo. Ove se neuronske mreže obično nazivau višesloni perceptroni (multilayer perceptrons MLPs). Višesloni perceptroni uspešno su primieneni na rešavane nekih teških i raznolikih problema i to kroz postupke nadgledanog učena (učene s učitelem) algoritmom propagacie greške unatrag kroz mrežu (error back-propagation algorithm). Algoritam se temeli na pravilu učena korekciom greške. U osnovi, učene propagaciom greške unazad sastoi se od dva prolaza kroz različite sloeve mreže: prolazak unapried i prolazak unatrag. U prolasku unapried, aktivni uzorak (ulazni vektor) postavla se na ulazne čvorove mreže, i negov učinak širi se dale kroz svaki slo mreže. Konačno, generira se skup izlaza kao konkretan odziv mreže. Tiekom prolaska unapried sve sinaptičke težine mreže su fiksne, nepromenive. Tiekom prolaska unatrag, sinaptičke težine se podešavau u skladu s pravilom učena korekciom greške. Detalnie, razlika želenog (cilanog) odziva i trenutnog konkretnog odziva mreže predstavla signal greške. Ta se signal greške dale širi unatrag kroz mrežu, u suprotnom smeru od sinaptičkih veza otuda i ime "propagacia greške unatrag". Sinaptičke težine podešavau se tako da realni odziv mreže bude bliže želenom odzivu u statističkom smislu. Proces učena koi se izvodi u algoritmu naziva se učene propagaciom unatrag (back-propagation learning). Višesloni perceptron odlikuu tri distinktne karakteristike: 1. Model svakog neurona u mreži uklučue nelinearnu aktivacisku funkciu. Bitno e ovde naglasiti da e nelinearna funkcia glatka (derivabilna), u suprotnosti sa step funkciom kod Rosenblatt-ovog (ednoslonog) perceptrona. Učestali oblik nelinearnosti koi zadovolava ova uvet est sigmoidalna nelinearnost definirana logističkom funkciom: 1 y = 1+ exp( v ) gde e v inducirano lokalno pole (npr. težinska suma svih sinaptičkih ulaza i pomak) neurona, a y e izlaz neurona. Prisutnost nelinearnosti e bitna er bi u suprotnom ulaznoizlazni odnos mreže mogao biti reduciran na ednosloni perceptron. Štoviše, upotreba logističke funkcie e biološki motivirana, er pokušava opisati rad pravog neurona mozga. 2. Mreža sadrži edan ili više sloeva skrivenih neurona koi nisu dio ulaza ni izlaza mreže. Ovi skriveni neuroni omogućuu mreži učene kompleksnih zadataka pomoću ekstrakcie progresivno sve značaniih osobina ulaznih uzoraka (vektora). 3. Mreža pokazue visoki stupan povezanosti, određen sinapsama mreže. Promena u povezanosti mreže uzrokue promenu u populacii sinaptičkih veza ili nihovim težinama. Upravo kroz zaedničku kombinaciu ovih karakteristika i sposobnosti za učene iz iskustva kroz trenirane, višesloni perceptron crpi svou računalnu moć. No iste ove karakteristike odgovorne su i za nedostatke našeg trenutnog znana o ponašanu mreže. Prvo, prisutnost distribuiranog oblika nelinearnosti i visoki stupan povezanosti mreže čine teoretsku analizu višeslonog perceptrona teškom. Drugo, upotreba skrivenih neurona čini proces učena težim za 12 / 104

14 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner vizualizaciu. U implicitnom smislu, proces učena mora odlučiti koe osobine i značake ulaznog uzorka trebau biti reprezentirane skrivenim neuronima. Proces učena e time učinen težim er pretraživane mora biti provedeno u puno širem prostoru mogućih funkcia, i mora se odabrati između alternativnih reprezentacia ulaznog uzorka. Upotreba termina "propagacia unatrag" (back-propagation) postae izraženia nakon kada e populariziran kroz izdavane semestralne knige nazvane Paralelni distribuirani procesi (Rumelhart and McClelland, 1986) 13. Razvo algoritma propagacie unatrag predstavla napredak u razvou neuronskih mreža utoliko da čini proračunski učinkovitu metodu trenirana višeslonih perceptrona. Iako ne možemo tvrditi da navedeni algoritam predstavla optimalno rešene za sve rešive probleme, otklonio e pesimizam u pogledu učena kod višeslonih perceptrona na koi su u svoo knizi ukazali Minsky i Papert (1969) / 104

15 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 2. Struktura i svostva višeslonog perceptrona 2.1. Organizacia MLP-a Višesloni perceptron MLP (MultiLayer Perceptron) sastoi se od više sloeva međusobno povezanih procesnih elemenata čvorova ili neurona. Općenito, svi su čvorovi MLP-a potpuno povezani, svaki sa svakim (slika 10.) što znači da e svaki neuron u svakom slou povezan sa svim čvorovima/neuronima prethodnog sloa. Signal prolazi kroz mrežu unapried, s lieva na desno i slo po slo. ulazni signal (pobuda) izlazni signal (odziv) slo ulaza prvi skriveni slo drugi skriveni slo slo izlaza Slika 10. Strukturni graf višeslonog perceptrona sa dva skrivena sloa funkciski signal signal greške Slika 11. Prikaz smera prostirana signala kroz dio višeslonog perceptrona: unapriedna propagacia funkciskog signala i propagacia unatrag signala greške Dvie su vrste signala prisutne u mreži (Parker, 1987) 15 (slika 11.): 1. Funkciski signali Funkciski signal e ulazni signal (pobuda) koi počine na ulaznom dielu mreže, širi se dale unapried (neuron po neuron) i avla na izlaznom dielu mreže kao izlazni signal. Ovakav signal nazivamo "funkciskim" iz dva razloga. Prvo, podrazumieva se da obavla korisnu funkciu na izlazu iz mreže. Drugo, u svakom neuronu kroz koi funkciski signal prolazi, signal se računa kao funkcia ulaza i pripadnih težina pridruženih tom neuronu. Funkciski signal često se naziva i ulazni signal. 14 / 104

16 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 2. Signali greške Signal greške avla se kod izlaznog čvora mreže i propagira se unatrag (slo po slo) kroz mrežu. Nazivamo ga "signal greške" er se negov izračun u svakom neuronu mreže temeli na nekom od oblika funkcie greške. Izlazni neuroni (procesni elementi, čvorovi) čine izlazni slo mreže. Preostali neuroni čine edan ili više skrivenih sloeva. Tako, skriveni čvorovi nisu dio ni ulaza ni izlaza mreže otuda nihov naziv "skriveni". Prvi se skriveni slo puni podacima iz ulaznog sloa koeg čine senzorni elementi (ulazni čvorovi): rezultiraući izlazi prvog sloa predstavlau ulaze u sledeći skriveni slo; i tako dale za ostatak mreže. Svaki skriveni ili izlazni neuron višeslonog perceptrona dizaniran e za obavlane dva izračuna: 1. Izračun funkciskog signala koi se poavlue na izlazu neurona, izražen u obliku kontinuirane nelinearne funkcie ulaznog signala i sinaptičkih težina pridruženih tom neuronu. 2. Izračun procene gradienta (npr., gradienti pogreške u odnosu na težine povezane s ulazima neurona) koi e potreban pri prolasku unatrag kroz mrežu. Mogućnosti višeslonih perceptrona proizlaze iz nelinearnosti koe se koriste u čvorovima mreže. Jednosloni perceptron stvara poluravnine kao deciziska područa t. deciziska funkcia dieli ravninu na dvie poluravnine. Ulazne variable (vektor ulaza od n komponenti) određuu n-dimenzionalni prostor značaki u koemu složena deciziska funkcia grupira uzorke u deciska područa koa pripadau poedinim klasama (izlazima iz mreže). Tako, dvosloni perceptron može oblikovati bilo koe konveksno decizisko područe u prostoru određenom ulaznim variablama. Takova područa uklučuu konveksne poligone i neugniežđena konveksna područa. Konveksna područa oblikuu se križanem poluravnina koe stvara svaki čvor prvog sloa višeslonog perceptrona. Kada e potrebno da složena deciziska funkcia opisue konveksna područa koa su uedno i ugniežđena, kao što e to sluča sa kompleksnim raspoznavanem uzoraka koi se sastoe od većeg broa značaki (npr. 30*20 = 640 slikovnih elemenata poedinog alfanumeričkog znaka) tada e potrebno koristiti višesloni perceptron koi oblikue proizvolno kompleksna deciziska područa i može razdvaati ugniežđene klase [1]. 15 / 104

17 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 2.2. Notacia [3] Kako bi se olakšalo shvaćane dalneg matematičkog obašnena postupka učena višeslonog perceptrona potrebno e usvoiti određenu notaciu: Slova i, i k odnose se na različite neurone u mreži; uz širene signala s lieva na desno, neuron nalazi se u slou desno od neurona i, a neuron k se nalazi u slou desno od neurona kao skrivenog čvora. U iteracii (koraku) n, n-ti uzorak (primer) za učene predstavla se mreži. Simbol Ε odnosi se na trenutni zbro kvadrata greške u iteracii n. Prosek Ε nad svim vriednostima n (t. nad cielim skupom za učene) predstavla prosečnu grešku Ε av. Simbol e odnosi se na signal greške na izlazu neurona u iteracii n. Simbol d odnosi se na želeni odziv neurona i koristi se za izračunavane e. Simbol y odnosi se na funkciski signal na izlazu neurona u n-to iteracii. Simbol w i predstavla sinaptičku težinu (težinski faktor) veze između izlaza neurona i i ulaza neurona u n-to iteracii. Korekcia ove težine u n-to iteracii označena e s w i. Inducirano lokalno pole (t. težinska suma svih sinaptičkih ulaza i početnog pomaka "bias") neurona u iteracii n označeno e s v i predstavla ulazni signal aktivacisko funkcii pridruženo neuronu. Aktivaciska funkcia koa opisue ulazno-izlazni funkciski odnos nelinearnosti pridružene neuronu označena e s ϕ (K). Početni pomak (bias) neurona označen e s θ a negov učinak prikazan e sinapsom težine w 0 = θ povezane s konstantnom ulaznom vriednosti +1. i-ti element ulaznog vektora (uzorka) označen e s x i. k-ti element kompletnog izlaznog vektora (uzorka) označen e s o k. Parametar koi predstavla brzinu učena označen e s η. Simbol m l označava veličinu (t. bro čvorova) sloa l višeslonog perceptrona; l = 0, 1, K, L gde e L "dubina" mreže. Tako m 0 označava veličinu ulaznog sloa, m 1 veličinu prvog skrivenog sloa, m L veličinu izlaznog sloa. Koristi se i notacia m L = M. 16 / 104

18 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 3. Postupak učena višeslonog perceptrona Postupak učena i adaptacie težinskih faktora višeslonog perceptrona temeli se na algoritmu propagacie unatrag (back-propagation algorithm). Kako bi se shvatilo algoritam propagacie unatrag, potrebno e proučiti LMS algoritam namane kvadratne pogreške (leastmean-square algorithm) LMS algoritam [3] LMS algoritam predložili su Widrow i Hoff (1960) 16 kao učinkovitu metodu učena ednoslonog perceptrona. Algoritam se temeli na upotrebi trenutnih vriednosti funkcie ciene (sredne kvadratne greške) definirane izrazom gde e w vektor težinskih faktora, a vektoru težina w dae E ( w ) = e e signal greške u trenutku n. Diferenciranem ( w) ( w) E w = e e w E po LMS algoritam odnosi se na neuron s linearnom aktivaciskom funkciom, te se tako signal greške može izraziti kao T e = d x w gde e d izlaz sustava u trenutku n, a e E x ( w) = i = x e w w Zadni izraz predstavla procenu gradienta g x e promenu težinskog vektora oblikue LMS algoritam: w w x ulazni vektor sustava u trenutku n. Otuda ( n +1 ) = w ηg ( n + 1 ) = w + ηx e =, koi upotrieblen u izrazu za Upravo iz LMS algoritma promene težinskih faktora vidlivo e da se sinaptičke težine mienau proporcionalno diferencii sredne kvadratne greške po vektoru težina, odnosno w ( w) E w w (3.1) (3.2) 17 / 104

19 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 3.2. Algoritam učena propagaciom greške unatrag [3] Signal greške na izlazu neurona u n-to iteracii (predstavlanu n-tog uzorka mreži) definiran e kao razlika e = d y, neuron e čvor izlaznog sloa mreže (3.3) 1 Trenutna vriednost greške neurona definirana e kao e 2 [3]. Sliedi da e trenutna vriednost 1 Ε ukupne greške ednaka zbrou e 2 2 svih neurona izlaznog sloa višeslonog perceptrona; to su edini "vidlivi" neuroni za koe se može direktno izračunati signal greške. Tako se za ukupnu grešku na izlazu mreže može pisati 1 2 Ε( n ) = e (3.4) 2 C gde skup C uklučue sve neurone izlaznog sloa mreže. Neka N predstavla ukupni bro uzoraka (primera) u skupu za učene. Prosečna kvadratna greška Ε av ednaka e zbrou Ε po svim n, i zatim normalizirana u odnosu na veličinu N skupa uzoraka za učene: N 1 Ε av = Ε( n) (3.5) N n= 1 Trenutna vriednost greške Ε i prosečna greška Ε av predstavlau funkciu svih slobodnih parametara mreže (t. sinaptičkih težina i početnih pomaka). Za određeni skup za učene, Ε av predstavla funkciu ciene (cost function) kao meru performansi postupka učena. Zadatak postupka učena e prilagoditi slobodne parametre mreže kako bi se postigla minimalna prosečna pogreška Ε av. Kako bi se postigla ova minimizacia, koristi se metoda učena u koo se težine prilagođavau uzorak po uzorak, sve u edno epohi, t. dok mreži nisu predstavleni svi uzorci iz skupa za učene. Ovakav oblik učena naziva se metoda učena on-line. Težinski faktori prilagođavau se ovisno o greški izračunato za svaki uzorak predstavlen mreži. 2 y 0 = +1 d w 0( n) = b M w i v y i ϕ(k) y 1 e M neuron Slika 12. Graf toka signala s naglaskom na detale izlaza neurona [3] Aritmetička sredina poedinih promena težina skupa uzoraka za učene predstavla procenu točne promene koa bi rezultirala modificiranem težina na temelu minimizirana funkcie ciene Ε preko cielog skupa za učene. av 18 / 104

20 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Slika 12. prikazue neuron punen funkciskim signalima neurona u slou lievo (prethodni slo neurona). Inducirano lokalno pole v na ulazu u aktivacisku funkciu pridruženu neuronu definirano e izrazom v = m i= 0 w i y gde e y i funkciski signal na izlazu neurona i prethodnog sloa, te m ukupni bro ulaza (isklučuući početni pomak) predstavlen neuronu. Sinaptička težina w 0 (povezana s konstantnim ulazom y 0 = + 1) ednaka e početnom pomaku θ pridruženom neuronu. Tako e funkciski signal y na izlazu neurona u iteracii n ednak i (3.6) ( v ( )) y = n ϕ (3.7) Slično kao kod LMS algoritma (3.1), algoritam propagacie unatrag miena sinaptičku težinu Ε( n) w i za iznos korekcie w i koa e proporcionalna parcialno derivacii (3.2). w Prema pravilu ulančavana, gradient možemo prikazati u obliku i Ε( n) Ε( n) e = w e y i y v w v i (3.8) Parcialna derivacia Ε( n) w prostoru težina za sinaptičku težinu w i. i predstavla faktor osetlivosti koi određue smer pretraživana u Diferenciranem po e izraza za Ε (3.4) dobiva se Ε( n) = 1 2 C e 2 Ε( n) = e e e Diferenciranem po y izraza za signal greške (3.3) dobiva se e = d y e y = 1 y Diferenciranem po v izlaznog funkciskog signala (3.7) dobiva se y = ϕ ( v ) y = ϕ v v ( v ) (3.9) (3.10) (3.11) 19 / 104

21 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Konačno, diferenciranem po w i induciranog lokalnog pola (3.6) dobiva se m v = wi( n) yi i= 0 wi( n) v = yi w i (3.12) Dobivene ednakosti (3.9), (3.10), (3.11) i (3.12) primienene na izraz za s Ε( n) = e w i ϕ ( v ) y i Ε( n) w i (3.8) rezultirau (3.13) Korekcia primienena na težinski faktor w i definirana e delta pravilom: w i Ε( n) w i = η w i (3.14) gde e η parametar brzine učena algoritma propagacie greške unatrag. Upotreba znaka (-) u prethodno ednakosti upućue na gradientni spust u prostoru težina (t. traži se smer promene težine koa smanue vriednost Ε ). Sukladno sliedi w i = ηδ yi (3.15) gde e lokalni gradient δ definiran sa Ε( n) Ε( n) e y δ = = = e ϕ n v e y v ( v ( )) (3.16) Lokalni gradient upućue na potrebne promene u sinaptičkim težinama. Prema zadno ednakosti, lokalni gradient δ izlaza neurona ednak e umnošku odgovaraućeg signala greške ϕ pridružene aktivaciske funkcie. e tog neurona i derivacie ( ) v Klučni element u izračunavanu promena težina w i e signal greške e na izlazu neurona. U ovom kontekstu mogu se prepoznati dva posebna slučaa, ovisno o položau neurona u mreži: o U prvom slučau, neuron e e izlazni čvor. Ova e sluča ednostavan er se za svaki izlazni čvor definira želeni odziv te e lako izračunati odgovaraući signal greške. o U drugom slučau, neuron e skriveni čvor. Iako skrivenim čvorovima nie moguće pristupiti direktno, oni diele odgovornost u stvaranu greške na izlazu mreže. Pitane e, naime, kako znati koliko i kako "kazniti" ili "nagraditi" skrivene neurone za nihov udio odgovornosti. Ova se problem oš naziva i problem pridelivana zasluga ("creditassignment problem") čie elegantno rešene e upravo širene signala greške unatrag kroz mrežu. 20 / 104

22 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Sluča 1. Neuron e izlazni čvor Kada se neuron nalazi u izlaznom slou mreže, definira se želeni odziv samoga čvora te se izrazom (3.3) može ednostavno izračunati signal greške e pridružen tom neuronu; vidi izraz (3.5). Kada se odredi e, moguće e lako izračunati lokalni gradient δ korištenem izraza (3.16): δ = e ϕ v ( ) Sluča 2. Neuron e skriveni čvor Kada se neuron nalazi u skrivenom slou višeslonog perceptrona, ne postoi definirani želeni odziv toga neurona. Sukladno tome, signal greške skrivenog neurona mora se odrediti rekurzivno pomoću signala greški svih neurona s koima e dotični skriveni neuron direktno povezan; ovo e mesto gde razvo algoritma propagacie unatrag postae složenii. y 0 = d k w 0( n) = b M w i v y i ϕ(k) y M w k v k ϕ(k) y k 1 e k M M neuron neuron k Slika 13. Graf toka signala s naglaskom na detale izlaza neurona k povezanog sa skrivenim neuronom [3] U situacii kou prikazue slika 13. neuron predstavla skriveni čvor mreže. Prema izrazu (3.16) lokalni gradient δ za skriveni neuron može se redefinirati izrazom Ε( n) y δ = y v ( v ) Ε( n) = ϕ, neuron e skriven y Ε( n) gde e u drugom redu upotrieblen izraz (3.11). Parcialnu derivaciu možemo izračunati y na sliedeći način. Iz slike 13. sliedi da e 1 2 Ε( n ) = e k, neuron k e izlazni čvor 2 k C (3.17) (3.18) 21 / 104

23 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Dobiveni izraz (3.18) zapravo e ednak izrazu (3.4) uz upotrebu indeksa k na mestu indeksa. Indeks u ovom slučau predstavla skriveni neuron. Diferenciranem izraza (3.18) po funkciskom signalu y dobiva se Ε( n) ek = ek (3.19) y y k Upotrebom pravila ulančavana za parcialnu derivaciu Ε( n) = y k ek ek v k ek prethodni izraz ednak e y v y Iz slike 13. sliedi da e signal greške sada ednak e = d y k k k k ( v ( )) = d n, neuron k e izlazni čvor k ϕ k k (3.20) (3.21) Sliedi da e ek = ϕ k v k ( v ) k (3.22) Za neuron k, inducirano lokalno pole ednako e v = k m = 0 w k y gde e m ukupni bro ulaza (isklučuući početni pomak) pridružen neuronu k. I ovde e sinaptička težina w k ( ) ednaka pomaku b k neurona k, i odgovaraući ulaz e konstantne vriednosti n Diferenciranem izraza (3.23) po y dobiva se vk = w y k (3.23) (3.24) Upotrebom izraza (3.22) i (3.24) u izrazu (3.20) dobiva se tražena parcialna derivacia: Ε( n) = e k ϕ k ( vk ) wk y = k k δ ( n ) w k k (3.25) Konačno, uporabom izraza (3.25) u izrazu (3.17) dobiva se pravilo računana lokalnog gradienta δ skrivenog neurona : ( v ) δ ( n ) = ϕ δ w k k k (3.26) 22 / 104

24 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner δ w i w k δ 1 δ k M ϕ ( v )) 1( 1 n ϕ k ( v k ) M e 1 e k w ml M δ m L ( ) m L vm L ϕ M em L Slika 14. prikaz e izraza (3.26) u obliku grafa toka signala, pod pretpostavkom da se izlazni slo sastoi od ukupno m neurona. Faktor ( ) Slika 14. Graf toka signala diela sustava s naglaskom na propagaciu unatrag signala greške [3] L ϕ v potreban pri izračunu lokalnog gradienta δ u izrazu (3.26) ovisi isklučivo o aktivacisko funkcii pridruženo skrivenom neuronu. Preostali faktori potrebni za ova izračun, ponaprie zbro po k, ovise o dva skupa uveta. Prvi skup uveta, δ, zahtieva znane o signalima greške e k za sve neurone koi leže u slou neposredno desno od skrivenog neurona, i koi su direktno vezani na neuron (slika 13.). Drugi skup uveta, w k, čine sinaptičke težine pridružene ovim vezama. Sumiramo definirane odnose među poedinim iznosima i faktorima u algoritmu učena propagaciom greške unatrag. Prvo, promena w i težine koa povezue neuron i i neuron definirana e delta pravilom: k korekcia parametar lokalni ulazni signal tezina = brzine ucena gradient neurona w i η δ yi (3.27) Drugo, lokalni gradient δ ovisi o tome e li neuron izlazni ili skriveni čvor: 1. Ako e neuron izlazni čvor, ϕ i signala greške δ e ednak umnošku derivacie ( ) e, od koih su oba pridružena neuronu (izraz (3.16)). 2. Ako e neuron skriveni čvor, δ e ednak umnošku derivacie ϕ ( v ) i težinske sume faktora δ neurona u sliedećem skrivenom ili izlaznom slou koi e povezan s neuronom (izraz (3.26.)). v 23 / 104

25 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Dva prolaska izračunavana U primeni algoritma učena propagaciom greške unatrag razlikuemo dva prolaska (ciklusa) izračunavana. Prvi prolazak naziva se i prolaz unapried (forward pass), dok se drugi naziva oš i prolaz unatrag (backward pass). U prolasku unapried kroz mrežu, sinaptičke težine se ne mienau i funkciski signali mreže se računau za svaki poedini neuron (neuron po neuron). Funkciski signal koi se poavlue na izlazu neurona računa se kao y = ϕ( v ) (3.28) gde e v inducirano lokalno pole neurona, definirano sa v = m i= 0 w i y gde e m ukupni bro ulaza (ne uklučuući početni pomak bias) u neuron ; w i sinaptička težina veze neurona i i neurona, i y i ulazni signal neurona odnosno funkciski signal na izlazu neurona i. Ako se neuron nalazi u prvom skrivenom slou mreže, tada e m = m0 i indeks i se odnosi na i-ti ulazni element mreže, za koi pišemo yi = xi (3.30) gde e x i i-ti element ulaznog vektora (uzorka). Ako e, pak, neuron u izlaznom slou mreže, tada e m = ml i indeks se odnosi na -ti izlazni element mreže, za koi pišemo y = o (3.31) gde e o -ti element izlaznog vektora (uzorka). Ova se izlaz uspoređue sa želenim odzivom d, pri čemu se odredi signal greške e za -ti izlazni neuron. Tako faza izračunavana prolaskom unapried započine u prvom skrivenom slou prezentiranem ulaznog vektora, a završava u izlaznom slou izračunom signala greške za svaki neuron ovoga sloa. Prolazak unatrag kroz mrežu započine u izlaznom slou propuštanem signala greške ulievo kroz mrežu, slo po slo, i rekurzivnim izračunavanem lokalnog gradienta δ svakog neurona. Ova rekurzivni proces omogućue promene sinaptičkih težina u skladu s delta pravilom (izraz 3.27). Za neuron u izlaznom slou, δ e ednostavno ednak umnošku signala greške tog neurona i prve derivacie negove nelinearnosti. Tako se upotrebom izraza (3.27) mogu izračunati promene težina svih veza prema neuronima izlaznog sloa. Uz izračunate δ za neurone izlaznog sloa, korištenem izraza (3.26) mogu se odrediti δ za neurone u svim ostalim sloevima, a time i promene odgovaraućih težina. Rekurzivno izračunavane nastavla se slo po slo, uz propagirane promena svih sinaptičkih težina mreže. Bitno e istaknuti da e prilikom predstavlana mreži poedinog primera za učene, ulazni uzorak fiksiran ("pritegnut") tiekom oba prolaska izračunavana prolaska unapried i prolaska unatrag. i (3.29) 24 / 104

26 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Aktivaciska funkcia Izračun δ za svaki neuron višeslonog perceptrona zahtieva poznavane derivacie aktivaciske funkcie ϕ (K) pridružene tom neuronu. Kako bi ona postoala, funkcia ϕ (K) mora biti kontinuirana. Drugim riečima, diferenciabilnost e edini zahtev koi aktivaciska funkcia mora ispuniti. Primer kontinuirane diferenciabilne nelinearne aktivaciske funkcie uobičaeno korištene u višeslonom perceptronu e sigmoidalna nelinearnost; opisana su dva oblika: 1. Logistička funkcia. Ova e oblik sigmoidalne nelinearnosti u svom općenitom obliku definiran sa 1 ϕ ( v ) =, a > 0 i < v < 1+ exp av ( ) (3.32) gde e v inducirano lokalno pole neurona. Prema ovo nelinearnosti, amplituda izlaza e iz intervala 0 y 1. Diferenciranem izraza (3.32) po v dobiva se ϕ ( v ) = a exp( av ) ( 1+ exp( av ) 2 Uz y = ϕ ( v ) može se eliminirati eksponencialni izraz exp( av ) izraziti derivaciu ϕ ( v ) u obliku ϕ ( v ) = ay [ 1 y ] iz (3.33) i tako Za neuron u izlaznom slou, y = o. Tako lokalni gradient neurona možemo izraziti kao δ = e ϕ ( v ) = a d o o 1 o, neuron e izlazni čvor (3.35) [ ] [ ] gde e o funkciski signal na izlazu neurona, a d želeni odziv. S druge strane, za proizvolni skriveni neuron, lokalni gradient može se izraziti sa ( v ) k k n) [ 1 y ] δ ( n ) = ϕ δ w k = ay ( δ w, neuron e skriveni čvor Iz izraza (3.34) vidlivo e da derivacia ( ) k k k ϕ v ima maksimalnu vriednost pri y = 0. 5, a minimalnu vriednost (nula) pri y = 0 ili = Kako e iznos promene sinaptičkih težina mreže proporcionalan derivacii ( ) y ϕ, sliedi da se kod sigmoidalne aktivaciske funkcie sinaptičke težine mienau naviše kod onih neurona u mreži kod koih e funkciski signal negde pri sredini nihova intervala. Prema (Rumelhart et al., 1986a 17 ), upravo ova osobina algoritma propagacie greške unatrag pridonosi negovo stabilnosti kao algoritmu učena. v (3.33) (3.34) (3.36) 25 / 104

27 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 2. Hiperbolična tangens funkcia. Drugi uobičaeno korišteni oblik sigmoidalne nelinearnosti e hiperbolična tangens funkcia općenitog oblika ( v ) a tanh( bv ) ϕ, ( a, b) > 0 = gde su a i b konstante. Derivacia po v dae 2 ϕ ( v ) = ab sech ( bv ) 2 = ab 1 tanh bv b = a ( ( ) [ a y ][ a y ] + (3.37) (3.38) Za neuron u izlaznom slou, lokalni gradient ednak e δ = e ϕ v ( ) [ d o ][ a o ][ a o ] b = a + Za neuron u skrivenom slou vriedi δ ( n ) = ϕ v δ w b = a ( ) k k [ a y n) ][ a + y ] k k k ( δ w, neuron e skriven k (3.39) (3.40) Korištenem izraza (3.35) i (3.36) za logističku funkciu, te izraza (3.39) i (3.40) za hiperboličnu tangens funkciu, možemo izračunati lokalni gradient δ bez potrebe za eksplicitnim znanem aktivaciske funkcie Brzina učena Algoritam učena propagaciom greške unatrag dae "aproksimaciu" putane u prostoru težina (weight space) određenu metodom strmog spusta. Što e parametar brzine učena η mani, to su iz iteracie u iteraciu mane promene sinaptičkih težina mreže, i krivula u prostoru težina e glatkia. Ovo e pobolšane postignuto nauštrb sporie brzine učena. Ako, pak, odaberemo prevelik parametar η u svrhu ubrzana procesa učena, rezultirauće velike promene u sinaptičkim težinama poprimau takav oblik da mreža postae nestabilna (t. oscilira). Jednostavna metoda povećana brzine učena uz istodobno izbegavane opasnosti od nestabilnosti mreže temeli se na modificiranom delta pravilu (izraz 3.15) s uklučenim momentom, kao što e pokazao (Rumelhart et al., 1986a 17 ): w i = α w ( n 1) + ηδ y i i (3.41) gde e α načešće pozitivan bro konstanta momenta (momentum constant). Ova moment 1 kontrolira povratnu petlu oko, kao što e ilustrirano na slici 15. gde e z operator w i kašnena (unit delay operator). Izraz (3.41) zove se generalizirano delta pravilo koe uklučue delta pravilo (izraz 3.15) kao poseban sluča (t. za α = 0 ). 26 / 104

28 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner δ y i 1 z η α w i ( n 1) w i Slika 15. Graf toka signala koi prikazue uteca konstante momenta [3] Kako bi se mogao videti uteca prezentirana niza uzoraka na sinaptičke težine zbog momenta α, potrebno e izraz (3.41) napisati kao vremensku seriu s indeksom t. Indeks t počine s inicialnim vremenom 0 a završava s trenutnim vremenom n. Izraz (3.41) može se promatrati kao diferencialna ednadžba prvoga reda korekcie pogreške w i čiim se rešavanem po w i dobiva izraz w n n t i = η α δ t= 0 ( t) y ( t) koi predstavla vremensku seriu duline n + 1. Iz izraza (3.13) i (3.16) može se uočiti da e Ε( n) umnožak δ y i ednak. Sukladno tomu, izraz (3.42) može se napisati u w i ekvivalentnom obliku n n t Ε( t) w i = η α (3.43) w ( t t= 0 i ) Na temelu ove relacie može se primietiti nekoliko interesantnih svostava (Watrous, ; Jacobs, ): 1. Trenutni iznos promene w i predstavla zbro eksponencialnih težina vremenskih seria. Kako bi vremenske serie bile konvergentne, konstanta momenta mora se ograničiti na vriednosti iz intervala 0 α 1. Kada e α nula, algoritam propagacie greške unatrag radi bez momenta. Također, konstanta momenta α može biti pozitivna i negativna iako e malo veroatno da se negativni α koristi u praksi. Ε( t) 2. Kada parcialna derivacia ima isti predznak pri uzastopnim iteraciama, w i ( t) eksponencialna težinska suma w i sve više raste, te se težina w i prilagođava za veliki iznos. Upotreba momenta u algoritmu propagacie unatrag nastoi ubrzati spust u monotonom smeru nizbrdo. Ε( t) 3. Kada parcialna derivacia ima različit predznak pri uzastopnim iteraciama, w i ( t) eksponencialna težinska suma w i se smanue, te se tako težina w i prilagođava za mani iznos. Upotreba momenta u algoritmu propagacie unatrag ima stabiliziraući učinak u smerovima koi oscilirau po predznaku. i (3.42) 27 / 104

29 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Integracia momenta u algoritam propagacie unatrag predstavla manu modifikaciu u postupku prilagođavana težina, no ima i određeni koristan uteca na ponašane algoritma pri učenu. Izraz za moment također omogućue nastavlane procesa učena pri nailasku na plitki lokalni minimum na površini greške. Pri izvođenu algoritma propagacie unatrag, pretpostavleno e da e parametar brzine učena označen konstantom η. U stvarnosti, pak, trebao bi se označiti s η i ; drugim riečima, parametar brzine učena trebao bi biti pridružen poedino vezi, a ne postupku učena kao celini. Doista, mnoge se interesantne stvari mogu učiniti definiranem različitih η za različite dielove mreže. Također e vriedno spomenuti da prilikom primene algoritma propagacie unatrag možemo odabrati da su sve sinaptičke težine u mreži podesive, ili možemo ograničiti bilo koi bro težina na vriednosti nepromenive tiekom procesa prilagođavana. U zadne navedenom slučau, signali greške se uobičaeno propagirau mrežom unatrag; no ipak, sinaptičke težine ostau nepromienene. To se može postići postavlanem parametra brzine učena η i (za sinaptičku težinu w i ) ednakim nuli Sekvencialni i grupni način učena U praktično primeni algoritma propagacie unatrag, učene nastae iz bronih predstavlana propisanog skupa primeraka za učene višeslonom perceptronu. Jedno potpuno predstavlane cielog skupa za učene tiekom procesa učena naziva se epohom. Proces učena prolazi epohu po epohu, sve dok se ne stabilizirau sinaptičke težine i pomaci čvorova mreže, te sve dok prosečna kvadratna pogreška cielog skupa za učene ne konvergira ka neko minimalno vriednosti. Dobra e praksa, od edne epohe do druge, predstavlati primerke za učene slučanim redosliedom. Slučani redoslied čini pretraživane u prostoru težina stohastičkim procesom tiekom ciklusa učena. Za dani skup uzoraka za učene, učene propagaciom unatrag može se tako nastaviti na edan od dva osnovna načina: 1. Sekvencialni način učena propagaciom unatrag također se naziva i on-line ili stohastički način učena. U ovom obliku učena, težine se prilagođavau nakon predstavlana svakog uzorka za učene; upravo e ovakav način učena prikladan za izloženi algoritam propagacie unatrag. Detalnie, pogledamo epohu sa N primeraka za učene (uzoraka) poredanih u obliku uređenih parova ( x ( 1), d(1) ),, ( x ( N), d( N) ). Prvi primerak ( x ( 1), d(1) ) u epohi predstavla se mreži, te se obavla niz izračunavana prolaskom unapried i unatrag koi rezultirau određenim promenama sinaptičkih težina i početnih pomaka čvorova mreže. Drugi primerak ( x ( 2), d(2) ) u epohi predstavla se mreži, te se ponavlau potrebna izračunavana koa dale prilagođavau sinaptičke težine i pomake. Proces se nastavla sve x ( N), d( N). dok se mreži ne predstavi i zadni primerak ( ) 2. Grupni način učena batch mode naziv e za učene prilikom koeg se težine prilagođavau nakon predstavlana svih primeraka za učene koi čine ednu epohu. Za određenu epohu, funkcia ciene (cost function) definirana e kao prosečna kvadratna greška izraza (3.4) i (3.5), ponovlena u obliku 28 / 104

30 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Ε av = 1 2 N N n= 1 C e gde se signal greške e odnosi na izlaz neurona za uzorak n a definiran e izrazom (3.3). Greška e ednaka e razlici između d i y koi predstavlau -ti element vektora želenog odziva d i odgovarauće vriednosti vektora izlaza mreže y, respektivno. U izrazu (3.44) unutarni zbro po vrši se po svim neuronima izlaznog sloa mreže, dok se vanski zbro po n vrši za cieli skup za učene u trenutno epohi. Za parametar brzine učena η, prilagodba sinaptičke težine w i, koa povezue neuron i s neuronom, definirana e delta pravilom Ε av w i = η w N η e = e N n= 1 w i Prema gornem izrazu, prilikom grupnog učena prilagodba težine što e cieli skup za učene predstavlen mreži. i 2 (3.44) w i vrši se samo nakon Iz perspektive "on-line" učena, sekvencialni način učena se preferira nad grupnim učenem er zahtieva mane lokalnog prostora za pohranu svake sinaptičke veze. Štoviše, uz slučani redoslied predstavlana uzoraka mreži, upotreba prilagodbi težina uzorak po uzorak čini pretraživane prostora težina stohastičkim po prirodi. Time se smanue veroatnost da će algoritam propagacie unatrag biti zaglavlen u lokalnom minimumu. Na isti način, stohastička priroda sekvencialnog načina učena čini težim definirane teoretskih uveta za konvergenciu algoritma. Suprotno tome, upotreba grupnog načina učena pruža točnu procenu gradientnog vektora; konvergencia u lokalni minimum e time zaamčena uz ednostavne uvete. Također, sama kompozicia grupnog učena pogodnia e paralelnom radu nego sekvencialni način učena. Kada su podaci za učene redundantni (t. skup za učene sadrži nekoliko kopia istog uzorka za učene), tada sekvencialno učene može iskoristiti ovu redundantnost er su primerci prezentirani edan po edan. Ovo e posebice izraženo kod velikih i vrlo redundantnih skupova podataka. Da zaklučimo, unatoč činenici da sekvencialni, "on-line" način učena ima određene nedostatke, vrlo e popularan (posebice pri rešavanu problema klasifikacie) iz dva praktična razloga: algoritam e relativno ednostavno implementirati pruža učinkovita rešena velikih i teško rešivih problema 29 / 104

31 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Uveti zaustavlana Općenito gledano, ne može se pokazati da algoritam propagacie unatrag konvergira, i ne postoe dobro definirani uveti zaustavlana negova rada. Ipak, postoe određeni razumni uveti, svaki sa svoim vlastitim praktičnim doprinosom, koi se mogu iskoristiti za zaustavlane procesa prilagođavana težina. Kako bi formulirali takav uvet, logično e razmišlati u terminima edinstvenih svostava lokalnog i globalnog minimuma površine greške. Neka vektor težina w * označava minimum, lokalni ili globalni. Nužni uvet za minimum w * e da gradientni vektor g (w) (t. parcialna derivacia prvog reda) površine greške u odnosu na vektor težina w bude ednak nuli pri w = w *. Sukladno tome, može se oblikovati razumni uvet konvergencie algoritma propagacie greške unatrag (Kramer i Sangiovanni-Vincentelli, ): Smatra se da algoritam propagacie unatrag konvergira kada euklidska norma gradientnog vektora dostigne dovolno mali gradientni prag. Nedostatak ovog uveta konvergencie e ta da pri uspešnom treniranu mreže, vrieme učena može biti dosta dugo. Također, potrebno e izračunavati gradientni vektor g (w). Drugo edinstveno svostvo minimuma koe se može iskoristiti e činenica da se funkcia ciene ili mera greške Ε av (w) ne miena u točki w = w *. Može se tako predložiti drukčii uvet konvergencie: Smatra se da algoritam propagacie unatrag konvergira kada e apsolutni iznos promene prosečne kvadratne greške po epohi dovolno malen. Iznos promene prosečne kvadratne greške tipično se smatra dovolno malenim ako e unutar intervala od 0.1% do 1% po epohi. Ponekad se koristi i iznos od 0.01% po epohi. Nažalost, ova uvet može rezultirati u preranom zaustavlanu procesa učena. Postoi i drugi koristan i teoriski utemelen uvet konvergencie. Nakon svake iteracie učena, mreža se testira s obzirom na performanse u generalizacii. Proces učena se zaustavla kada e generalizacia mreže zadovolavauća. 30 / 104

32 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 3.3. Generalizacia Pri učenu algoritmom propagacie unatrag, tipično započinemo uzorkom za učene te algoritmom propagacie greške unatrag izračunamo sinaptičke težine višeslonog perceptrona, puneći mrežu ostalim uzorcima za učene. Kaže se da mreža dobro generalizira kada e ulaznoizlazno preslikavane dobiveno mrežom točno za testne uzorke koi nisu korišteni u procesu učena mreže; poam "generalizacia" posuđen e iz psihologie. Proces učena (trenirane neuronske mreže) može se promotriti kao proces ulazno-izlaznog preslikavana. Mreža provodi korisnu interpolaciu stoga što višesloni perceptroni s kontinuiranom aktivaciskom funkciom dau i izlaz kao kontinuiranu funkciu. nelinearno preslikavane nelinearno preslikavane uzorci za učene izlaz generalizacia izlaz uzorci za učene generalizacia ulaz a) b) Slika 16. a) Dobra generalizacia; b) slaba generalizacia (mreža e pretrenirana) [3] Slika 16. prikazue dvie generalizacie hipotetske mreže. Nelinearno ulazno-izlazno preslikavane prikazano krivulom rezultat e uzoraka za učene. Uzorak označen sa "generalizacia" predstavla interpolaciu mreže. Neuronska mreža koa dobro generalizira proizvest će točno ulazno-izlazno preslikavane i u slučau kada e ulaz mreže nešto drukčii od uzoraka za učene, kao što e prikazano na slici. No kada mreža nauči previše ulazno-izlaznih primera, događa se da su neki uzorci za učene zapamćeni (memorizirani). Ova se poava naziva pretreniranem (overtraining) mreže. Kada e mreža pretrenirana gubi mogućnost generalizirana između sličnih ulazno-izlaznih uzoraka. ulaz 31 / 104

33 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 3.4. Sažetak algoritma propagacie unatrag 1. Definira arhitekturu mreže i postavi težine na inicialnu vriednost. Često se koriste slučane vriednosti iz intervala od 0.3 do Predstavi (prezentira) ulazni vektor i odgovaraući želeni odziv. Za svaki čvor u svakom skrivenom slou i u izlaznom slou, odredi zbro umnožaka težina i ulaza u svaki čvor, te izlaz svakog čvora. Tako e za čvor u slou s zbro umnožaka težina i ( s) ( s) ( s) ulaza ednak I = w x gde e zbro po svim ulazima u -ti čvor. Izlaz -tog čvora e (s) ( I ) y = sig, t. sigmoidalna funkcia zbroa i i (s) I. 3. Prilagodi težine počevši od izlaznog sloa unatrag prema ulaznom slou. Težine veza prema slou s mienau se prema: ( s) ( s) ( s) ( s) ( s) ( s 1) w i = w i + w i, uz w i = η e xi (uz upotrebu momenta u svrhu izbegavana lokalnog minimuma vriedi ( s) ( s) ( s) ( s) w i = η e xi + α w i ( n 1) ) Pritom e: ( s) ( s) ( s) ( s) ( s) za izlazne čvorove: e = y ( 1 y )( d y ) gde e d želeni odziv, y dobiveni odziv ( s) ( s) ( s) ( s+ 1) ( s+ 1) za skrivene čvorove: e = y ( 1 y )( ek wk ), gde e zbro po čvorovima u s + 1 slou. 4. Predstavi mreži svaki uzorak iz skupa za učene i ponovi 2. i 3. korak. 5. Kada su iskorišteni svi uzorci za učene, proces se ponavla od 2. koraka sve dok nie zadovolen određeni uvet. To može biti npr. bro ciklusa (epoha) učena, ili kada promene težina postanu minimalne, ili kada se postigne maksimalna razlika između bilo koeg dobivenog izlaza i želenog odziva mana od određene vriednosti. 32 / 104

34 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 3.5. Primer algoritma propagacie unatrag za funkciu EKSKLUZIVNO- ILI Za problem implementacie XOR (exclusive-or) funkcie, prikladan e trosloni perceptron sa 2x2x1 neurona (slika 17.). x 1 (2) w 12 (2) w 21 (2) w 11 (2) w 01 (2) w (3) w 11 (3) w x 1 x 2 (2) w 22 (3) w 21 ulazni slo skriveni slo izlazni slo Slika 17. Trosloni perceptron za XOR funkciu Za određene kombinacie ulaza x 1 i x 2, mreža treba davati izlaz y prema tablici 3. y = x 1 x x 1 x Tablica 3. Vriednosti XOR funkcie Neka su zadani početni, proizvolni težinski faktori (2) w 01 = (2) w 11 = (2) w 21 = (s) w i : (2) w 02 = (2) w 12 = (2) w 22 = (3) w 01 = (3) w 11 = (3) w 21 = Aktivaciska funkcia neurona e sigmoida, t. izlaz poedinog neurona ednak e out = 1 ( net ) + e neuron 1 skriveni slo ulazi net izlaz / 104

35 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner neuron 2 neuron izlazni slo ulazi net izlaz Sa zadanim početnim vriednostima težina i sa ulazom (0,0) dobivena vriednost na izlazu e Zatim se računa gradient δ za svaki neuron, počevši od izlaznog sloa: (3) (3) (3) (3) δ = out 1 out d out = δ δ 1 (2) 1 (2) 2 1 = out = out (2) 1 (2) 2 Sliedi da uz η = 0. 5 promene težina iznose: w w w w w w w w w (2) 01 (2) 11 (2) 21 (2) 02 (2) 12 (2) 22 (3) 01 (3) 11 (3) 21 = ηδ = ηδ = ηδ = ηδ = ηδ = ηδ = ηδ = ηδ = ηδ (2) 1 (2) (2) 1 11 (2) 1 (2) 2 (2) (2) 2 12 (2) 2 (3) 1 (3) (3) 1 11 (3) 1 x x x x x x x x x (2) 01 (2) 21 (2) 02 (2) 22 (3) 01 (3) 21 ( 1 )( 1 ) (2) (3) (3) ( 1 out1 ) w11 δ 1 = (2) (3) (3) ( 1 out ) w δ = = = = = 0 = = 0 = 0.5 ( ) 0 = 0 = 0.5 ( ) 0 = 0 = 0.5 ( ) 1 = = 0.5 ( ) 1 = = 0.5 ( ) = = 0.5 ( ) = Nove težine sada iznose: (2) w 01 = (2) w 11 = (2) w 21 = (2) w 02 = (2) w 12 = (2) w 22 = (3) w 01 = (3) w 11 = (3) w 21 = Mreži se sada predstavla novi uzorak (0,1) i cieli postupak izračunavana promena težina se ponavla. Učene se nastavla sve dok greška između želenog i dobivenog izlaza mreže ne bude mana od neke prethodno određene vriednosti, kada se postupak učena zaustavla. U ovom primeru, mreža konvergira ka rešenu. Nakon nekoliko tisuća iteracia težine iznose: (2) w 01 = (2) w 11 = (2) w 21 = (2) w 02 = (2) w 12 = (2) w 22 = (3) w 01 = (3) w 11 = (3) w 21 = / 104

36 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Uz ove vriednosti težina, mreža za određeni ulaz dae izlaz: x 1 x Tablica 4. Izlaz mreže za dane ulaze y Dobiveni izlazi (tablica 4.) dovolno su blizu idealnim vriednostima (tablica 3). Primer zorno pokazue kako algoritam propagacie greške unatrag pronalazi potrebni skup težina za XOR funkciu, uz dobro definiranu i prikladnu strukturu mreže. Prikladna struktura e ona kod koe e odabran točan bro sloeva i neurona u poedinom slou, koima se može implementirati funkcia ekskluzivno-ili. 35 / 104

37 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 4. Pregled postupaka raspoznavana bročano-slovčanih znakova koi se temele na uporabi MLP-a 4.1. Automatski sustav za lokalizaciu i raspoznavane znakova tablica vozila [5] Jedan od postupaka raspoznavana bročano-slovčanih znakova registarskih tablica, koi se temeli na uporabi višeslonog perceptrona primienen e na prethodno kodirane znakove koi čine ulaz u MLP modul za raspoznavane. Raspoznavane znakova tablica pomoću MLP-a, uz prethodno kodirane, dio e Automatskog sustava za lokalizaciu i raspoznavane znakova tablica vozila [5]. Proces učena Baza znakova učene UNM slika Lokalizacia položaa tablice kodirane raspoznavane binarizacia segmentacia Proces raspoznavana Raspoznati znakovi Slika 18. Sustav za raspoznavane tablica vozila [5] Blok shema sustava (slika 18.) sastoi se od dva osnovna procesa: procesa učena i procesa raspoznavana. Proces učena sastoi se uglavnom od stvarana baze kodiranih znakova tablica i učena višeslone neuronske mreže korištene za identifikaciu. Proces raspoznavana sastoi se od lokalizacie tablice vozila unutar slike vozila, binarizacie tablice, segmentacie simbola (bročanoslovčanih znakova), kodirana segmentiranih simbola i raspoznavana znakova korištenem MLP-a, čii su parametri definirani u procesu učena. Tiekom procesa učena stvorena e baza kodiranih znakova tablica (slika 19.) segmentacia znakova binarizacia redukcia šuma kodirane Slika 19. Stvarane baze znakova [5] Sam proces kodirana izoliranih bročano-slovčanih znakova prikazan e po fazama na slici / 104

38 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner binarna slika redukcia šuma pridruživane koda eliminacia bielih granica izdvaane 12 vektora osobina serie od 12 kodova Slika 20. Proces kodirana segmentiranih znakova [5] Nakon binarizacie uzorka, i eliminacie bielih granica, izdvaa se 12 karakterističnih linia (slika 21.) od koih se svaka sastoi od niza bielih piksela (vriednost 1) i niza crnih piksela (vriednost 0), koi generirau vektor binarnih vriednosti. Tako e svaki uzorak opisan sa 12 vektora binarnih vriednosti. Prie samog pridruživana kodova, provodi se i redukcia šuma kod koe se eliminirau slučane poave kraćih nizova crnih ili bielih piksela (slika 22.) Slika vektora binarnih vriednosti dobivenih izdvaanem 12 linia slike znaka [5] šum Slika 22. Princip uklanana šuma (a) linia sa šumom (b) linia nakon uklanana šuma [5] Nakon uklanana šuma, svaki vektor uspoređue se sa 23 koda (slika 23.) gde su redovi kodirani ovisno o kombinacii crno-bielih nizova. Simboli 'n+b+n', 'b+n+d' sa desne strane svakog koda označavau kombinaciu svakog niza, gde e 'n' oznaka za niz crnih, a 'b' za niz bielih piksela. Tako npr. 'n+b+n' označava kombinaciu niza crnih, zatim bielih, pa opet crnih piksela. Simboli n i b označavau da u dotično kombinacii nizova upravo ta niz ima veću dulinu od ostalih u kombinacii. Tako npr. kodovi 8 i 9 imau istu kombinaciu, no u kodu 8 prvi bieli niz e duli, dok e u kodu 9 duli drugi niz bielih piksela. Ovakova primena kodirana omogućue razlikovane između znakova sa određenim sličnostima, primerice 1 i 7 ili U i V. 37 / 104

39 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Slika 23. Kodovi korišteni za kodirane znaka tablice [5] Slika 24. prikazue 4 različita uzorka simbola 7, a tablica 5. pokazue rezultate kodirana za prikazana četiri uzorka. Slika 24. Uzorci broa 7 pribavleni sa 4 različite tablice [5] uzorak kodovi Tablica 5. Nizovi kodova gore prikazana 4 uzorka broa 7 [5] Korištenem kodova generiranih u prethodnim procesima kao uzorcima za učene, trenirau se dva višeslona preceptrona, edan za raspoznavane 10 znamenaka a drugi za raspoznavane 23 slova abecede korištene na registarskim tablicama [5]. Struktura prvog MLP-a e: 12 neurona u ulaznom slou, 10 u skrivenom slou i 10 neurona u izlaznom slou. Drugi MLP sastoi se od 12 neurona ulaznog sloa, 15 neurona u skrivenom slou i 23 u izlaznom slou. Ovde 12 neurona u prvim sloevima višeslonih perceptrona odgovara 12 elemenata (kodova) korištenih za kodirane poedinog uzorka, dok 10 i 23 neurona izlaznog sloa predstavla 10 broeva i 23 slovna znaka koa mreža raspoznae. 38 / 104

40 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 4.2. Korištene višeslonog perceptrona za raspoznavane rukom pisanih slovnih znakova [6] Višesloni perceptron koristi se i u postupku raspoznavana rukom pisanih znakova (optical character recognition OCR). Cieli sustav e vrlo složen i obuhvaća razne faze pretprocesirana i obrade uzoraka, a u svrhu ovoga prikaza od interesa e neposredni prethodni korak izdvaana osobina uzoraka i sam proces raspoznavana korištenem MLP-a. Nakon digitalizacie dokumenata sa tekstom za raspoznavane, prethodnog stanivana linia poedinog znaka sliedi izdvaane značaki (osobina, features) [6]. Zadna faza izdvaana značaki uklučue nihov odabir. Početni skup podataka uzorkovan za raspoznavane znakova sastoi se od ukupno 1115 uzoraka za 52 klase [6]. Otprilike e 21 uzorak svake klase ekvivalentan ukupnom brou od 21 različitog pisca (autora pisanog alfanumeričkog znaka). Kvaliteta znakova varira od lošeg i slabo čitlivog rukopisa, sve do vrlo preglednog i asnog teksta. Kako bismo razumeli građu uzorka, potrebno e razasniti kako se obrađue slika poedinog znaka. Za svaku sliku znaka, prvo se pronađu slobodni kraevi. Pokretni okvir fiksne veličine koristi se za prolazak cielom slikom i pronađeni primitivi (točka prekida, ravna linia, krivula, i sl.) (slika 25.) u različitim položaima okvira pohranuu se korištenem stoga. Kada se nađe edan od primitiva, sustav sliedno bileži negov kod prilikom pomicana okvira iz ednog položaa u drugi. U nekim položaima prozora gde nema primitiva, sustav bileži "prazan" kod. Uzorak e tako u osnovi niz primitiva nađenih sliednim pomicanem okvira. linia otvorena krivula zatvorena krivula Slika 25. Primitivi osobina korišteni u ovom sustavu [6] Tako e za učene neuronske mreže prikupleno ukupno 7 ulaznih variabli koe označavau prisutnost spomenutih primitiva. Za vektor P = { x 1, x 2, Kx 7 }, x i predstavla kod primitiva nađenog u i-tom položau pokretnog okvira. Svaka klasa u postupku raspoznavana znakova predstavla poedino slovo abecede sa prvih 26 klasa koe predstavlau mala slova (a z) i drugih 26 klasa koe predstavlau velika slova (A Z) [6]. Podaci su sada pripremleni za analizu neuronskom mrežom. Variable su skalirane na vriednosti u intervalu [ 0,1] za dobro učene, čime e osigurano da različite ulazne variable merene na različitim različivostima igrau ednaku ulogu u procesu učena. Za svaki ulazni vektor P = { x 1, x 2, Kx 7 }, želeni izlaz predstavlen e kao vektor { t1, t2, K t52}. Ovde x i ( 1 i 7) predstavla i-to ulazno merene a t ( 1 52) e želeni izlaz mreže sa učene s učitelem (nadgledano učene). Na primer, ako e t = 1 1 a svi ostali t su 0, tada e ulazni uzorak 'a'. Slično, ako e t = 2 2 i svi ostali t su 0, tada ulazni uzorak predstavla 'b'. Podaci konačno predstavleni 39 / 104

41 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner neuronsko mreži u procesu učena sastoe se od 1115 ulaznih uzoraka sa pripadnim želenim odzivima. Za raspoznavane znakova korištena e višeslona neuronska mreža višesloni perceptron (MLP) čia e struktura prikazana na slici 26. x 1 ulazni slo skriveni slo c 1 izlazni slo x 2 c 2 x 3 c 51 x 7 h c 52 Slika 26. Višesloni perceptron 7 x 120 x 52 arhitekture za rešavane problema raspoznavana rukom pisanih znakova [6] MLP korišten u ovom sustavu može se opisati kao 7 h 52 konfiguracia, gde h predstavla ukupni bro čvorova (neurona) skrivenog sloa mreže. 7 e bro ulaznih variabli a 52 predstavla ukupni bro izlaznih klasa [6]. Eksperimentalnom analizom utvrđeno e da e za ova konkretni problem raspoznavana znakova potrebno 120 čvorova skrivenog sloa ( h =120), uz namanu grešku generalizacie. Pri odabiru prikladne arhitekture mreže, korišten e postupak učena algoritmom propagacie unatrag sa momentom. Ova e metoda odabrana radi svoe ednostavnosti i zato što e uspešno primienena na niz prethodnih problema raspoznavana. Algoritam koristi dva eksperimentalno određena parametra, brzinu učena η i moment µ. Eksperimentima i smernicama iz literature odlučeno e da sustav koristi η = i µ = 0. 9 [6]. 40 / 104

42 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 4.3. Neizraziti višesloni perceptron [7] Obično, u kovencionalnim višeslonim perceptronima (Rumelhart et al , Haykin 1998 [3]), bro čvorova u ulaznom slou odgovara brou klasa uzoraka. U takvo neuronsko mreži, "metoda pobednika" ("winner-take-all" metoda koa pridružue 1 pobedničkom neuronu, a 0 svima ostalima) može se koristiti tiekom faze učena mreže. Za razliku od ovog klasičnog MLP-a, neizraziti MLP pridružue želene vriednosti pripadnosti (određene ugradnom i primenom koncepata neizrazitog računarstva) izlaznim čvorovima tiekom postupka učena, umesto odabirana binarnih vriednosti kao u metodi pobednika (Pal i Mitra 1992) 21. Zatim se greške propagirau unatrag mrežom u odnosu na želene vriednosti pripadnosti kao neizraziti želeni odziv mreže. Ova postupak omogućue mreži da učinkovitie klasificira neizrazite uzorke sa preklapaućim granicama klasa. U neizrazitom modelu MLP-a, predloženom od (Pal i Mitra) 21, metoda izračunavana neizrazitog želenog odziva označena e prikladnom za obradu slika sa sivim razinama i slika u boi. S druge strane, alternativni način proračunavana neizrazitog želenog izlaza za neizraziti MLP opisan e u Canuto et al.(1999) 22. Za razliku od prethodne metode, ova e metoda prikladna za binarne uzorke. Neizraziti MLP predložen u Canuto et al. (1999) 22 dodae parametar u ednadžbu promene težinskih faktora veza među neuronima. Ova parametar opisue stupan neodređenosti, neasnosti uzorka tiekom procesa učena i time omogućue izbegavane situacia gde neasni uzorci uzrokuu preveliki uteca na proces promene težina. Osnovna e idea proračunati iznos razlike između vriednosti pripadnosti naviše klase i vriednosti pripadnosti druge naviše klase. U Canuto et al. 22 dolazi se do zaklučka da neizraziti MLP postiže bole performanse od klasičnog, konvencionalnog MLP-a pri raspoznavanu rukom pisanih znamenaka. 41 / 104

43 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 5. Opis programskog sustava za raspoznavane i klasifikaciu registarskih tablica 5.1. Slikovna baza registarskih tablica Slikovnu bazu registarskih tablica čini 512 snimaka automobila, t. vozila snimlenih u različitim uvetima (za suhog vremena, po danu, u sumrak, za kišnog i tmurnog vremena). Sve su fotografie snimlene digitalnim fotoaparatom OLYMPUS CAMEDIA C-2040 ZOOM. Veličina poedine snimke e 640x480 piksela (slikovnih elemenata), u JPEG formatu. Za potrebe prikaza u ovome radu prikazane slike su smanene. Slikovnu bazu čine uglavnom snimke automobila, uz nekoliko snimaka kamiona t. teretnih vozila te "kombia" odnosno vozila za prievoz robe, i autobusa. Primeri snimaka iz slikovne baze: dobri uveti, suho vrieme 42 / 104

44 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner "neregularne" oznake država, više različitih nalepnica slabo vidlive registarske tablice (sena) 43 / 104

45 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner slabo vidlive registarske tablice (sena) tablice drugih boa znakova i pozadine 44 / 104

46 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner prlave tablice kiša, lošii uveti snimana 45 / 104

47 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner mrak (slikane uz uličnu rasvetu) kosi snimci 46 / 104

48 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner vozila bez oznake države, vozila s reklamama kamioni, autobusi 47 / 104

49 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 5.2. Predobrada slika Predobrada snimaka (slika 27.) iz slikovne baze započine primenom edne od metoda pretvarana slike u boi u sliku sa sivim tonovima (sive "razine"). Na slike e primenena metoda globalnog rastezana kontrasta ("End-in search" metoda) što uglavnom dae dosta dobre rezultate u smislu pobolšana vidlivosti registarskih pločica i nalepnica sa oznakom država. Navedena metoda rastezana kontrasta radi na principu da se zadani postotak ( k = 15) natamniih slikovnih elemenata u slici preslikau u crno (vriednost 0), a isti ta postotak nasvetliih slikovnih elemenata u bielo (vriednost 255). Nad ostalim sivim razinama provodi se klasično rastezane kontrasta prema formuli: nova_siva_ razina siva_razina min = 255 max min gde su min i max namana i naveća siva razina prisutna u slici. Primeri snimaka * nakon pretvarana u sive razine: ContrastStretch(15) ContrastStretch(15) * prikazane slike sa sivim razinama rezultat su rada kolegice Vlaste Srebrić, op.a. 48 / 104

50 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner ContrastStretch(15) ContrastStretch(15) Sliedeću fazu u postupku pretprocesirana čini ručno izdvaane ("crop") područa sa slike koe sadrži nalepnicu oznake države (ako takove ima) i samu registarsku tablicu. Izdvaane želenog područa izvedeno e pomoću programskog sustava za obradu slike ADOBE Photoshop 7.0, korištenem alata Crop Tool. Postupak e ponovlen za svaku sivu sliku iz slikovne baze. Primeri rezultata ručnog izdvaana područa registarske tablice i nalepnice države (primeri su originalne veličine te se može uočiti da nisu sve tablice i nalepnice ednakih dimenzia neka su vozila snimlena izbliza, neka iz malo dalega): 49 / 104

51 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner primeri ručno izdvoenih područa sa registarskim tablicama primeri ručno izdvoenih nalepnica oznaka države 50 / 104

52 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Zatim e sa svake ovako dobivene slike ručno izoliran svaki (potencialni) alfanumerički znak originalne veličine (neki su znakovi mani, neki veći), bez rotirana kosih znakova: Nakon toga svi su znakovi normalizirani na veličinu 20x32 piksela pomoću već spomenutog programskog sustava. Sada su svi znakovi ednakih dimenzia. Zadnu fazu predobrade slika čini, ponovno, ručno (znak po znak) binarizirane svakog poedinog znaka (poluautomatizirani proces u programskom sustavu ADOBE PhotoShop 7.0). Pri binarizacii t. pretvaranu znaka u crne i biele piksele ručno e određen napogodnii prag (threshold value) za sve znakove poedine tablice odnosno nalepnice zemle. Time e postignuto da su neki znakovi vidlivii nakon binarizacie nego na izdvoeno tablici, no također neki su znakovi, posebno nakon povećana na 20x32 piksela, postali mane raspoznatlivi. primeri uzoraka znakova spremnih za predstavlane MLP-u 51 / 104

53 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner primeri pripremlenih uzoraka znakova Od primene edinstvenog praga binarizacie svih znakova se odustalo er bi se time uvelike smanio skup ludskom oku koliko toliko prepoznatlivih znakova. Na ova način dobiven e skup od uzorka alfanumeričkih znakova pretvorenih prethodno opisanim postupcima u crnobiele slike (bitmape) i spremnih za dalni postupak raspoznavana i klasifikacie. Neke uzorke bilo e oš potrebno i invertirati (primerice biela slova znakova države na tamno podlozi prozirne nalepnice), što e izvedeno alatom Invert spomenutog programskog sustava za obradu slike. primeri uzoraka prie invertirana Nakon inverzie bielih slikovnih elemenata u crne, i obrnuto, uzorci su sada bili spremni za dalni proces klasifikacie. originalna slika pretvarane u sliku sa sivim tonovima izdvaane tablica i oznake država izolacia znakova normirane dimenzia 20x32 pixela binarizacia uzorak za raspoznavane Slika 27. Proces predobrade snimaka slikovne baze Kao što e vidlivo sa slike 27., predobrada slika vrlo e bitan, opsežan i složen proces u cielom sustavu automatskog raspoznavana i klasifikacie bročano-slovčanih znakova oznaka države i registarskih tablica vozila. Uspeh dalneg postupka učena i raspoznavana podosta ovisi o kvaliteti pripremlenih uzoraka, ali i o nihovo kvantiteti. Što e više uzoraka uspešno izolirano i predobrađeno, to e veća veroatnost ispravnog raspoznavana različitih uzoraka istih znakova. 52 / 104

54 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 5.3. Programska izvedba višeslonog perceptrona Višesloni perceptron implementiran e korištenem Microsoft Visual C razvonog programskog okružena, na principima i smernicama obektno orentiranog programirana (OOP). Navedeno razvono programsko okruže omogućue uporabu MFC klasa (Microsoft Foundation Classes ) kao posebnog skupa obektnih klasa prikladnih za implementaciu različitih problema. Tako su upravo MFC klase poslužile kao programski okvir za implementaciu višeslonog perceptrona. Programski sustav za raspoznavane i klasifikaciu registarskih tablica uporabom višeslonog perceptrona izveden e u obliku dialoških prozora glavna dialoška forma (glavni prozor) predstavla osnovni okvir kostur - programa (slika 28.). Korištenem poedinih aktivnih dialoških komponenti (gumba, područa za ispis teksta i iscrtavane slika, checkboxes i sl.) izvedena e interakcia između programa i korisnika. područe za prikaz slika poedinog znaka koi se predstavla višeslonom perceptronu prikaz rezultata raspoznavana znakova oznake država i znakova registarske poedine tablice područe za ispis informacia tiekom postupka učena MLP-a odabir tablice kou treba raspoznati inicializacia mreže slučanim ili u prethodnom procesu učena podešenim težinama pokretane procesa učena mreže, uz prethodno definirane parametara učena otvarane i prikaz slike znaka ili tablice Slika 28. Osnovna dialoška forma programske izvedbe MLP klasifikatora uz funkcionalni opis nekih elemenata sučela 53 / 104

55 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Struktura perceptrona Višeslona neuronska mreža korištena za raspoznavane bročano-slovčanih znakova predstavla trosloni perceptron acikličku potpuno povezanu troslonu mrežu konfiguracie neurona po poedinom slou (slika 29.). ulazni slo 640 (32x20) čvorova skriveni slo 20 čvorova izlazni slo 38 čvorova 0 1 slika 32 x 20 piksela 2 Z Ž Slika 29. Struktura višeslonog perceptrona MLP korišten u ovom sustavu sastoi se, dakle, od 3 sloa ulazni slo od 640 ulaznih čvorova, sredni (skriveni) slo od 20 neurona i izlazni slo od 38 izlaznih čvorova mreže. Izlaz svakog čvora mreže predstavla ulaz u sve čvorove sliedećeg sloa. Upravo ova karakteristika čini mrežu potpuno povezanom (svaki neuron ednog sloa povezan e sa svakim neuronom sliedećeg sloa). Mreža e aciklička utoliko što ne postoe direktne povratne veze među neuronima (primerice, ne postoi veza izlaza skrivenog neurona sa ulazom u neuron prvog sloa). Indirektno, signal greške propagira se mrežom unatrag tiekom procesa učena algoritmom propagacie greške unatrag kroz mrežu (error back-propagation). Na ulaz 640 neurona ulaznog sloa predstavla se ulazni vektor binarnih vriednosti svakog piksela (slikovnog elementa) slike uzorka za učene i klasifikaciu. 38 neurona izlaznog sloa predstavla izlazne klase u koe e svaki od uzoraka raspoznat (tablica 6.): znamenke 0 9 (10 neurona) velika slova engleske abecede A Z, bez slova Q (25 neurona) velika slova Č, Š, Ž (3 neurona) 54 / 104

56 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner bro klase (izlaznog neurona) znak koi klasa predstavla A 11 B 12 C 13 Č 14 D 15 E 16 F 17 G 18 H bro klase (izlaznog neurona) znak koi klasa predstavla 19 I 20 J 21 K 22 L 23 M 24 N 25 O 26 P 27 R 28 S 29 Š 30 T 31 U 32 V 33 W 34 X 35 Y 36 Z 37 Ž Tablica 6. Prikaz svih klasa i znakova koe poedina klasa predstavla Postupak klasifikacie Nakon završenog postupka učena višeslonog perceptrona i nakon podešavana težinskih faktora veza među neuronima mreže, implicitno znane o naučenim uzorcima pohraneno e upravo u iznosima tih težinskih faktora. Sada e moguće pristupiti klasifikacii ostalih uzoraka bročanoslovčanih znakova. ponavla predstavi uzorak znaka ulaznom slou MLP-a; propagira funkciski signal kroz mrežu sve do izlaza; odredi klasu s navećim iznosom izlaza i klasificira uzorak u tu klasu; za svaki uzorak iz skupa za klasifikaciu 55 / 104

57 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Skup uzoraka za učene i skup uzoraka za testirane Skup uzoraka za učene S U čini 20 različitih uzoraka poedinog znaka izdvoenih procesom predobrade sa 512 snimaka automobila ukupno 38*20 = 760 uzoraka. No ipak, neki uzorci za učene su redundantni primerice uzorci znaka W, X, Y, Č ili Ž kod koi se u skupu poavlue više instanci istoga uzorka za učene. Ovo e sluča samo sa navedenim znakovima koi nisu bili zastupleni u dovolno meri na registarskim tablicama automobila iz slikovne baze. Kako su u skupu svih izoliranih znakova (4.243 uzoraka) poedini znakovi zastupleni s različitim broem uzoraka, tako e procenom odabran bro od 20 uzoraka poedinog znaka za učene. Primeri uzoraka (nekih znakova) iz skupa za učene: uzorci znaka 1 uzorci znaka 2 uzorci znaka 4 uzorci znaka B uzorci znaka K uzorci znaka G uzorci znaka I 56 / 104

58 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner uzorci znaka 6 uzorci znaka H uzorci znaka R uzorci znaka Z Skup uzoraka za testirane S T čini 10 uzoraka po znaku - ukupno 38*10 = 380 uzoraka. Također su neki uzorci redundantni (za znakove W, X, Y, Č i Ž) te se preklapau sa uzorcima za učene. Izuzev tih uzoraka vriedi S S = U T Primeri uzoraka (nekih znakova) iz skupa za testirane: uzorci znaka 4 uzorci znaka R uzorci znaka K uzorci znaka 1 uzorci znaka Z 57 / 104

59 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 6. Ocena rezultata klasifikacie na velikom brou uzoraka Prethodno opisani višesloni (trosloni) perceptron učen e skupom za učene i nakon svakih 100 epoha učena (gde se u edno epohi mreži predstavlau svi uzorci iz skupa za učene), mreži e predstavlen testni skup uzoraka. Nakon ukupno 900 epoha postignuta e greška krivog raspoznavana testnih uzoraka od 10.7%. Eksperimentalnom analizom utvrđeno e da konkretni MLP ne pokazue tendenciu smanena greške raspoznavana testnih uzoraka ni nakon povećana broa epoha. Parametri učena perceptrona: 20 uzoraka svakog poedinog znaka iz skupa za učene 10 uzoraka svakog poedinog znaka iz skupa za testirane moment učena α = brzina učena η = Ovako naučeni višesloni perceptron korišten e u dalno klasifikacii bročano-slovčanih znakova ispitne baze. Oblikovane i izbor ispitne baze Ispitna baza tablica i pripadnih oznaka država oblikovana e imaući na umu obuhvatiti snimke tablica različitih kvaliteta, tablica različitih uveta snimana, tablica atipičnog formata (primerice tablice kvadratnog oblika), kosih tablica, tablica sa teško raspoznatlivim i vrlo distorziranim oznakama država, tablica stranih država (er uglavnom koriste bročano-slovčane znakove drugačieg oblika "fonta"), tablica sa neodgovaraućim oznakama države (primerice tablica e nemačka, a nalepnica države HR pri analizi rezultata raspoznavana tablica i oznaka države ovakva e kombinacia proglašena krivo raspoznatom), tablica bez oznaka države, ali također i čitlive i asne tablice. Ovim odabirom želelo se obuhvatiti što raznovrsnii skup tablica različitih kvaliteta od koih neke čak i ludskom oku predstavlau problem pri raspoznavanu dio znaka ednostavno nedostae, ili se radi o pogrešnom znaku, ili lošo kombinacii boa nalepnice (primerice crno slovo D na boama zastave države) i sl. Primeri tablica i oznaka države iz ispitne baze: primeri uzoraka tablica sa neraspoznatlivim ili vrlo distorziranim oznakama države 58 / 104

60 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner primeri uzoraka tablica sa neraspoznatlivim ili vrlo distorziranim oznakama države primer čitlive i dobre tablice sa pripadnom oznakom države primer tablica sa neodgovaraućim oznakama država primer tablica atipičnih dimenzia (kvadratične dimenzie) primer tablice stranih zemala 59 / 104

61 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner primer tablica bez oznaka države Rezultati klasifikacie Višeslonom perceptronu (slika 29.) predočeno e ukupno različitih uzoraka iz skupa za raspoznavane koi čine svi uzorci i skupa za učene sa pridodanim uzorcima skupa za ispitivane. Od toga broa, točno e klasificiranih uzoraka što čini statistički pokazatel od 86,2% točno raspoznatih i pravilno klasificiranih bročano-slovčanih znakova (tablica 7). Dobiveni rezultati raspoznavana poedinačnih znakova pokazuu da mreža ima poteškoća pri raspoznavanu sličnih znakova primerice 0 ili O, 1 ili I, 8 ili B, 6 ili G i sl. Također, dosta veliki negativan uteca ima i sličnost klasa S i Š, C i Č, te Z i Ž. Razlika između poedinih uzoraka e ponekad vrlo mala (svega nekoliko slikovnih elemenata) te stoga mreža teško raspoznae, odnosno krivo klasificira navedene parove. Primiećena e česta misklasifikacia broa 1 koi se klasificira kao I, te broa 0 koi se klasificira kao O. Obrnuta misklasifikacia O u 0, i I u 1 e ređa. Neki od ovih problema riešeni su uporabom sintaksne analize tablica, ponaprie tablica od većeg interesa hrvatskih registarskih tablica i oznaka države HR. klasa uzorka ukupan bro uzoraka poedinog znaka 1000 epoha, 5 uzoraka po znaku, moment = 0.03, brzina učena = 0.03 bro točno klasificiranih uzoraka 1000 epoha, 10 uzoraka po znaku, moment = 0.025, brzina učena = epoha, 20 uzoraka po znaku, moment = 0.05, brzina učena = A B / 104

62 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner klasa uzorka ukupan bro uzoraka poedinog znaka 1000 epoha, 5 uzoraka po znaku, moment = 0.03, brzina učena = 0.03 bro točno klasificiranih uzoraka 1000 epoha, 10 uzoraka po znaku, moment = 0.025, brzina učena = epoha, 20 uzoraka po znaku, moment = 0.05, brzina učena = C Č D E F G H I J K L M N O P R S Š T U V W X Y Z Ž ukupno postotak točno raspoznatih uzoraka 72,6% 79,8% 86,2% Tablica 7. Prikaz rezultata raspoznavana svih uzoraka znakova, promenom parametara učena i veličine skupa za učene; podeblano predstavla MLP korišten u dalnem raspoznavanu tablica Tablica 7. prikazue različite iznose ukupno uspešno raspoznatih i klasificiranih bročanoslovčanih znakova, za različit odabir parametara učena i veličine skupa za učene. Pokazue se vrlo bitnim koristiti što veći skup uzoraka za učene sa što reprezentativniim uzorcima poedinog znaka. Ako su uzorci poedinog znaka preslični, mreža će teže generalizirati, odnosno "upamtiti" će upravo te uzorke i teže raspoznati nešto drukčii uzorak istog znaka. 61 / 104

63 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Klasifikacia znakova registarskih tablica i pripadnih oznaka država (nalepnica) izvedena e prema slici 30. Postupak se ponavla za svaku registarsku tablicu i pripadnu oznaku države iz ispitne baze. MLP klasifikator uzorak (slika) predstavi uzorak na ulaz mreže propagacia signala kroz mrežu odredi klasu 'X' s navećim izlazom klasificira uzorak kao 'X' klasificirani znak da Postoi li oš znakova za klasifikaciu? ne Pripada li znak tablici? da ne H R raspoznati znakovi oznake države kra klasifikacie tablice Z G L C raspoznati znakovi tablice Slika 30. Blok diagram postupka klasifikacie bročano-slovčanih znakova registarskih pločica i pripadnih oznaka države Od ukupno 407 registarskih tablica sa pripadnim oznakama države (koih e ukupno 243) ova sustav pravilno klasificira sve znakove tablice i sve znakove oznake države u 43.5% slučaeva (177 tablica i pripadnih oznaka država). Dobiveni rezultat uklučue postotak istodobno pravilno klasificiranih i znakova tablica i znakova oznake države što nie uviek sluča. Ponekad su znakovi države ednostavno neprepoznatlivi te u tom slučau iako e tablica ispravno klasificirana, ne ulazi u bro ukupno točno klasificiranih tablica i oznaka država. To e dielom razlog relativno niskom uspehu raspoznavana. Ako se uspešnost klasificirana znakova promatra zasebno za znakove tablica, i za znakove oznake države, tada e ona nešto veća i iznosi 54.5% (222 pravilno raspoznate tablice). Tablica se smatra krivo klasificiranom ako e barem edan znak tablice krivo klasificiran. Za oznake država uspešnost raspoznavana iznosi 65.4% (od ukupno 243 točno e raspoznato 159 oznaka država). Kao i za tablicu, oznaka države se smatra krivo klasificiranom ako e barem edan znak oznake države krivo klasificiran. Iako su sami uzorci oznaka države uglavnom slabie kvalitete i ludskim okom teže raspoznatlivi od znakova tablica, postotak raspoznavana samo oznaka država e veći od raspoznavana samo tablica (65.4% u odnosu na 54.5%). Razlog leži dielom u brou znakova koi čine oznaku države. Dok poedina tablica može sadržavati do 8 znakova, oznaka države sadrži namane 1 a naviše 3 znaka. Time e mogućnost krivog raspoznavana znakova tablice veća (er MLP može do 8 puta pogriešiti u raspoznavanu, odnosno mora do 8 puta točno klasificirati poedini znak), dok za oznaku države MLP može pogriešiti naviše triput, odnosno do 3 puta mora točno klasificirati znak. 62 / 104

64 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Primeri točno raspoznatih tablica i oznaka država: 63 / 104

65 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Na gorno slici prikazana oznaka države n/a (not applicable) ednostavno označava da za dotičnu tablicu ne postoe znakovi oznake države. Primer nepravilno raspoznate registarske tablice i/ili oznake države: Iz slike uzoraka i rezultata raspoznavana vidlivo e da problem binarizacie uzoraka uvelike uteče na uspešnost raspoznavana. Vrlo loš uzorak broa 0 raspoznat e kao U (što upućue na dobru klasifikaciu er e ovakav uzorak stvarno sličnii U nego 0), te e 7 raspoznat kao Z. Znak 6 e pravilno raspoznat. 64 / 104

66 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Primeri nepravilno raspoznatih registarskih tablica i/ili pripadnih oznaka države (gde postoi): Iz gornih primera može se primietiti nepravilno raspoznavane uzoraka znaka Z, koi se u određenom brou slučaeva raspoznae kao Ž. Isti sluča e i sa uzorcima znaka 1 koi su raspoznati kao I, te uzorcima znaka 0 koi su raspoznati kao O. 65 / 104

67 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Primeri nepravilno raspoznatih registarskih tablica i/ili pripadnih oznaka države (gde postoi): Gore prikazani primer pokazue da mreža nepravilno raspoznae "kose" uzorke, uz poneki uzorak pravilno raspoznat (primerice H, S ili F). 66 / 104

68 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 7. Sintaksna analiza registarskih pločica Sintaksna analiza bročano-slovčanih znakova registarskih pločica i oznaka države uvodi se radi pobolšana postupka raspoznavana kako samih znakova tako i registarske tablice kao celine. Pobolšane postupka raspoznavana očitue se u ispravlanu nepravilno klasificiranih znakova, primerice kod oznake države umesto HR raspoznato e H8. Korištenem sintaksne analize bro 8 se u tom slučau raspoznae kao R, i sl Registarske oznake država Europe [8] Internacionalna Standardizaciska Organizacia u Berlinu definirala e dvie liste oznaka čia e uloga ednoznačno odrediti države, teritorie, i sl. u situaciama poput raspoznavana vozila i aviona, te identificirati nacionalnost osoba na sportskim turnirima i sl. ISO-2 lista sadrži ednoslovne, dvoslovne i troslovne oznake, dok ISO-3 lista sadrži isklučivo dvoslovne oznake. Sve do početka godine Rumunska e bila edina zemla koa e promienila svo identifikaciski kod vozila u ISO kod, no uz poavu novih država, neke su države prihvatile ISO-2, a neke ISO-3 identifikaciske oznake. Država (izvorno ime) Internacionalna oznaka (ISO-2) ISO oznaka (ISO-3) Austria (Österreich) A AT Albania (Shqipëria) AL AL Andora (Andorra) AND AD Belgia (België / Belgique) B BE Bugarska (България) BG BG Bosna i Hercegovina BIH BA Švicarska (Confoederatio CH CH Helvetica) Češka Republika (Česká CZ CZ Republika) Nemačka (Deutschland) D DE Danska (Danmark) DK DK Španolska (España) E ES Estonia (Eesti Vabariik) EST EE Francuska (France) F FR Finska (Suomi/Finland) FIN FI Lihtenštan (Fürstentum FL LI Liechtenstein) Uedineno Kralevstvo (Great GB GB Britain) Grčka (Ελλασ) GR GR Mađarska (Magyorarszág) H HU Hrvatska HR HR Italia (Italia) I IT Irska (Éire) IRL IE 67 / 104

69 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Država (izvorno ime) Internacionalna oznaka (ISO-2) ISO oznaka (ISO-3) Island (Ísland) IS IS Luksemburg (Luxembourg) L LU Litva (Lietuvos Respùblika) LT LT Latvia (Latvia) LV LV Malta M MT Monako (Monaco) MC MC Makedonia MK MK Norveška (Norge) N NO Nizozemska (Nederland) NL NL Portugal P PT Polska (Polska) PL PL Rumunska (România) RO RO San Marino (Repubblica di San RSM SM Marino) Švedska (Sverige) S SE Slovačka (Slovensko) SK SK Slovenia SLO SI Turska (Türkiye) TR TR Vatikan (Stato della Città del V VA Vaticano) Jugoslavia YU YU Tablica 8. Države Europe uzete u razmatrane sintakse registarskih tablica, sa pripadnim internacionalnim oznakama po ISO-2 i ISO-3 standardu [8] Internacionalna oznaka (ISO-2): Internacionalna identifikaciska slova (1 3 slova) * "Razlikovni znakovi vozila u internacionalnom prometu definirani od Glavnog Tanika Uedinenih Naroda u skladu sa Konvenciom o cestovnom prometu 1998." od ISO oznaka (ISO-3): Za razliku od Internacionalnih identifikaciskih oznaka, ISO-2 oznake pokrivau skoro sve moguće urisdikcie. Korištenem dvoslovnih oznaka nastoi se oš više standardizirati format oznaka države. U ovom diplomskom radu, od interesa su ISO-2 internacionalne oznake država (tablica 8.), er ISO-3 standard oš nie u potpunosti zaživio u svim zemlama. Dalna sintaksna analiza i gramatički opis sintakse registarskih tablica poedine zemle temele se upravo na tim (tradicionalnim) internacionalnim oznakama koe su već duže vrieme u upotrebi. Sintaksnom analizom registarskih tablica vozila i internacionalnih oznaka država obrađeno e 40 europskih zemala (slika 31.). Analizom su obuhvaćene različite serie registarskih tablica sa pripadnim formatima. Uz normalnu seriu, opisane su i tablice drugih seria (službena, prethodna seria starii formati, privremene tablice, strane tablice, diplomatske tablice i dr). 68 / 104

70 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Slika 31. Zemlopisni prikaz država Europe uzetih u razmatrane, sa pripadnim oznakama registarskih tablica Sinaksnom analizom, u dalnem tekstu, obrađuu se Hrvatska (HR), Slovenia (SLO), Bosna i Hercegovina (BIH), Italia (I), Austria (A), Mađarska (H), San Marino (RSM), Vatikan (V), Jugoslavia (YU), Francuska (F), Monako (MC), Švicarska (CH), Lihtenštan (FL), Nemačka (D), Češka (CZ), Slovačka (SK), Makedonia (MK), Albania (AL), Andora (AND), Španolska (E), Luksemburg (L), Belgia (B), Nizozemska (NL), Velika Britania (GB), Irska (IRL), Danska (DK), Polska (PL), Rumunska (RO), Bugarska (BG), Grčka (GR), Malta (M), Portugal (P), Island (IS), Norveška (N), Švedska (S), Finska (FIN), Estonia (EST), Latvia (LV), Litva (LT) i Turska (TR). 69 / 104

71 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 7.2. Formati registarskih tablica država Europe [8] Redoslied sintaksne analize registarskih tablica poedinačnih zemala Europe određen e geografskim položaem u odnosu na Republiku Hrvatsku (prvo su obrađene geografski bliže a zatim dale zemle) (slika 31.). Formati registarskih tablica poedine zemle opisani su formalnom gramatikom G kao G = V, T, P, S gde e uređenom četvorkom ( ) V - skup nezavršnih znakova gramatike T - skup završnih znakova gramatike koi čine broevi i slova (bročano-slovčani znakovi), zaedno sa oznakom boe znakova, odnosno pozadine, koa također čini bitan dio formata registarskih pločica poedini formati vezani su uz poedinu kombinaciu boa znakova/pozadine, primerice A, B, C,... K,... X, Y, Z, Ž, 0, 1, 2, , c, b, ž, r, p, z, s, n, gde mala slova predstavlau oznaku boe tako cb označava crne znakove na bielo podlozi, crb crvene znakove na bielo podlozi, a žp žute znakove na plavo podlozi; pcb označava kombinaciu plavih i crnih znakova na bielo podlozi i sl. P - skup produkcia gramatike koim se geneririau svi mogući formati registarskih pločica, zaedno sa informaciom o boi S - početni nezavršni znak gramatike i vriedi V T =. 70 / 104

72 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner HR - HRVATSKA ( V, T, P S ) GHR = HR HR HR, S e početni nezavršni znak V HR = {S, A, B, C, α, β, γ, δ} T HR = {A, B, C, Č, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, Š, T, U, V, Z, Ž, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, z, ž, p, r} P HR - skup produkcia: S cb C cb δδ cb αδγ cb αββa S cž αδβ žp δaδ zb C crb C C αδa αδβ αγγa αγγβ αββb α BJ BM ČK DA DE DJ DU GS IM KA KC KR KT KŽ MA NA NG OG OS PS PU PŽ RI SB ŠI SK ST VK VT VU VŽ ZD ZG ŽU β AA γ BB δ γb A A B C D E F G H I J K L M N O P R S T U V Z B SLO - SLOVENIJA G ( V, T, P S ) = S e početni nezavršni znak SLO SLO SLO SLO, V = {S, A, B, C, D, E, α, γ, δ} SLO T SLO = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, T, U, V, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, n, p, r} P SLO - skup produkcia: S pb Aγδ cb C cb D cb DE cb DEE S cn αγab cn αγaγ crb C bc αγδ C αγγa αabγa αabδ D EEEE E A B α CE GO KK KP KR LJ MB MS NM PO SG γ BB 71 / 104

73 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner δ γb A A B C D E F G H I J K L M N O P R S T U V Z B BIH BOSNA I HERCEGOVINA ( V, T, P S) GBIH = BIH BIH BIH, S e početni nezavršni znak V BIH = {S, A, B, α, γ, δ} T BIH = {A, B, C, Č, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, T, U, V, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, ž} P BIH - skup produkcia: S žc γaδ S cb αδa cb αδα cb αγγα cb δaδ α AA γ BB δ γb A A B C Č D E F G H I J K L M N O P R S T U V Z B I ITALIJA ( V, T, P S) GI = I I I, S e početni nezavršni znak V I = {S, A, B, C, α, γ, δ} T I = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, n, p} P I - skup produkcia: S cb C cb αδα S nbc C bc C pcb αδα C αbaγγ αγδa αδδ αaγδ α AA γ BB δ γb 72 / 104

74 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner A A B C D E F G H I J K L M N O P Q R S T U V W X Y Z B A AUSTRIJA ( V, T, P S ) GA = A A A, S e početni nezavršni znak V A = {S, A, B, C, α, γ, δ} T A = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, p, z} P A - skup produkcia: S cb C cb αb cb αγ cb αγb cb αγγ cb αγγb S bp C bz C S bc AB bc Aγ bc Aδ bc Aδδ bc AδAγ bc Aγγ bc AγγB bc αδδ bc αδaγ C AγδA AγγA AδA Aγα AγαA ABαA AAδ Aαδ AαAγ Aααγ AααAB αγγa αδa αγα αγαa αbαa α AA γ BB δ γb A A B C D E F G H I J K L M N O P R S T U V W X Y Z B H MAĐARSKA ( V, T, P S ) GH = H H H, S e početni nezavršni znak V H = {S, A, B, C, α, γ, δ} T H = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, p, r, ž} P H - skup produkcia: S cb C cb Aγδ cb AAγγ cb αaγ S cž Aγδ cž αaδ crb C bc C bp C C αγγ α AA 73 / 104

75 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner γ BB δ γb A A B C D E F G H I J K L M N O P R S T U V W X Y Z B RSM SAN MARINO G ( V, T, P S) = S e početni nezavršni znak RSM RSM RSM RSM, V = {S, A, B, α, γ, δ} RSM T RSM = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, Q, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, p, r} P RSM - skup produkcia: S pb γγ pb γγb pb Aδ pb Aγγ pb αaγδ S crpb Aδ crpb αγ crpb αaγ cb AδB α AA γ BB δ γb A A B C D E F G H I J K L M N O Q P R S T U V W X Y Z B V VATIKAN G ( V, T, P S ) = S e početni nezavršni znak V V V V, V = {S, A, B, α, γ, δ} V T V = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, Q, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, r} P - skup produkcia: V S cb αγγ cb αγδ cb αaγγ cb αaγδ crb αab crb αaγ α AA γ BB δ γb A A B C D E F G H I J K L M N O Q P R S T U V W X Y Z B / 104

76 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner YU JUGOSLAVIJA G ( V, T, P S) = S e početni nezavršni znak YU YU YU YU, V = {S, A, B, C, α, γ, δ} YU T YU = {A, B, C, Č, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, Š, T, U, V, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, r, p, ž} P YU - skup produkcia: S cb γγα cb γδα cb δγα cb δδα cb AδB cb C cb αδα S žc γaγ žc γaδ bp Aδδ bcr C C αγγ αγδ αδγ αδδ α AA γ BB δ γb A A B C Č D E F G H I J K L M N O P R S Š T U V Z B F FRANCUSKA ( V, T, P S ) GF = F F F, S e početni nezavršni znak V F = {S, A, B, C, D, E, α, γ, δ} T F = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, Q, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, r, z, ž, n} P F - skup produkcia: S bz C bz BAB bz BAγ bz BAδ bz γab bz γaγ bz γaδ bz γaγγ bz Baγγ S nz C nz BαB nz BαAB nz γαγ nz γαγb nz γαγγ nz γαab nz δαb nz δαγ nz δαδ nz δαγγ S bcr Bαγ bcr BαAγ bcr γαaγ bcr αaγγ bcr αaγδ bcr E S cb D cb γaγγa cb γααγ cb δαbγ cb δααγ cb γγαaγ S cž D bc D bc δαbγ D E γaγγa γαba γαaγ δαba γγγγ γγαba E γαγ δαγ δαaγ γγαγ C AδAB AδAγ AδAδ AδαB Aδαγ Aδαδ α AA 75 / 104

77 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner γ BB δ γb A A B C D E F G H I J K L M N O Q P R S T U V W X Y Z B MC MONAKO G ( V, T, P S) = S e početni nezavršni znak MC MC MC MC, V = {S, A, B, α, γ, δ} MC T MC = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, Q, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, r, p} P MC - skup produkcia: S pb γγ pb Aδ pb αγ bp γγαα crb αγ α AA γ BB δ γb A A B C D E F G H I J K L M N O Q P R S T U V W X Y Z B CH ŠVICARSKA G ( V, T, P S ) = S e početni nezavršni znak CH CH CH CH, V = {S, A, B, C, D, E, α, γ, δ} CH T CH = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, Q, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, s, z, ž, p} P CH - skup produkcia: S cb C cb D cb αba cb αγa cb αδa cb αγγa cb αγδa cb αδδa S bc D bc Aδδ cp C cs C cz C cž C bpcb E bzcb E C αb αγ αδ αγγ αγδ αδδ D AδB Aγδ E ααbb ααbγ ααbδ ααγb ααγγ ααγδ ααδb ααδγ ααδδ α AA 76 / 104

78 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner γ BB δ γb A A B C D E F G H I J K L M N O Q P R S T U V W X Y Z B FL LIHTENŠTAJN ( V, T, P S ) GFL = FL FL FL, S e početni nezavršni znak V FL = {S, A, B, C, α, γ, δ} T FL = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, Q, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, s, z, ž, p} P FL - skup produkcia: S cp C cs D cz C cž C bc C bc CA C αb αγ αδ αγγ αγδ α FL γ BB δ γb A A B C D E F G H I J K L M N O Q P R S T U V W X Y Z B D NJEMAČKA ( V, T, P S ) GD = D D D, S e početni nezavršni znak V D = {S, A, B, C, D, E, F, G, H, α, γ, δ} T D = {A, Ä, B, C, D, E, F, G, H, I, J, K, L, M, N, O, Ö, Q, P, R, S, T, U, Ü, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, s, z, p, r} P D - skup produkcia: S cb D cb AD cb DA cb ADA cb αd cb αda cb EB cb AEB cb αad cb αaca cb ααc cb ααfa cb αaγδ cb G cb H S bp γδ crb E crb AE crb αe crb G pb G S zb AD zb αd zb αad zb ααc zb G F AB Aγ 77 / 104

79 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner C Aδ F D Aγγ C E Aγγ Aγδ G δαa H γγ γδ δδ δδb α AA γ BB δ γb A A Ä B C D E F G H I J K L M N O Ö Q P R S T U Ü V W X Y Z B CZ ČEŠKA G ( V, T, P S ) = S e početni nezavršni znak CZ CZ CZ CZ, V = {S, A, B, C, D, E, α, γ, δ} CZ T CZ = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, T, U, W, V, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, r, z, ž, p} P CZ - skup produkcia: S cb γαγ cb γαaγ cb E cž D cž E zb C cz CB žp D crb αc C Aγγ D AC αc E δγγ α AA γ BB δ γb A A B C D E F G H I J K L M N O P R S T U V W X Y Z B / 104

80 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner SK SLOVAČKA G ( V, T, P S) = S e početni nezavršni znak SK SK SK SK, V = {S, A, B, C, α, γ, δ} SK T SK = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, r, z, ž, p} P SK - skup produkcia: S zb Cγ cb ACB cb ACα cb αc cb αcb S žp ACγ cž αc pb αc crb αc crž αc C Aδ α AA γ BB δ γb A A B C D E F G H I J K L M N O P R S T U V W X Y Z B MK MAKEDONIJA ( V, T, P S ) GMK = MK MK MK, S e početni nezavršni znak V MK = {S, A, B, α, γ, δ} T MK = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, Š, T, U, V, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, r, z, p} P MK - skup produkcia: S bc γaδ bc γαγ bc γαδ cb δδ cb αδα cb αδγ pb δδ crb αδα zb αδa bz αδα α AA γ BB δ γb A A B C D E F G H I J K L M N O P R S Š T U V Z B / 104

81 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner AL ALBANIJA ( V, T, P S) GAL = AL AL AL, S e početni nezavršni znak V AL = {S, A, B, C, α, γ, δ} T AL = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, T, U, V, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, z, ž} P AL - skup produkcia: S cb C cb γaγγ cb Aδα cb αγγ cb αγγa cb αγδ zb αγγ cž αγγa C B γ δ γγ α AA γ BB δ γb A A B C D E F G H I J K L M N O P R S T U V Z B AND ANDORA G ( V, T, P S ) = S e početni nezavršni znak AND AND AND AND, V = {S, A, B, C, α, γ, δ} AND T AND = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, T, U, V, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, z, p, r} P AND - skup produkcia: S crz δ cb γγ cb γδ cb AδB bp C bp AC bp αaγa C ABA AγA AδA α AA γ BB δ γb A A B C D E F G H I J K L M N O P R S T U V X Y Z B / 104

82 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner E ŠPANJOLSKA ( V, T, P S ) GE = E E E, S e početni nezavršni znak V E = {S, A, B, C, D, E, F, α, γ, δ} T E = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, T, U, V, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, p, r} P E - skup produkcia: S cb F bp EBA bp AC bp AD bcr EBA bcr AC bcr AD bcr AγγαA S ccr AγγαA ccr AγδA ccr αγδa crb AγγαA crb ααγγ crb ααγδ S ccrb αb ccrb αab crcb αγ crcb αaγ C Aγ Aδ Aγγ D CB E BAγγ Bαγγ F E BE γγαa AγγA Aγγα AγγαA Aγδ Aδδ αγγ Aαγγ αγγa αγγα αγδ αδδ αaγγ ααγγ αd αaγδa αaδδ α AA γ BB δ γb A A B C D E F G H I J K L M N O P R S T U V X Y Z B L LUKSEMBURG ( V, T, P S ) GL = L L L, S e početni nezavršni znak V L = {S, A, B, C, D, α, γ, δ} T L = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, Q, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, ž, r} P L - skup produkcia: S cž γ cž C cž Aγγ cž D cž αδ bc C bc Aγγ bc αδ bcr αb bcr D C δ γγ γδ D αγ αδ α AA γ BB 81 / 104

83 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner δ γb A A B C D E F G H I J K L M N O Q P R S T U V W X Y Z B B BELGIJA ( V, T, P S ) GB = B B B, S e početni nezavršni znak V B = {S, A, B, C, D, α, γ, δ} T B = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, Q, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, ž, z, r} P B - skup produkcia: S crb C bcr δδ bcr Aγδ bcr AγδA cb γγ cb γδ crz D cž D zb D bc D bc DB C BAδ Bαγ γaγ γαb δab δα γγa AδA Aγγ αδ D D Aαδ α AA γ BB δ γb A A B C D E F G H I J K L M N O Q P R S T U V W X Y Z B NL NIZOZEMSKA G ( V, T, P S) = S e početni nezavršni znak NL NL NL NL, V = {S, A, B, C, D, α, γ, δ} NL T NL = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, Q, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, ž, z, p} P NL - skup produkcia: S cb γγa cb γaγ cb γαα cb Aγγ cb αγγ cb ααγ S cž D cž γαα cž ααγ C γγα γαγ D C αγγ αγα α AA 82 / 104

84 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner γ BB δ γb A A B C D E F G H I J K L M N O Q P R S T U V W X Y Z B GB VELIKA BRITANIJA G ( V, T, P S) = S e početni nezavršni znak GB GB GB GB, V = {S, A, B, C, D, E, F, α, β, γ, δ} GB T GB = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, Q, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, ž, r} P GB - skup produkcia: S cb E cb Dβ cb δaδ cž E cž Dβ cž δaδ cž βδ S bc E bc βδ crb δa crb δα crb γγa C BA γa δa γγa D AB Aγ Aδ E C CA γαγ δβ F AF αγα αda F D Aγγ α AA β αa γ BB δ γb A A B C D E F G H I J K L M N O Q P R S T U V W X Y Z B IRL IRSKA ( V, T, P S ) GIRL = IRL IRL IRL, S e početni nezavršni znak V IRL = {S, A, B, C, D, E, F, α, γ, δ} T IRL = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, Q, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, z, r} 83 / 104

85 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner P IRL - skup produkcia: S bz Cγ bz CAγ ccr DA ccr AE cb DA cb γf cb γaf cb AE bc DA bc AF C BA γa δa D C γγa E AB Aγ Aδ Aγγ F E Aγδ α AA γ BB δ γb A A B C D E F G H I J K L M N O Q P R S T U V W X Y Z B DK DANSKA ( V, T, P S ) GDK = DK DK DK, S e početni nezavršni znak V DK = {S, A, B, C, D, α, γ, δ} T DK = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, Q, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, ž, p, r} P DK - skup produkcia: S crb γγα crb C crcb γδ crcb αγγ cb γδ cb D žp αδ žp D cž D bp C C αγδ D αγγ C α AA γ BB δ γb A A B C D E F G H I J K L M N O Q P R S T U V W X Y Z B / 104

86 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner PL POLJSKA ( V, T, P S ) GPL = PL PL PL, S e početni nezavršni znak V PL = {S, A, B, C, α, γ, δ} T PL = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, z, ž, p, r} P PL - skup produkcia: S crb ABγγ crb ABγA žc Aγγγ bp Aγδ bp αγδ cb C bc αδα bp αaδa bp αaγγ bz αaγγ bcr αaγγ C αγγ αγδ αδa αγγa αaγαa αaγα αaδa ααδ α AA γ BB δ γb A A B C D E F G H I J K L M N O P R S T U V W X Y Z B RO RUMUNJSKA G ( V, T, P S) = S e početni nezavršni znak RO RO RO RO, V = {S, A, B, C, D, E, α, γ, δ} RO T RO = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, ž, p, r} P RO - skup produkcia: S cb E cb AγαA cb Aδ cb Aγγ cb αγαa cb αδ cb αγγ cž E bc E crb Aγγ crb Aγδ crb αγγ pb αδδ C AB Aγ Aδ Aγγ D C Aγδ E BD BAC γc γac α AA γ BB δ γb A A B C D E F G H I J K L M N O P R S T U V W X Y Z B / 104

87 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner BG BUGARSKA G ( V, T, P S) = S e početni nezavršni znak BG BG BG BG, V = {S, A, B, C, α, γ, δ} BG T BG = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, ž, r} P BG - skup produkcia: S bc δaδ bcr C cb CA cb Cα cb Aαγγ cb ααγγ cb ααγγ cž CA cž Cα crb Aγδ C Aγγ αγγ α AA γ BB δ γb A A B C D E F G H I J K L M N O P R S T U V W X Y Z B GR GRČKA G ( V, T, P S) = S e početni nezavršni znak GR GR GR GR, V = {S, A, B, C, α, γ, δ} GR T GR = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, T, U, V, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, z, ž, r, n} P GR - skup produkcia: S cz γγα cž γγ cž γδ cb C zb Aγγ crb Aγγ crb αaγγ cn αγγ C γδ δδ γγδ AδB Aγδ αb αγ αγb αδ αγγ αγδ αaδ αaγγ α AA γ BB δ γb A A B C D E F G H I J K L M N O P R S T U V X Y Z B / 104

88 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner M MALTA ( V, T, P S) GM = M M M, S e početni nezavršni znak V M = {S, A, B, α, δ} T M = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b} P M - skup produkcia: S cb αaδ α AA δ γb A A B C D E F G H I J K L M N O P R S T U V W X Y Z B P PORTUGAL ( V, T, P S) GP = P P P, S e početni nezavršni znak V P = {S, A, B, C, α, γ, δ} T P = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, r, ž} P P - skup produkcia: S bž BαAγγ cb C bc C crb δαδ C γγα Aγδ Aδδ αγγ α AA γ BB δ γb A A B C D E F G H I J K L M N O P R S T U V W X Y Z B / 104

89 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner IS ISLAND G ( V, T, P S) = S e početni nezavršni znak IS IS IS IS, V = {S, A, B, C, D, α, γ, δ} IS T IS = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, Q, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, p, r, z, ž} P IS - skup produkcia: S bc D ccr C pb C pž C crb C bz αaγ C αδ D AB Aγ Aδ Aγγ Aγδ α AA γ BB δ γb A A B C D E F G H I J K L M N O Q P R S T U V W X Y Z B N NORVEŠKA G ( V, T, P S) = S e početni nezavršni znak N N N N, V = {S, A, B, C, α, γ, δ} N T N = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, p, r, z, ž} P N - skup produkcia: S cb γγγ cb γδ cb Aδ cb AδB cb Aγδ cb C cž γγ cž γδ bcr αγ žc C žp C cz αγδ C αγγ αγδ α AA γ BB δ γb A A B C D E F G H I J K L M N O P R S T U V W X Y Z B / 104

90 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner S ŠVEDSKA G ( V, T, P S) = S e početni nezavršni znak S S S S, V = {S, A, B, C, D, α, γ, δ} S T S = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, p, r, z, ž} P S - skup produkcia: S žc γγ žc γδ žc δδ cb Aγ cb Aδ cb Aγγ cb αaδ cb C crb AδA cp αδa cž αaδ cž αaδa cž C cz αaδ bcr αaδ C DD DDD DDDD DDDDD DDDDDD D A B α AA γ BB δ γb A A B C D E F G H I J K L M N O P R S T U V W X Y Z B FIN FINSKA G ( V, T, P S ) = S e početni nezavršni znak FIN FIN FIN FIN, V = {S, A, B, C, α, γ, δ} FIN T FIN = {A, Å, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, T, U, V, W, X, Y, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, p, r, ž} P FIN - skup produkcia: S cž γγ crb AγαA cb Aδ cb AC cb αγγ cb αc bp Aγδ bp αγγ bc αδ C AB Aγ Aδ α AA γ BB δ γb A A Å B C D E F G H I J K L M N O P R S T U V W X Y Z B / 104

91 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner EST ESTONIJA G ( V, T, P S ) = S e početni nezavršni znak EST EST EST EST, V = {S, A, B, C, D, E, α, γ, δ} EST T EST = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, T, U, V, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, p, r, z, ž} P EST - skup produkcia: S cb γαa cb δα cb δαa cb αe cb C cž δαa bc δαa bz δαa bp Eγ bp AEB crb αγγ C DDDD DDDDD DDDDDD D A B E αb αγ α AA γ BB δ γb A A B C D E F G H I J K L M N O P R S T U V Z B LV LATVIJA G ( V, T, P S ) = S e početni nezavršni znak LV LV LV LV, V = {S, A, B, C, D, E, α, γ, δ} LV T LV = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, T, U, V, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, r} P - skup produkcia: LV S cb B cb γ cb αb cb αγ cb AE cb C crb E ccr E ccr AE C DDDD DDDDD DDDDDD D A B E Aδ Aγγ α AA γ BB δ γb A A B C D E F G H I J K L M N O P R S T U V Z B / 104

92 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner LT LITVA ( V, T, P S) GLT = LT LT LT, S e početni nezavršni znak V LT = {S, A, B, α, γ, δ} T LT = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, T, U, V, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, r, z} P LT - skup produkcia: S cb γγα cb αδ cb αaδ crb Aγγ crb Aγδ bz Aδγ α AA γ BB δ γb A A B C D E F G H I J K L M N O P R S T U V Z B TR TURSKA ( V, T, P S ) GTR = TR TR TR, S e početni nezavršni znak V TR = {S, A, B, C, α, γ, δ} T TR = {A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, R, S, T, U, V, Z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, c, b, r, z, ž} P TR - skup produkcia: S žcr δδ cž γaδ cb γaγγ cb C cb CB cb γαaγ cb γγ cb γδ cb δδ S bc γaγγ bc C bz C zb C crb C C γαδ α AA γ BB δ γb A A B C D E F G H I J K L M N O P R S T U V Z B / 104

93 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner 7.3. Rezultati pobolšana postupka klasifikacie korištenem sintaksne analize Sintaksna analiza korištena u postupku klasifikacie bročano-slovčanih znakova registarskih tablica i oznaka država, dovela e do pobolšana uspešnosti pravilnog raspoznavana i klasificirana registarskih tablica. Sintaksna provera ugrađena e nakon same klasifikacie znakova, u svrhu provere poedinih sintaksnih pravila, kako oznaka države tako i formata samih tablica. Izlaz iz sintaksne provere dae konačni rezultat raspoznavana (slika 32.). MLP klasifikator uzorak (slika) predstavi uzorak na ulaz mreže propagacia signala kroz mrežu odredi klasu 'X' s navećim izlazom klasificira uzorak kao 'X' klasificirani znak raspoznati znakovi oznake države da Postoi li oš znakova za klasifikaciu? Pripada li znak tablici? ne H P H R ne kra klasifikacie tablice da Ž U I 7 8 U provera sintakse Ž U U raspoznati znakovi tablice Slika 32. Blok shema postupka raspoznavana znakova tablice i oznake države, uz primenu sintaksne analize Korištenem sintaksne provere i zamene neispravno klasificiranih znakova, od ukupno 407 registarskih tablica sa pripadnim oznakama države sustav sada pravilno klasificira sve znakove tablice i sve znakove oznake države u 68.8% slučaeva (280 tablica i pripadnih oznaka država). Dobiveni rezultat uklučue postotak istodobno pravilno klasificiranih i znakova tablica i znakova oznake države. Uspešnost postupka raspoznavana povećana e za 25.3% u odnosu na raspoznavane bez sintaksne provere. Ako e, primerice, sintaksnom analizom pravilno raspoznata oznaka države, no tablica e i dale nepravilno raspoznata, i oznaka države i tablica smatrau se nepravilno raspoznatim. Ako se uspešnost klasificirana znakova uz sintaksnu proveru promatra zasebno za znakove tablica, i zasebno za znakove oznake države, tada e ona nešto veća i iznosi za tablice 73.5% (299 pravilno raspoznatih tablica). Uspešnost raspoznavana samo tablica korištenem sintaksne analize povećana e za 19.0%. Za oznake država uspešnost raspoznavana uz sintaksnu proveru iznosi 87.7% (od ukupno 243 točno e raspoznato 213 oznaka država). Uspešnost raspoznavana samo oznaka država uz korištene sintaksne provere povećana e za 22.3%. 92 / 104

94 Raspoznavane uzoraka, ak. god /2003., prof. dr. sc. Slobodan Ribarić Diplomski rad, Kristian Kraupner Primeri utecaa sintaksne analize na postupak raspoznavana bročano slovčanih znakova kroz usporedbu rezultata raspoznavana bez sintaksne provere i sa sintaksnom proverom (o koemu se slučau radi upućue označena kućica kra teksta Provera sintakse), uz prikazane ulazne uzorke raspoznavana: primer uspešne sintaksne provere i zamene nepravilno raspoznatih znakova točnima primer delomično uspešne sintaskne provere 2. znak tablice i dale e krivo raspoznat te e ovakova tablica i oznaka države i dale proglašena nepravilno raspoznatom 93 / 104