Neizrazito, evolucijsko i neurora unarstvo.

Transcription

1 Neizrazito, evolucijsko i neurora unarstvo. Marko ƒupi Bojana Dalbelo Ba²i Marin Golub 12. kolovoza 2013.

2 Sadrºaj Sadrºaj Predgovor i xi I Neizrazita logika 1 1 Neizraziti skupovi Klasi ni skupovi Neizraziti skupovi Karakteristi ni oblici funkcija pripadnosti Po dijelovima linearne funkcije Glatke funkcije Svojstva neizrazitih skupova Teorem predstavljanja. α-presjeci Operacije nad neizrazitim skupovima Standardne operacije s-norme i t-norme Parametrizirane s-norme i t-norme Jezi ne varijable 41 4 Neizrazite relacije Klasi na relacija Neizrazita relacija Operacije nad neizrazitim relacijama Svojstva binarnih neizrazitih relacija Relacija ekvivalencije i neizrazita relacija ekvivalencije Relacija kompatibilnosti i neizrazita relacija kompatibilnosti Relacije urežaja Zatvaranje binarne relacije Neinteraktivnost binarne relacije i

3 5 Neizrazito zaklju ivanje i upravljanje Modeliranje nelinearnih sustava Dekodiranje neizrazitosti Numeri ki postupci pri dekodiranju neizrazitosti Pribliºno zaklju ivanje Naj e² i operatori implikacije u neizrazitoj logici Neizrazito upravljanje Zaklju ivanje u sustavima neizrazitog upravljanja Primjer sustava neizrazitog upravljanja: okrenuto njihalo Ubrzavanje rada upravlja kog sustava Izvod jednadºbi gibanja okrenutog njihala Princip pro²irenja i neizrazita aritmetika Princip pro²irenja Primjena principa pro²irenja na funkcije Primjena principa pro²irenja na klasi ne relacije Primjena principa pro²irenja na neizrazite relacije Neizrazita udaljenost Neizrazita aritmetika Intervalna aritmetika Neizrazita aritmetika denirana preko intervalne aritmetike Neizrazita aritmetika denirana preko principa pro²irenja II Umjetne neuronske mreºe Op enito o neuronskim mreºama Motivacija Osnovni model neurona Osnovni model neuronske mreºe Vrsta i podjela neuronskih mreºa Unaprijedne neuronske mreºe U enje gradijentnim spustom Algoritam Backpropagation Slu aj 1: izlazni sloj Slu aj 2: teºina pripada skrivenom sloju Op i slu aj Ina ice algoritma Backpropagation Dodavanje inercije Dodatne napomene Kriteriji zaustavljanja postupka u enja

4 8.4.2 Ubrzavanje postupka u enja Primjeri u enja unaprijedne slojevite neuronske mreºe Pregled algoritama u enja Algoritam najstrmijeg spusta Algoritam hrabrog voza a Algoritam Delta-Bar-Delta Algoritam SuperSAB Algoritam Quickprop Algoritam Rprop Algoritam Rprop Algoritam irprop Samoorganiziraju e neuronske mreºe Natjecanje Zahtjevi na samoorganiziraju e neuronske mreºe Mreºa Winner-Takes-All Rad mreºe Mreºa INSTAR Problemi pri u enju mreºe INSTAR Mreºa OUTSTAR Mreºa Counterpropagation Mreºa SOM III Evolucijsko ra unanje Evolucijsko ra unanje Osvrt na genetske algoritme Primjer generacijskog genetskog algoritma Pobolj²anje djelotvornosti GA Uvod Odabir prikladnog prikaza rje²enja Vrednovanje jedinki Selekcije Podjela Selekcijski pritisak Izbor selekcije Reprodukcija Teorem sheme i hipoteza blokova Pretpostavke Teorem sheme Hipoteza graževnih blokova Pode²avanje parametara algoritma

5 Parametri genetskog algoritma Karakteristi ne krivulje IV Kombiniranje pristupa mekog ra unarstva Neuro-neizraziti sustavi Neizrazite neuronske mreºe Sustav ANFIS Radni primjer Izvod pravila za aºuriranje parametara z i Izvod pravila za aºuriranje parametara a i Izvod pravila za aºuriranje parametara b i Kona ni algoritam Op enita verzija ANFIS-a Pobolj²anje algoritma u enja Detaljniji pregled neuro-fuzzy sustava Neuro-evolucijski sustavi Evolucija teºinskih faktora Primjena genetskog algoritma na evoluciju teºinskih faktora Evolucija arhitektura Direktno kodiranje neuronske mreºe Indirektno kodiranje neuronske mreºe Evolucija pravila u enja Evolucija parametara algoritma u enja Evolucija novih algoritama u enja Neuro-neizraziti-evolucijski sustavi PSO za ANFIS Op enita struktura algoritma PSO Modikacija algoritma PSO Postupak u enja mreºe ANFIS Simbiotski PSO za ANFIS Specikacija sustava ANFIS Opis primijenjenog algoritma PSO Index 275

6 Popis slika 1.1 Zna enja pojma neizrazita logika Tri na ina deniranja klasi nog skupa Funkcija pripadnosti skupa visoki ljudi, po dijelovima linearna Funkcija pripadnosti skupa visoki ljudi, na druga iji na in Λ-funkcija Γ-funkcija L-funkcija Π-funkcija S-funkcija Gaussova funkcija Sigmoidalna funkcija π-funkcija Kvadratna zvonolika funkcija Primjeri centara neizrazitih skupova Pojam neizrazito konveksnog skupa Ocjena neizrazite konveksnosti skupa Neizrazita konveksnost preko α-presjeka Standardne denicije presjeka, unije i komplementa neizrazitih skupova Dva zakona koja ne vrijede Unija i presjek neizrazitih skupova uporabom Hamacherovih parametriziranih normi Jezi na varijabla "starosna dob" Jezi ni modikatori: koncentracija, dilatacija, kontrastna intenzikacija Neizraziti skupovi "mlad" i "star" Funkcija pripadnosti izvedenog izraza Prijenosna karakteristika sustava Nejednozna nost pri dekodiranju neizrazitosti metodom BisectorOfArea Aproksimacija povr²ine trapeznom formulom v

7 5.4 Zaklju ivanje modus-ponensom Izvoženje zaklju ka odsijecanjem Izvoženje zaklju ka skaliranjem Izvoženje pri sloºenim izrazima Graža sustava neizrazitog upravljanja Obrnuto njihalo Sustav i upravlja ki sklop Jezi ne varijable Simulacija rada Simulacija rada Izvedeni zaklju ak Obrnuto njihalo Osnovni model neurona Tipi ne prijenosne funkcije Tipi na graža neuronske mreºe Adaptivni pristupi Jedan od problema adaptivnih pristupa Vrste u enja, primjeri mreºa i zadatci koje rje²avaju Mreºa Winner-Takes-All Odziv mreºe Winner-Takes-All uz zadanu pobudu Zadatak kvantizacije vektora Mreºa INSTAR Mjera bliskosti temeljena na kutu izmežu vektora Mehanizam u enja kod mreºe INSTAR Nepovoljan odabir po etnih teºina Mreºa OUTSTAR Mreºa Counterpropagation Mreºa SOM Pregled podru ja evolucijskog ra unanja Genetski algoritam Kromosom kao niz bitova Kretanje dobrote najboljeg rje²enja kroz generacije Distribucija najboljih rje²enja Ovisnost medijana najboljeg rje²enja o veli ini populacije. Gornji dio prikazuje statistiku najboljih rje²enja a donji dio statistiku prosje nih rje²enja. Crveno: prirodni binarni kod, zeleno: Grayev kod, plavo: decimalna reprezentacija Ovisnost prosjeka najboljih rje²enja o veli ini populacije. Gornji dio prikazuje statistiku najboljih rje²enja a donji dio statistiku prosje nih rje²enja. Crveno: prirodni binarni kod, zeleno: Grayev kod, plavo: decimalna reprezentacija

8 10.8 Ovisnost medijana najboljih rje²enja o vjerojatnosti mutacije bita kod ina ice koja koristi prirodni binarni kod. Gornji dio prikazuje statistiku najboljih rje²enja a donji dio statistiku prosje nih rje²enja Ovisnost medijana najboljih rje²enja o vjerojatnosti mutacije bita. Kod ina ice koja koristi Grayev kod. Gornji dio prikazuje statistiku najboljih rje²enja a donji dio statistiku prosje nih rje²enja Ovisnost medijana najboljih rje²enja o broju generacija. Gornji dio prikazuje statistiku najboljih rje²enja a donji dio statistiku prosje nih rje²enja. Crveno: prirodni binarni kod, zeleno: Grayev kod, plavo: decimalna reprezentacija Podjela postupaka selekcije prema na inu preno²enja genetskog materijala boljih jedinki u novu iteraciju Vrste selekcija Operatori kriºanja u slu aju binarnog prikaza Operatori mutacije prikladni za binarni prikaz Operatori kriºanja prikladni za prikaz poljem realnih brojeva Operatori mutacije prikladni za prikaz poljem realnih brojeva Operatori kriºanja za prikaz permutiranim nizom cijelih brojeva Operatori mutacije za prikaz permutiranim nizom cijelih brojeva Shema je sa uvana nakon kriºanja s jednom to kom prekida ako oba roditelja sadrºe istu shemu Utjecaj veli ine populacije na evolucijski proces Utjecaj veli ine populacije i broj iteracija na kvalitetu rje²enja Karakteristi ne krivulje ovisnosti kvalitete rje²enja o tri parametra Karakteristi na krivulja rje²enja u ovisnosti o broju iteracija za genetski algoritam bez elitizma Neizraziti-I neuron Neizraziti-ILI neuron Primjer neizrazite neuronske mreºe tipa ILI-od-I Primjer neizrazite neuronske mreºe tipa I-od-ILI ANFIS mreºa koja ostvaruje neizraziti sustav (zaklju ivanje tipa 3) ANFIS mreºa koja ostvaruje neizraziti sustav (zaklju ivanje tipa 1) ANFIS mreºa koja ostvaruje neizraziti sustav (zaklju ivanje tipa 2) Op enita graža sustava neizrazitog zaklju ivanja

9 13.1 Ilustracija simetri nosti unutar neuronske mreºe problem permutacija MLP s dva neurona u skrivenom sloju za problem XOR-a nau en genetskim algoritmom Decizijske funkcije nau ene za svaki od tri neurona u MLP-u za problem XOR-a Unaprijedna (ali neslojevita) neuronska mreºa s ukupno 2 operativna neurona za problem XOR-a nau en genetskim algoritmom Primjer produkcijskih pravila za izgradnju matrice veza neuronske mreºe Primjer uporabe produkcijskih pravila za izgradnju matrice veza neuronske mreºe Primjer stani nog razvoja neuronske mreºe ANFIS mreºa koja ostvaruje neizraziti sustav (zaklju ivanje tipa 3) Rezultat u enja sustava ANFIS Struktura pod estice koja odgovara jednom pravilu sustava ANFIS Struktura rojeva algoritma SAPSO

10 Popis tablica 2.1 Svojstva min-max operatora ƒeste neparametrizirane t-norme i s-norme ƒeste parametrizirane t-norme i s-norme Parametrizirane operacije komplementa Odnos parametriziranih i neparametriziranih normi Denicije operatora uprosje ivanja Veza jezi nih modikatora i jezi nih izraza Sloºene neizrazite propozicije Ciljevi i na ini pobolj²anja djelotvornosti genetskih algoritama Preporu eni intervali vrijednosti parametara Usporedba karakteristika sustava neizrazitog upravljanja te neuronskih mreºa Prikaz arhitekture neuronske mreºe matricom veza Prikaz arhitekture neuronske mreºe matricom teºina Matri ni prikaz arhitekture neuronske mreºe za problem XOR Matri ni prikaz arhitekture neuronske mreºe za problem XOR Matri ni prikaz arhitekture neuronske mreºe s dva operativna neurona za problem XOR Matri ni prikaz arhitekture neuronske mreºe za problem XOR 258 ix

11

12 Predgovor Ovaj dokument predstavlja radnu verziju knjige za kolegij Neizrazito, evolucijsko i neurora unarstvo: Neizrazito, evolucijsko i neurora unarstvo. Molimo sve pogre²ke, komentare, nejasno e te sugestije dojaviti na Marko.Cupic@fer.hr, Bojana.Dalbelo@fer.hr ili Marin.Golub@fer.hr. c Marko ƒupi, Bojana Dalbelo Ba²i i Marin Golub Za²ti eno licencom Creative Commons ImenovanjeNekomercijalnoBez prerada 3.0 Hrvatska. Verzija dokumenta: xi

13 Dio I Neizrazita logika 1

14

15 Poglavlje 1 Neizraziti skupovi Neizrazita logika, neizraziti skupovi, neizrazite relacije, neizraziti brojevi, neizrazita aritmetika, sustavi neizrazitog upravljanja... U ovom tekstu puno emo govoriti o neizrazitosti idemo se stoga najprije upoznati s tim pojmom. Izraz neizrazit hrvatski je prijevod za englesku rije fuzzy. Taj se pojam odnosi na jednu vrstu neodreženosti, i povezan je s jo² dvije vrlo sli ne engleske rije i: vague i uncertainty. Evo izvatka iz rije nika Collins English Dictionary. fuzzy vague 1. of, resembling, or covered with fuzz; 2. indistinct; unclear or distorted; 3. not clearly thought out or expressed; 4. (of the hair) tightly curled or very wavy; 5. Maths. of or relating to a form of set theory in which set membership depends on a likelihood function: fuzzy set; fuzzy logic. 1. (of statements, meaning, etc.) not explicit; imprecise: vague promises; 2. not clearly perceptible or discernible; indistinct: a vague idea; a vague shape; 3. not clearly or denitely established or known: a vague rumour; 4. (of a person or his expression) demonstrating lack of precision or clear thinking; absent-minded; [C16: via French from Latin vagus wandering, of obscure origin]. 3

16 4 POGLAVLJE 1. NEIZRAZITI SKUPOVI uncertainty 1. also called: uncertainness; the state or condition of being uncertain; 2. an uncertain matter, contingency, etc. Povijesni razvoj neizrazite logike moºe se pratiti od dvadesetih godina dvadesetog kada je Jan Šukasiewicz, poljski logi ar i lozof koji je prou avao analiti ku lozoju i matemati ku logiku postavio temelje vi²evrijednosne logike logike kod koje ne postoji samo istina i laº ve postoje razli ite razine istinitosti propozicija. Porodice vi²evrijednosnih logika ozna avaju se s L n, pa tako imamo: L 2 : vrijednosti istinitosti mogu biti {0, 1} klasi na logika, L 3 : vrijednosti istinitosti mogu biti {0, 1/2, 1},... L n : vrijednosti istinitosti mogu biti {0, 1/n 1, 2/n 1,...., n 2/n 1, 1}, L : vrijednosti istinitosti mogu biti iz intervala [0, 1] Q te L 1 : vrijednosti istinitosti mogu biti iz intervala [0, 1] R. Izraz vagueness uveo je Bertrand Russell, engleski lozof, logi ar, matemati ar, povijesni ar, i dru²tveni kriti ar, izmežu ostaloga poznat i po Russellovom paradoksu koji pokazuje mane klasi ne logike. Evo o emu se radi: prema klasi noj teoriji skupova, svaka kolekcija koju je mogu e denirati je skup. Neka je tada s R ozna en skup svih skupova koji nemaju samog sebe za lana. Evo paradoksa: ako bi R imao samog sebe za lana, tada bi to bilo u suprotnosti s denicijom tog skupa, pa je to nemogu e; s druge pak strane, ako taj skup ne sadrºi samog sebe kao lana, onda je po deniciji element skupa R ime imamo kontradikciju. Ovaj problem moºe se iskazati i na konkretnom primjeru: U nekom selu postoji brija koji brije isklju ivo one ljude koji se ne briju sami; tko brije brija a? Ako se on sam ne brije, onda se po deniciji brije upravo kod sebe samoga, pa slijedi da on brije samog sebe. S druge pak strane, ako se sam brije, onda se ne brije kod sebe samoga, jer on brije samo one ljude koji se ne briju sami i eto paradoksa. No Bertranda Russella spomenuli smo zbog pojma vagueness: evo paradoksa poznatog pod nazivom Sorites' Paradox koji ovo ilustrira.

17 5 Svi emo se sloºiti da 1,000,000 zrna pijeska ini gomilu. Ako uklonimo jedno zrno pijeska, i dalje imamo gomilu. Koliko zrna pijeska trebamo ukloniti da ono ²to nam ostane vi²e ne bude gomila? godine Max Black, englesko-ameri ki lozof koji je ostavio zna- ajan trag na podru ju analiti ke lozoje objavio je lanak: "Vagueness: An Exercise in Logical Analysis", Philosophy of Science, Vol.4, 1937., koji mežutim u to vrijeme nije zadobio paºnju ²ire znanstvene javnosti. ƒini se da svijet u to vrijeme jo² nije bio spreman za ove ideje. Tridesetak godina kasnije, poljski Lot A. Zadeh, iransko-ruski matemati ar, inºenjer elektrotehnike, znanstenik koji je prou avao podru ja ra unarstva i umjetne inteligencije objavio je lanak: "Fuzzy sets", Information and Control, Vol.8, No.4, pp , June i tim je lankom pokrenuo i popularizirao istraºivanja iz podru ja neizrazite logike i neizrazitih skupova. Evo kako je Lot A. Zadeh opisao odnos klasi ne i neizrazite logike. Klasi na logika je kao osoba koja dolazi na zabavu obu ena u crno odijelo, bijelu u²tirkanu ko²ulju, sjajne cipele itd. Neizrazita logika je poput osobe koja je neformalno obu ena, u traperice, majcu i tenesice. U pro²losti, takvo neformalno odijevanje bilo bi neprihvatljivo, danas je to obrnuto. Izraz neizrazita logika danas se koristi za bilo koje od dva razli ita zna enja, kako prikazuje slika 1.1. Sam Lot A. Zadeh ovo je godine opisao sljede im rije ima. Izraz neizrazita logika upotrebljava se u dva razli ita smisla. Uºi smisao je logi ki sustav koji je pro²irenje vi²evrijednosne logike i sluºi kao logika pribliºnog zaklju ivanja. U ²irem smislu to je sinonim za teoriju neizrazitih skupova, teoriju razreda s nejasnim granicama. Danas se izraz neizrazita logika preteºno upotrebljava u ovom ²irem smislu. Slika 1.1: Zna enja pojma neizrazita logika. U nastavku ovog poglavlja osvrnut emo najprije na klasi nu teoriju skupova a potom denirati i pobliºe obraditi pojam neizrazitog skupa i njegova svojstva.

18 6 POGLAVLJE 1. NEIZRAZITI SKUPOVI A = {1, 2, 3} (a) Navoženje elemenata skupa A A = {x x U i x > 0 i x < 4} (b) Navoženje svojstava skupa A 1.00 µ (x) A (c) Karakteristi na funkcija skupa A x Slika 1.2: Tri na ina deniranja klasi nog skupa 1.1 Klasi ni skupovi U klasi noj teoriji skupova (engl. crisp set theory) neki element ili pripada skupu ili ne pripada skupu. Tako imamo primjerice skup cijelih brojeva, skup parnih cijelih brojeva, skup neparnih cijelih brojeva, skup prostih brojeva i sl. Na pitanje pripada li broj 3 u skup parnih cijelih brojeva postoje to no dva mogu a odgovora: "da, pripada" ili "ne, ne pripada". Uzev²i u obzir karakteristike brojeva koje su bitne za ovu klasikaciju, a to je da su parni brojevi svi oni brojevi koji su djeljivi s "2", zaklju ujemo da je ispravan odgovor na postavljeno pitanje "ne, ne pripada", budu i da 3 nije djeljiv s 2. Op enito se klasi ni skupovi mogu zadavati na nekoliko na ina (slika 1.2). Prvi korak je denirati univerzalni skup U 1, tj. domenu iz koje e se potom odabirati elementi koji e sa injavati ostale skupove. Npr. neka je U skup svih cijelih brojeva. U drugom koraku moºemo denirati skupove koji nas zanimaju. Jedan je na in nabrajanjem svih elemenata skupa. Primjerice, moºemo re i da je skup A deniran nad univerzalnim skupom U kao skup brojeva {1, 2, 3}. Ovo je mogu e ukoliko je broj elemenata koje skup sadrºi kona an, a u praksi se dodaje i uvjet da taj broj treba biti relativno malen (jer te²ko da e netko mo i nabrojati elemenata). Drugi na in je deniranje uvjeta koje moraju zadovoljiti elementi da bi pripadali nekom skupu. Npr. skup A moºemo denirati na sljede i na in: to je skup cijelih brojeva koji su ve i od 0 i manji od 4. Na ovaj na in skup je jednozna no

19 1.2. NEIZRAZITI SKUPOVI 7 deniran, jer je jasno odrežena domena iz koje se biraju elementi (u primjeru: skup cijelih brojeva) te uvjet koji elementi moraju zadovoljiti da bi pripadali skupu (ve i od 0 i manji od 4). Tre i na in za deniranje skupa je uporaba karakteristi ne funkcije µ A : U {0, 1}. Karakteristi na funkcija µ A denirana je na sljede i na in: µ A (x) = { 1, x A 0, x A. Tako na² skup A moºemo denirati sljede om karakteristi nom funkcijom: µ A (x) = Sva tri na ina prikazana su na slici 1.2. { 1, (x = 1) (x = 2) (x = 3) 0, (x 1) (x 2) (x 3). 1.2 Neizraziti skupovi Iako se obi ni skupovi u praksi koriste vrlo esto, postoji mno²tvo primjera u kojima je vrlo te²ko utvrditi pripada li neki element skupu ili ne, odnosno primjera u kojima odluka nije binarna. Uzmimo za primjer univerzalni skup textitdani u godini i poku²ajmo izgraditi skup dani koji su bili sun ani. Kako emo odrediti koji dani pripadaju u na² skup? Moºemo poku²ati ovako: u na² skup pripadaju svi oni dani kada na nebu nije bilo niti jednog oblaka. No ²to je s danima u kojima je na pet minuta u nekom kutku neba nai²ao neki mali obla ak? Pripadaju li oni u na² skup? A ²to je s danima u kojima se na deset minuta pojavio neki obla ak? Na petnaest minuta? Na dvadeset minuta? Pogledajmo jo² jedan primjer. Zadan je univerzalni skup koji ine svi ljudi koji ºive u gradu Zagrebu. Treba odrediti koji od tih ljudi pripadaju u skup visokih ljudi. Kako se ovo moºe napraviti? Kada bismo radili s klasi nim skupovima, morali bismo odrediti neku grani nu visinu, i sve ljude koji su visoki barem toliko uvrstiti u skup. Uzmimo za primjer da je grani na visina 180 cm. Tada e u skup visoki ljudi u i svi oni koji su visoki 180 cm ili vi²e. Mežutim je li ovo dobar na in za stvaranje skupa visokih ljudi? Pogledajmo jednu trivijalnu posljedicu ovakvog stvaranja skupa: Pero Peri koji je visok 180 cm pripada skupu visoki ljudi ali Ivica Ivi koji je visok cm ne pripada. Hm, pa dobro, moºemo pomaknuti granicu na cm tako da i Ivica Ivi bude lan visokih ljudi. Ali eto novog problema Ante Anti koji je visok cm ne pripada tom skupu iako nitko golim okom ne moºe 1 Ispada da se dolazi do paradoksa "²to je prije bilo: koko² ili jaje". Naime, da bismo denirali neki skup, moramo najprije denirati univerzalni skup iz kojeg emo birati koje elemente ºelimo u na²em skupu; no kako je i univerzalni skup opet skup, kako emo denirati njega?

20 8 POGLAVLJE 1. NEIZRAZITI SKUPOVI uo iti da je on niºi od Ivice Ivi a koji je u skupu. Moramo li opet pomicati granicu? Iz ova dva primjera jasno vidimo da se prilikom odreživanja klasi nih skupova javlja jedan vrlo neugodan problem kako odrediti ²to pripada takvom skupu, a da granica bude jasna, i ²to je jo² vaºnije, da ima veze sa zdravim razumom. Naime, kaºemo li da je granica 180 cm, bili smo potpuno jasni, no vidjeli smo da to nikako nije dobar na in, jer jednostavno nije smislen. Ovakve pote²ko e jedan su od razloga nastanka teorije neizrazitih skupova, koju je razvio Lot A. Zadeh (prvi lanak godine). Vidjeli smo da se klasi ni skup moºe opisati karakteristi nom funkcijom koja kao ulaz prima element koji ispitujemo, a kao izlaz daje vrijednost 0 ako element nije lan skupa ili 1 ako element je lan skupa; formalno, kaºemo da je domena funkcije univerzalni skup a kodomena skup cijelih brojeva {0, 1}. Zadeh je ovaj koncept pro²irio na sljede i na in: neizraziti skup (engl. fuzzy set) opisivat e se funkcijom pripadnosti (engl. membership function) koja e kao ulaz primati element koji se ispituje, a kao izlaz davati realni broj u intervalu [0, 1], ime e opisivati s kolikim stupnjem taj lan pripada neizrazitom skupu. Osnovna je razlika izmežu klasi nih i neizrazitih skupova u tome ²to kod klasi nog skupa element ili pripada ili ne pripada skupu, dok kod neizrazitog skupa element pripada skupu s odreženim stupnjem, odnosno odreženom mjerom. Iz ovoga se jasno vidi da su neizraziti skupovi pro²irenje klasi nih skupova, jer ako kodomenu funkcije pripadnosti neizrazitog skupa ograni imo isklju ivo na vrijednosti 0 i 1, dobiti emo upravo klasi ne skupove, odnosno funkcija pripadnosti degradirat e u karakteristi nu funkciju. Denicija 1 (Neizrazit skup). Neka je U univerzalni skup 2. Neizraziti skup A deniran nad univerzalnim skupom U je skup ureženih parova A = {(x; µ A (x)) x U, µ A (x) [0, 1]}, gdje je µ A (x) funkcija pripadnosti (engl. membership function), i ona odrežuje stupanj pripadnosti elemenata x U neizrazitom skupu A. I neizrazite skupove moºemo denirati na nekoliko na ina. Nakon ²to odaberemo univerzalni skup U, neizraziti skup A moºemo denirati na dva na ina. Moºemo koristiti nabrajanje elemenata, s time da uz svaki element obavezno pi²emo i stupanj pripadnosti tog elementa (naravno, zbog jednostavnosti navodit emo samo elemente kojima je stupanj pripadnosti ve i od nule, podrazumijevaju i da je stupanj pripadnosti svih ostalih elemenata jednak nuli). Ovo se obi no svodi na sljede i zapis: { µa (x 1 ) A = + µ A(x 2 ) + µ A(x 3 ) µ } A(x n ) x 1 x 2 x 3 x n ²to treba pro itati na sljede i na in: element x 1 neizrazitom skupu A pripada sa stupnjem pripadnosti µ A (x 1 ), element x 2 neizrazitom skupu A pripada 2 Univerzalni skup je i dalje klasi an skup.

21 1.2. NEIZRAZITI SKUPOVI 9 sa stupnjem pripadnosti µ A (x 2 ),..., element x n neizrazitom skupu A pripada sa stupnjem pripadnosti µ A (x n ). Uo ite da se znak "+" ne odnosi na nikakvo zbrajanje ve se jednostavno koristi kao sredstvo za nabrajanje elementa skupa A. Treba uo iti da kod nabrajanja elemenata ne moramo imati eksplicitno deniranu funkciju µ A (x) jer moºemo direktno napisati stupanj pripadnosti svakog elementa 3. Drugi na in za deniranje neizrazitih skupova je upravo kroz deniciju funkcije pripadnosti µ A (x). U tom slu aju na raspolaganju nam stoje dvije vrste zapisa neizrazitog skupa. Ukoliko je neizraziti skup deniran nad diskretnim univerzalnim skupom, koristi se zapis sa sumom, koji se krati u oblik: A = x U µ A (x) x pri emu znak sumacije treba shvatiti kao znak nabrajanja elemenata, a ne aritmeti ke operacije zbrajanja. U skladu s time, ukoliko je univerzalni skup kontinuiran, tada znak sumacije jednostavno prelazi u znak integracije: A = x U µ A (x) dx opet uz opasku da znak integracije ne predstavlja operaciju integracije, ve jednostavno nabrajanje. Vratimo se deniciji skupa visokih ljudi. Kao univerzalni skup uzet emo skup pozitivnih realnih brojeva koji predstavljaju mogu e visine ljudi. Kada smo skup visokih ljudi poku²avali denirati kao klasi ni skup, uzeli smo granicu od 180 cm i sloºili se s tvrdnjom da su svi ljudi visoki barem 180 cm visoki ljudi. Kod neizrazitih skupova za taj slu aj moºemo re i da svi ljudi koji su barem visoki 180 cm pripadaju skupu visoki ljudi sa stupnjem pripadnosti 1. Problem kod klasi nog skupa bili su ljudi koji su niºi od 180 cm, ali su blizu te visine. Za ljude koji su niºi od 160 cm zasigurno ne emo re i da su visoki. Kod neizrazitih skupova za taj slu aj moºemo re i da svi ljudi koji su niºi od 160 cm pripadaju skupu visoki ljudi sa stupnjem pripadnosti 0, odnosno da mu ne pripadaju. Sada moºemo iskoristiti punu snagu neizrazitih skupova i denirati da ljudi koji su visoki izmežu 160 cm i 180 cm skupu visoki ljudi pripadaju sa stupnjem pripadnosti koji je ve i od 0, i manji od 1, i to biliºi vrijednosti 1 ²to je visina bliºa visini od 180 cm. Na koji emo na in odlu iti kako raspodijeliti stupnjeve pripadnosti, potpuno ovisi o na²im ºeljama. Moºemo npr. linearno razvu i stupanj pripadnosti od vrijednosti 0 za visinu 160 cm do vrijednosti 1 za visinu 180 cm. Tako bi osoba visoka 170 cm u skup visokih ljudi pripadala sa stupnjem pripadnosti 0.5, osoba visoka 175 cm sa stupnjem pripadnosti 0.75, osoba visoka cm sa stupnjem pripadnosti i sl. Ovakvu deniciju skupa visoki ljudi prikazuje slika Zapravo, ako znamo stupanj pripadnosti svakog elementa, tehni ki govore i znamo i funkciju pripadnosti, iako je nigdje ne deniramo.

22 10 POGLAVLJE 1. NEIZRAZITI SKUPOVI 1.00 µ (x) A x Slika 1.3: Funkcija pripadnosti skupa visoki ljudi, po dijelovima linearna. Ovakav na in deniranja skupa visoki ljudi elegantno je eliminirao problem stroge granice i svega ²to to povla i za sobom. No sada se javlja niz drugih pitanja. Npr. za²to smo odabrali ba² brojeve 160 cm i 180 cm? Za²to smo uzeli takvu funkciju pripadnosti koja linearno raste od 0 za 160 cm do 1 za 180 cm? Jesmo li mogli ovo denirati nekako druga ije? Krenimo redom s odgovorima. Jo² kod klasi nih skupova morali smo na neki na in odrediti parametre unutar kojih emo denirati skup. Tamo je to bio jedan jedini parametar: grani na visina. No ipak, ve tamo smo mogli do i do spoznaje koja se ovdje samo potvržuje: MI deniramo skup visoki ljudi onako kako to ºelimo, i u tome imamo potpunu slobodu. Ho emo li uzeti grani nu visinu od 180 cm, ili od 170 cm, ili neku tre u, ovisi isklju ivo o nama i na²oj procjeni ²to bi bilo u datoj situaciji prihvatljivo. Prelaskom na neizrazite skupove jedino ²to se promijenilo je broj stupnjeva slobode koje smo dobili. Sada umjesto jednog parametra (grani na visina) trebamo odrediti nekoliko parametara: gornja grani na visina, donja grani na visina, na in raspodjele stupnja pripadnosti elemenata izmežu tih granica i sl. A ako govorimo o nekom op em slu aju, tada uop e ne moramo imati ove parametre, ve neke sasvim druge, jer je cilj odrediti funkciju pripadnosti, ma kakvog ona oblika bila. Sve ovo ovisi isklju ivo o nama; imamo potpunu slobodu da skup modeliramo onako kako mislimo da bi to bilo prikladno. Ovdje se uslijed silne slobode koju smo dobili javlja i jedan moºebitni problem. Pretpostavimo da smo mi izgradili sustav A koji pojam visoki ljudi shva a na na in kako smo mi to zamislili; tim iz Japana izgradi svoj sustav B koji pojam visoki ljudi shva a na na in kako su oni to zamislili (²to e vrlo vjerojatno biti ne²to druga ije od na²eg shva anja, budu i da

23 1.2. NEIZRAZITI SKUPOVI 11 su Japanci ina e niºi rastom). Kako e ovi sustavi komunicirati? Malom analizom dolazimo do ekvivalentnog problema koji e pokazati da zapravo nema problema: sretnu se osoba iz Hrvatske i osoba iz Japana i svako od njih pri a o visokim ljudima; Hrvat na hrvatskom, Japanac na japanskom; kako e oni komunicirati kada jedan drugog ne razumiju? Promatramo li osobu iz Hrvatske kao sustav A, sustav je napravljen tako da ga razumiju svi oni koji ºive u njegovoj okolini i koji dijele zajedni ko shva anje potrebnih koncepata; kod osobe iz Hrvatske to je govor hrvatskim jezikom. Isto vrijedi i za osobu iz Japana koja govori Japanski jer upravo u svojoj sredini to je jedini na in da sustav obavlja svoj zadatak. Problem komunikacije rje²ava se na sasvim drugom nivou, npr. standardizacijom, ili pak u enjem. Npr. obje osobe mogu nau iti engleski, i sporazumijevati se engleskim jezikom, ili pak jedna osoba moºe nau iti jezik one druge, i koristi ga u komunikaciji, iako cijelo vrijeme ta ista osoba misli i radi na na in na koji ona sama inherentno razumije. Ovo je upravo razlog za²to se ovakvim stvarima ne treba optere ivati. Kasnije emo jo² na puno mjesta dobiti odrežene stupnjeve slobode u nekim odabirima, i na svakom tom mjestu moºe se postaviti pitanje na koje smo ovdje poku²ali odgovoriti. Ono ²to je bitno jest da smo mi dizajneri na²eg sustava, i mi znamo kako ºelimo da taj sustav radi i na koji na in treba shva ati pojedine koncepte. Kada jednom dože do potrebe za razmjenom informacija izmežu vi²e sustava, tada se obavezno uvodi neki od dobro deniranih, standardiziranih komunikacijskih protokola kako bi svim sudionicima u toj izmjeni informacija bilo jasno o emu je rije. Vratimo se sada deniranju neizrazitih skupova. Stali smo na problemu kako odrediti funkciju pripadnosti koja nam najbolje odgovara. Problem moºemo rije²iti i bez odreživanja donje granice. Npr. kao karakteristi nu funkciju moºemo uzeti: { 1, x 180, µ A (x) = 1, 1+( x ) 2 0 x < 180. Tada emo dobiti skup visokih ljudi iju funkciju pripadnosti prikazuje slika 1.4. Na ovaj na in svi ljudi pripadaju skupu visokih ljudi, samo ²to se mijenja stupanj pripadnosti (koji je uvijek ve i od nule). Kako se problem odabira odgovaraju e funkcije pripadnosti javlja pri deniranju svakog neizrazitog skupa, postoji nekoliko uobi ajenih funkcija koje se esto koriste, i koje emo pogledati u nastavku. Pri tome jo² jednom treba naglasiti da je odabir funkcije pripadnosti u potpunosti subjektivan, i kontekstno ovisan, ili kako je to Zadeh rekao: "nisu vaºne to ne vrijednosti funkcije pripadnosti u odreženom kontekstu, ve su vaºni mežusobni odnosi funkcije pripadnosti neizrazitih skupova jednih prema drugima".

24 12 POGLAVLJE 1. NEIZRAZITI SKUPOVI 1.00 µ (x) A x Slika 1.4: Funkcija pripadnosti skupa visoki ljudi, na druga iji na in. 1.3 Karakteristi ni oblici funkcija pripadnosti U primjeni neizrazite logike u po etnoj fazi obi no deniramo osnovne neizrazite skupove s kojima emo dalje raditi. Skupove deniramo tako da modeliraju temeljne koncepte na²eg sustava. Ovisno o tim konceptima, za modeliranje moºemo koristiti razli ite oblike neizrazitih skupova Po dijelovima linearne funkcije Λ-funkcija šelimo li denirati koncepte poput "brojevi oko 5", "brzina oko 60 km/h" i sl., trebat emo neizraziti skup ija funkcija pripadnosti poprima vrijednost 1 upravo na centralnom elementu ("broj 5", "brzina 60 km/h" i sl.) a udaljavanjem od tog elementa opada (dakle za manje i ve e brojeve od broja 5, za manje i ve e brzine od 60 km/h,...). Dobar kandidat za takvu funkciju pripadnosti jest Λ-funkcija (lambda). Λ-funkcija prikazana je na slici 1.5 i denirana je s tri parametra: Λ(x; α, β, γ) = 0, x < α, x α β α, α x < β, γ x γ β, β x < γ, 0, x γ. (1.1) Slika 1.5 prikazuje Λ-funkciju uz parametre: α = 10, β = 20 te γ = 30.

25 1.3. KARAKTERISTIƒNI OBLICI FUNKCIJA PRIPADNOSTI µ (x) A x Slika 1.5: Funkcije pripadnosti: Λ-funkcija. Γ-funkcija Za koncepte poput "visoka temperatura", "visoki ljudi", "broj zrna koji je dovoljan da ini gomilu", "broj pu²aka koji ini dobro naoruºanu vojsku" i sl. Λ-funkcija vi²e nije prikladna. U ovom slu aju trebamo funkciju pripadnosti koja ima vrijednost nula sve do nekog grani nog elementa a zatim po inje rasti, i kona no, za neki element poprima vrijednost 1, i tu vrijednost ima i za sve elemente koji ga slijede. Za ovakvu funkciju dobar je kandidat Γ-funkcija (gama). Γ-funkcija prikazana je na slici 1.6 i denirana je s dva parametra: 0, x < α, x α Γ(x; α, β) = β α, α x < β, 1, x β. Slika 1.6 prikazuje Γ-funkciju uz parametre: α = 10 i β = 20. (1.2) L-funkcija šelimo li denirati upravo suprotnu vrstu koncepata od prethodno navedenih, primjerice "niska temperatura", "niski ljudi", "broj zrna koji ne ini gomilu", "broj pu²aka koji ini slabo naoruºanu vojsku", "niska brzina okretanja kota a" i sl., trebat emo funkciju koja se pona²a suprotno od Γ-funkcije dakle, funkciju pripadnosti koja za sve "male" elemente ima vrijednost 1, zatim po inje padati, i kona no od nekog elementa na dalje poprima vrijednost nulu. Dobar kandidat koji zadovoljava ove zahtjeve jest L-funkcija.

26 14 POGLAVLJE 1. NEIZRAZITI SKUPOVI 1.00 µ (x) A x Slika 1.6: Funkcije pripadnosti: Γ-funkcija. L-funkcija prikazana je na slici 1.7 i denirana je s dva parametra: 1, x < α, β x L(x; α, β) = β α, α x < β, 0, x β. (1.3) µa (x) x Slika 1.7: Funkcije pripadnosti: L-funkcija. Slika 1.7 prikazuje L-funkciju uz parametre: α = 10 i β = 20.

27 1.3. KARAKTERISTIƒNI OBLICI FUNKCIJA PRIPADNOSTI 15 Π-funkcija Kona no, ne smijemo zaboraviti na jo² jedan tip koncepata: "broj zrna koji ini srednje veliku gomilu", "broj pu²aka koji ini srednje naoruºanu vojsku", "broj kapi ki²e koji dovoljno navlaºi tlo" i sli ni koncepti. Zajedni ko ovoj vrsti koncepata je sli nost s konceptima koje opisujemo Λ-funkcijom mežutim uz jednu bitnu razliku. Kod ovih koncepata ne moºemo prona i jedan centralni element koji najbolje opisuje koncept, ve postoji itav interval elemenata koji dobro opisuju koncept. To zna i da funkcija pripadnosti ne e poprimiti vrijednost 1 za samo jedan element, ve e funkcija poprimati vrijednost 1 na odreženom centralnom intervalu, a tek e na krajevima tog intervala postupno padati prema nuli. Dobar predstavnik ovog tipa funkcije pripadnosti jest Π-funkcija (pi). Π-funkcija prikazana je na slici 1.8 i denirana je s etiri parametra: L(x; α, β, γ, δ) = 0, x < α, x α β α, α x < β, 1, β x < γ, δ x δ γ, γ x < δ, 0, x δ. (1.4) µa (x) x Slika 1.8: Funkcije pripadnosti: Π-funkcija. Slika 1.8 prikazuje Π-funkciju uz parametre: α = 10, β = 14, γ = 26 te δ = 30. Sve prethodno navedene funkcije pripadaju klasi po dijelovima linearnim funkcijama. Osnovna prednost ovakvih denicija je u lako i i brzini izra unavanja. Naime, ne trebamo nikakav sloºeni matemati ki aparat kao niti jake ra unske sklopove za realizaciju takvih funkcija. Naravno, osim dobrih svojstava ove funkcije imaju i neka svojstva ih ine manje pogodnim za

28 16 POGLAVLJE 1. NEIZRAZITI SKUPOVI odrežene implementacije. Npr. svojstvo derivabilnosti u svim to kama ove funkcije ne zadovoljavaju. Upravo na "prijelomnim" to kama derivacija nije jednozna na. Zbog toga je razvijena nova klasa funkcija pripadnosti, tzv. glatke funkcije, koje se takožer deniraju po dijelovima, ali u svakoj to ci jesu derivabilne. Sve funkcije koje smo opisali u ovom poglavlju imaju svoj ekvivalent u klasi glatkih funkcija, i koriste se za opisivanje istih koncepata kao i po dijelovima linearne funkcije. Zbog toga emo u nastavku samo dati kratak pregled glatkih funkcija bez dodatnih obja²njenja, jer za njih vrijedi sve ²to je ve re eno i kod po dijelovima linearnih funkcija Glatke funkcije S-funkcija S-funkcija prikazana je na slici 1.9 i denirana je s tri parametra: 0, x < α, ( 2 2 x α γ α), α x < β, S(x; α, β, γ) = ( x γ γ α), β x < γ, 0, x γ. (1.5) µa (x) x Slika 1.9: Funkcije pripadnosti: S-funkcija. Parametar α odrežuje vrijednost do koje je iznos funkcija pripadnosti jednak 0 a parametar γ odrežuje vrijednost od koje je iznos funkcija pripadnosti jednak 1. Parametar β treba biti postavljen na vrijednost α+γ 2 to je to ka ineksije funkcije pripadnosti. Slika 1.9 prikazuje S-funkciju uz parametre: α = 10, β = 20 te γ = 30.

29 1.3. KARAKTERISTIƒNI OBLICI FUNKCIJA PRIPADNOSTI 17 Gaussova funkcija pripadnosti Gaussova funkcija prikazana je na slici 1.10 i denirana je s dva parametra: x µ Gauss(x; µ, σ) = e ( σ ) 2. (1.6) 1.00 µ (x) A x Slika 1.10: Funkcije pripadnosti: Gaussova funkcija. Slika 1.10 prikazuje Gaussovu funkciju uz parametre: µ = 20 te σ = 8. Sigmoidalna funkcija Sigmoidalna funkcija funkcija prikazana je na slici 1.11 i denirana je s dva parametra: 1 Sigm(x; a, c) =. (1.7) 1 + e a(x c) Slika 1.11 prikazuje sigmoidalnu funkciju uz parametre: a = 0.4 te b = 20. π-funkcija π-funkcija prikazana je na slici 1.12 i denirana je s dva parametra: π(x; β, γ) = { S(x; γ β, γ β/2, γ), x < γ, 1 S(x; γ, γ + β/2, γ + β), x γ. (1.8) Parametar γ kod ove krivulje predstavlja to ku oko koje je krivulja ("zvono") centrirano. Parametar β odrežuje ²irinu zvona. Funkcija za sve vrijednosti manje od γ β te ve e od γ + β poprima vrijednost 0. Slika 1.12 prikazuje π-funkciju uz parametre: β = 10 te γ = 20.

30 18 POGLAVLJE 1. NEIZRAZITI SKUPOVI µ A (x) x Slika 1.11: Funkcije pripadnosti: Sigmoidalna funkcija. µa (x) x Slika 1.12: Funkcije pripadnosti: π-funkcija.

31 1.4. SVOJSTVA NEIZRAZITIH SKUPOVA 19 Kvadratna zvonolika funkcija Kvadratna zvonolika funkcija (u literaturi se moºe na i pod nazivom exponentiallike membership function) prikazana je na slici 1.13 i denirana je s dva parametra: 1 Zvon(x; µ, k) = 1 + k (x µ) 2. (1.9) µ A (x) x Slika 1.13: Funkcije pripadnosti: Kvadratna zvonolika funkcija. Parametar µ kod ove krivulje predstavlja to ku oko koje je krivulja ("zvono") centrirano. Parametar k odrežuje ²irinu zvona. Funkcija nigdje ne poprima vrijednost 0. Slika 1.13 prikazuje kvadratnu zvonoliku funkciju uz parametre: µ = 20 te k = Svojstva neizrazitih skupova U nastavku emo se upoznati s osnovnim svojstvima neizrazitih skupova. Denicija 2 (Jednakost neizrazitih skupova). Neka su A i B dva neizrazita skupa denirana nad univerzalnim skupom U, i neka je µ A, µ B : U [0, 1]. Neizraziti skupovi A i B su jednaki, A = B, ako je µ A (x) = µ B (x), x U. Denicija 3 (Podskup neizrazitog skupa). Neka su A i B dva neizrazita skupa denirana nad univerzalnim skupom U, i neka je µ A, µ B : U [0, 1]. Neizraziti skup A je podskup od neizrazitog skupa B, tj. A B, ako je µ A (x) µ B (x), x U. Denicija 4 (Jezgra neizrazitog skupa). Jezgra neizrazitog skupa A (engl. core) je podskup univerzalnog skupa (dakle klasi ni skup) sa svojstvom µ A (x) = 1, tj. core(a) = {x U µ A (x) = 1}.

32 20 POGLAVLJE 1. NEIZRAZITI SKUPOVI Denicija 5 (Potpora neizrazitog skupa). Potpora neizrazitog skupa A (engl. support) je podskup univerzalnog skupa (dakle klasi ni skup) sa svojstvom µ A (x) > 0, tj. support(a) = {x U µ A (x) > 0}. Denicija 6 (Visina neizrazitog skupa). Visina neizrazitog skupa A je maksimalna vrijednost funkcije pripadnosti µ A (x), tj. hgt(a) = max x U µ A (x). Denicija 7 (Univerzalni neizraziti skup). Univerzalni neizraziti skup X je skup sa svojstvom µ X (x) = 1, x U. Denicija 8 (Prazan skup). Prazan skup je skup sa svojstvom µ (x) = 0, x U. Ako je hgt(a) = 1, tada se kaºe da je neizraziti skup A normalan. Denicija 9 (Jednoelementni neizraziti skup). Jednoelementni neizraziti skup S deniran nad univerzalnim skupom U je neizraziti skup ija funkcija pripadnosti poprima vrijednost razli itu od nule za samo jedan element iz univerzalnog skupa. Drugim rije ima, to je neizraziti skup ija je potpora skup kardinaliteta 1. Primjer: 1 Treba denirati neizraziti skup "brojevi oko 10" i potom odrediti jezgru, potporu i visinu tog skupa. Je li to normalan skup? Rje²enje: Odaberimo za univerzalni skup skup cijelih brojeva. Skup "brojevi oko 10" moºemo denirati proizvoljno; odabrat emo sljede u deniciju: A = brojevi oko 10 = Slika u nastavku prikazuje funkciju pripadnosti ovako deniranog skupa. µ A (x) x

33 1.4. SVOJSTVA NEIZRAZITIH SKUPOVA 21 Jezgru ovog skupa ine svi elementi za koje je stupanj pripadnosti jednak 1 (denicija 4). To je u ovom slu aju samo broj 10, pa je jezgra ovog skupa skup core(a) = {10}. Uo ite da je ovo pravi skup, a ne neizraziti skup! Potporu ovog skupa ine svi elementi za koje je stupanj pripadnosti ve i od 0 (denicija 5). To su u na²em slu aju brojevi 8, 9, 10, 11 i 12 pa je potpora ovog skupa skup supp(a) = {8, 9, 10, 11, 12}. Uo ite da je ovo takožer pravi skup, a ne neizraziti skup! Visina ovog skupa, prema deniciji 6, je 1, jer je maksimum funkcije pripadnosti upravo 1 (postiºe se za x = 10). Skup je normalan jer mu je visina jednaka 1. Denicija 10 (Centar neizrazitog skupa). Ako je srednja vrijednost svih to- aka u kojima funkcija pripadnosti neizrazitog skupa A poprima maksimalnu vrijednost kona na, tada je ta vrijednost centar. Ako je ta srednja vrijednost jednaka pozitivnoj (negativnoj) beskona nosti, tada se kao centar uzima najmanja (najve a) to ka u kojoj funkcija pripadnosti poprima maksimalnu vrijednost. Ilustracija centara razli itih neizrazitih skupova prikazana je na slici Uz pretpostavku da je domena nad kojom su skupovi denirani od do +, neizraziti skupovi A 1 i A 5 nemaju kona nu srednju vrijednost elemenata za koje im je funkcija pripadnosti jednaka visini (u prikazanom slu aju visina je 1). Stoga je centar od A 1 najve i element x za koji je µ A1 (x) = hgt(a 1 ) dok je centar od A 5 najmanji element x za koji je µ A5 (x) = hgt(a 5 ). μ A (x) A 1 A 2 A 3 A 4 A 5 centar of A 1 centar of A 2 centar of A 3 centar of A 4 centar of A 5 x Slika 1.14: Primjeri centara neizrazitih skupova. Centar od A 3 je o ekivan postoji samo jedan element za koji je funkcija pripadnosti maksimalna i taj element je ujedno i centar. Kako neizraziti skup A 4 ima vi²e elemenata za koje funkcija pripadnosti poprima maksimalnu vrijednost, centar je njihova aritmeti ka sredina. Mežutim, mogu e je da centar neizrazitog skupa bude i element koji ne pripada neizrazitom skupu! Taj je primjer upravo ilustriran neizrazitim skupom A 2 ija funkcija pripadnosti najprije raste do 1 pa pada na nulu, pa je neko vrijeme nula i onda opet raste na 1 i pada na nulu. Postoje dva elementa za koje funkcija pripadnosti poprima maksimalnu vrijednost: njihova aritmeti ka sredina nalazi se to no izmežu gdje su elementi koji ne pripadaju neizrazitom skupu. Ovih

34 22 POGLAVLJE 1. NEIZRAZITI SKUPOVI problema ne e biti ako je neizraziti skup neizrazito konveksan upoznajmo se stoga i s tim pojmom. Denicija 11 (Neizrazito konveksan skup). Neizraziti skup A deniran nad univerzalnim skupom U je neizrazito konveksan ako vrijedi: µ A (λ x 1 + (1 λ x 2 )) min(µ A (x 1 ), µ A (x 2 )). Prethodna denicija nam zapravo kaºe da je neizraziti skup neizrazito konveksan ukoliko je, nakon ²to ksiramo dvije to ke (x 1 i x 2 ), stupanj pripadnosti svake to ke (x λ ) izmežu te dvije ksirane to ke ve i od manjeg od stupnjeva pripadnosti to aka x 1 i x 2. Slika 1.15 jasno ilustrira ovo pravilo. Treba uo iti da neizrazita konveksnost nije isto ²to i konveksnost poligona u geometrijskom smislu i to ne treba mije²ati. µ A (x) µ A (x) µ A (x 1 ) µ A (x 2 ) µ A (x λ ) µ A (x λ ) µ A (x 1 ) µ A (x 2 ) x 1 x λ x 2 x x 1 x λ x 2 x (a) Neizrazito konveksan skup (b) Skup koji nije neizrazito konveksan Slika 1.15: Pojam neizrazito konveksnog skupa. Postoji jednostavan na in kako se pogledom na gra ki prikaz funkcije pripadnosti moºe utvrditi je li skup neizrazito konveksan ili nije: princip je prikazan na slici µ A (x) Tekućina µ A (x) Tekućina x x (a) Neizrazito konveksan skup (b) Skup koji nije neizrazito konveksan Slika 1.16: Ocjena neizrazite konveksnosti skupa.

35 1.5. TEOREM PREDSTAVLJANJA. α-presjeci. 23 Zamislimo da smo na dijagram koji prikazuje funkciju pripadnosti skup izlili kantu vode. Neizraziti skup je neizrazito konveksan ukoliko ne zadrºava vodu, odnosno ako voda moºe iscuriti u potpunosti. Neizraziti skup nije neizrazito konveksan ukoliko postoje ºljebovi u kojima bi se voda zadrºavala. Denicija 12 (Kardinalni i relativni kardinalni broj). Neka je A kona an neizraziti skup deniran nad univerzalnim skupom U. Kardinalni broj skupa A je: A = x U µ A(x). Relativni kardinalni broj skupa A je A = A U. Primjer: 2 Dajte neku deniciju neizrazitog skupa "brojevi oko 5" deniranog nad univerzalnim skupom U = {1, 2, 3, 4, 5, 6, 7, 8, 9, 10}. Odredite njegov kardinalni i relativni kardinalni broj. Koliki bi bio njegov relativni kardinalni broj kada bismo za univerzalni skup uzeli skup cijelih brojeva? Rje²enje: Neizraziti skup "brojevi oko 5" moºemo denirati kako nam god to odgovara. Npr. denirajmo taj skup ovako: BO5 = Kardinalni broj skupa BO5 iznosi BO5 = = 2.4 (suma stupnjeva pripadnosti svih elemenata skupa BO5, denicija 12). Za relativni kardinalni broj od BO5 treba nam jo² i kardinalni broj od univerzalnog skupa: U = = 10 (suma stupnjeva pripadnosti svih elemenata univerzalnom skupa, denicija 12; prema deniciji, svaki element univerzalnom skupu pripada sa stupnjem pripadnosti 1, denicija 7). Relativni kardinalni broj neizrazitog skupa BO5 je tada BO5 = BO5 / U = 2.4/10 = 0.24 (denicija 12). Ukoliko bismo za univerzalni skup uzeli skup cijelih brojeva, tada bi relativni kardinalni broj skupa BO5 iznosio 0, budu i da je skup cijelih brojeva beskona an, pa mu je kardinalni broj. 1.5 Teorem predstavljanja. α-presjeci. U prethodnim poglavljima podsjetili smo se teorije klasi nih skupova i uveli smo jednu potpuno novu teoriju teoriju neizrazitih skupova. Mežutim, ve smo rekli da su klasi ni skupovi i neizraziti skupovi vrsto povezani. Prvi argument ove tvrdnje bio je da su neizraziti skupovi zapravo pro²irenje klasi nih skupova. Sada emo se upoznati s jo² jednom vezom koju iznosi teorem predstavljanja. Denicija 13 (Produkt αa). Neka je α [0, 1] i neka je A obi an skup. Produkt αa je neizraziti skup u kojem svaki element ima stupanj pripadnosti jednak α. Denicija 14 (Teorem predstavljanja). Svaki se neizraziti skup A moºe prikazati kao A = α αa α ili A = [0,1] αa α. Denicija 15 (α-presjek). α-presjek neizrazitog skupa A je klasi ni skup A α koji sadrºi sve one elemente iz A koji neizrazitom skupu A pripadaju barem sa stupnjem pripadnosti α.

36 24 POGLAVLJE 1. NEIZRAZITI SKUPOVI Teorem predstavljanja esto se koristi za pro²irivanje klasi nih matemati kih koncepata na neizrazite. Ovaj nam teorem zapravo govori da svaki neizraziti skup moºemo razloºiti na niz klasi nih skupova, pri emu za svaki klasi ni skup pamtimo jo² i njegov stupanj pripadnosti. Ovo e nam vrlo jasno demonstrirati sljede i primjer. Primjer: 3 Zadan je neizraziti skup "brojevi oko 5, ili malo ve i": A = nad univerzalnim skupom U = {1, 2, 3, 4, 5, 6, 7, 8, 9, 10}. Pronažite α-presjeke A 0, A 0.1, A 0.3, A 0.7, A 0.9, A 1.0 i pokaºite kako se iz tih α-presjeka moºe ponovno rekonstruirati neizraziti skup A. Rje²enje: Denicija 15 govori nam kako izra unati α-presjeke. Za α = 0 dobivamo α-presjek A 0 (tj. 0-presjek). To je klasi ni skup koji sadrºi sve one elemente koje neizraziti skup A sadrºi sa stupnjem pripadnosti od barem 0 (α = 0). To je o ito cijeli univerzalni skup. Dakle A 0 = U = {1, 2, 3, 4, 5, 6, 7, 8, 9, 10}. Za α = 0.1 dobivamo α-presjek A 0.1 (tj. 0.1-presjek). To je klasi ni skup koji sadrºi sve one elemente koje neizraziti skup A sadrºi sa stupnjem pripadnosti od barem 0.1 (α = 0.1). To je skup A 0.1 = {3, 4, 5, 6, 7, 8, 9}. Analogno se ra unaju i ostali α-presjeci. Imamo redom: A 0.3 = {4, 5, 6, 7, 8}, A 0.7 = {4, 5, 6, 7}, A 0.9 = {5, 6} te A 1.0 = {5}. Uo ite odmah da vrijedi A φ = A 0.1 φ (0, 0.1], A φ = A 0.3 φ (0.1, 0.3], A φ = A 0.7 φ (0.3, 0.7], A φ = A 0.9 φ (0.7, 0.9] te A φ = A 1.0 φ (0.9, 1.0]. Ovo je posljedica toga ²to je neizraziti skup u na²em primjeru diskretan i funkcija pripadnosti ne poprima sve vrijednosti iz intervala [0, 1] ve samo neke. Iz ovoga slijedi da je u na²em slu aju dovoljno izra unati samo one α-presjek za vrijednosti α koje funkcija pripadnosti doista poprima, jer e se ostali α-presjeci poklapati s ve izra unatima. Budu i da na²a funkcija pripadnosti poprima samo vrijednosti iz skupa {0, 0.1, 0.3, 0.7, 0.9, 1.0}, dovoljno je izra unati α-presjeke A 0, A 0.1, A 0.3, A 0.7, A 0.9, A 1.0. Skup A iz α-presjeka moºemo rekonstruirati na na in kako to govore denicija 14 i denicija 13. Denicija 13 nam daje naputak kako iz jednog α-presjeka dobiti odgovaraju i neizraziti skup: 0A 0 = A 0.1 = A 0.3 = A 0.7 = A 0.9 = A 1.0 = Denicija 14 sada nam govori kako iz neizrazitih skupova dobivenih iz α-presjeka rekonstruirati polazni neizraziti skup. Potrebno je jednostavno uzeti sve one elemente koji su sadrºani u nekom od α-presjeka, i to s onim stupnjem pripadnosti koji je najve i (ukoliko se isti element nalazi u vi²e α-presjeka s razli itim stupnjevima pripadnosti). Npr. element 5 nalazi se u 0A 0 sa stupnjem pripadnosti 0, u 0.1A 0.1 sa stupnjem pripadnosti 0.1, u 0.3A 0.3 sa stupnjem pripadnosti 0.3, u 0.7A 0.7 sa stupnjem pripadnosti 0.7, u 0.9A 0.9 sa stupnjem pripadnosti 0.9 te u 1.0A 1.0 sa

37 1.5. TEOREM PREDSTAVLJANJA. α-presjeci. 25 stupnjem pripadnosti 1.0. U neizrazitom skupu A element 5 e se nalaziti sa stupnjem pripadnosti koji je najve i od nabrojanih, a to je 1.0. Analognim razmatranjem za sve elemente dobije se: A = α αa α = α-presjeci mogu nam posluºiti i za jo² jedan na in deniranja neizrazite konveksnosti skupa. Naime, vrijedi sljede a denicija. Denicija 16 (Neizrazita konveksnost skupa). Neka je A neizraziti skup deniran nad univerzalnim skupom U. Neizraziti skup A je neizrazito konveksan akko su svi njegovi α-presjeci konveksni. Ovo jasno demonstrira slika Na slici 1.17a prikazan je neizrazito konveksan skup i jedan njegov α-presjek; sa slike se vidi da je taj α-presjek konveksan (povezan), i to svojstvo vrijedi za svaki α-presjek tog skupa. Na slici 1.17b prikazan je neizraziti skup koji nije neizrazito konveksan. Za taj skup postoje α-presjeci koji nisu konveksni (povezani); tako je na slici istaknut jedan α-presjek koji je jedan uniji dvaju istaknutih konveksnih skupova, i on sam nije konveksan. µ A (x) µ A (x) α α x x (a) Neizrazito konveksan skup konveksan α presjek (b) Skup koji nije neizrazito konveksan α presjek nije konveksan Slika 1.17: Neizrazita konveksnost preko α-presjeka.

38

39 Poglavlje 2 Operacije nad neizrazitim skupovima Klasi na teorija skupova poznaje itav niz operacija koje je mogu e provoditi nad skupovima unije, presjeci i komplementi samo su neke od njih. U ovom poglavlju pogledat emo kako se te operacije deniraju nad neuizrazitim skupovima. 2.1 Standardne operacije U nastavku slijede denicije operacija unije, presjeka i komplementa za neizrazite skupove. Denicija 17 (Unija neizrazitih skupova). Neka su A i B neizraziti skupovi denirani nad univerzalnim skupom U. Unija skupova A i B je neizraziti skup A B, sa svojstvom: x U µ A B (x) = max(µ A (x), µ B (x)), odnosno A B = {(x; µ A B (x)) x U, µ A B (x) = max(µ A (x), µ B (x))}. Denicija 18 (Presjek neizrazitih skupova). Neka su A i B neizraziti skupovi denirani nad univerzalnim skupom U. Presjek skupova A i B je neizraziti skup A B, sa svojstvom: x U µ A B (x) = min(µ A (x), µ B (x)), odnosno A B = {(x; µ A B (x)) x U, µ A B (x) = min(µ A (x), µ B (x))}. Denicija 19 (Komplement neizrazitog skupa). Neka je A neizraziti skup deniran nad univerzalnim skupom U. Komplement skupa A je neizraziti skup A, sa svojstvom: x U µ A (x) = 1 µ A (x), odnosno A = {(x; µ A (x)) x U, µ A (x) = 1 µ A (x)}. Komplement skupa A jo² e se ozna avati i s A C. 27

40 28 POGLAVLJE 2. OPERACIJE NAD NEIZRAZITIM SKUPOVIMA µ A (x) µ B (x) x x (a) Neizraziti skup A (b) Neizraziti skup B µ A B (x) (c) Neizraziti skup A B x µ A B (x) (d) Neizraziti skup A B x µ A (x) (e) Neizraziti skup A x Slika 2.1: Standardne denicije presjeka, unije i komplementa neizrazitih skupova. Rezultat operacija prikazan je plavom bojom.

41 2.2. S-NORME I T -NORME 29 Ilustracije ovih operacija dane su na slici 2.1. Ove denicije dao je u svojim radovima Zadeh, a jo² ih zovemo i min-max denicije (denicija 17, denicija 18, denicija 19). Tablica 2.1 navodi svojstva min-max operatora. Tablica 2.1: Svojstva min-max operatora A B = B A Komutativnost A B = B A Komutativnost A (B C) = (A B) C Asocijativnost A (B C) = (A B) C Asocijativnost A (B C) = (A B) (A C) Distributivnost A (B C) = (A B) (A C) Distributivnost A A = A Idempotencija A A = A Idempotencija (A B) C = A C B C DeMorganovi zakoni (A B) C = A C B C DeMorganovi zakoni (A C ) C = A Involutivnost A = A, A U = U Rubni uvjeti A =, A U = A Rubni uvjeti Ako je A B i B C tada je A C Tranzitivnost A A C = Zakon kontradikcije NE VRIJEDI A A C = U Zakon isklju enja tre ega NE VRIJEDI 2.2 s-norme i t-norme Osim min-max operatora postoji jo² mno²tvo na ina za deniranje ovih istih operacija. tovi²e, napravljena je generalizacija ovih operacija i tako su izvedene t-norme (za operacije presjeka), s-norme (za operacije unije; jo² se nazivaju i t-konorme) te generalizirane operacije komplementa. U nastavku emo dati njihove denicije. Denicija 20 (t-norma). t-norma ozna ava klasu binarnih funkcija t : [0, 1] [0, 1] [0, 1] sa svojstvima T1-T4. T1 t(a, b) = t(b, a) komutativnost T2 t(a, t(b, c)) = t(t(a, b), c) asocijativnost T3 a c b d t(a, b) t(c, d) monotonost T4 t(a, 1) = a, t(0, a) = 0 rubni uvjeti Denicija 21 (s-norma). s-norma ozna ava klasu binarnih funkcija s : [0, 1] [0, 1] [0, 1] sa svojstvima S1-S4.

42 30 POGLAVLJE 2. OPERACIJE NAD NEIZRAZITIM SKUPOVIMA S1 s(a, b) = s(b, a) komutativnost S2 s(a, s(b, c)) = s(s(a, b), c) asocijativnost S3 a c b d s(a, b) s(c, d) monotonost S4 s(a, 1) = 1, s(0, a) = a rubni uvjeti Denicija 22 (Generalizirana operacija komplementa). Generalizirana operacija komplementa ozna ava klasu unarnih funkcija c : [0, 1] [0, 1] sa svojstvima C1-C3. C1 c(0) = 1, c(1) = 0 rubni uvjeti C2 a < b c(a) > c(b) C3 c(c(a)) = a involutivnost Za s-norme i t-norme te generaliziranu operaciju komplementa vrijede DeMorganovi zakoni, odnosno: s(a, b) = c(t(c(a), c(b))), t(a, b) = c(s(c(a), c(b))). Osim DeMorganovovih zakona za koje smo upravo naveli da vrijede, moºe se pokazati da vrijede i svi ostali zakoni klasi ne teorije skupova, osim zakona kontradikcije A A C = i zakona isklju enja tre ega A A C = U (vidi tablica 2.1). Da ova dva zakona ne vrijede, lako se moºemo uvjeriti ako poku²amo izra unati te dvije operacije za neki konkretan skup, ²to je prikazano na slici 2.2. Slike 2.2a i 2.2b prikazuju skupove A i A C, dok su na slikama 2.2c i 2.2d prikazani presjek i unija. Jasno se vidi da presjek nije prazan skup, i unija nije univerzalni skup.

43 2.2. S-NORME I T -NORME 31 µ A (x) µ A (x) x x (a) Neizraziti skup A. (b) Neizraziti skup A C. µ A A (x) µ A A (x) x x (c) Zakon kontradikcije ne vrijedi. (d) Zakon isklju enja tre ega ne vrijedi. Slika 2.2: Dva zakona koja ne vrijede. Primjer: 4 Pokaºite da je Zadehova denicija unije ispravno denirana s-norma. Pokaºite da uz Zadehove denicije unije, presjeka i komplementa vrijede DeMorganovi zakoni. Rje²enje: Zadeh je uniju denirao kao maksimum. Treba provjeriti da za takvu deniciju vrijede zahtjevi S1-s4. Zahtjev S1 traºi da vrijedi s(a, b) = s(b, a). Provjerimo je li to istina za operaciju maksimum. max(a, b) = max(b, a)... vrijedi! Zahtjev S2 traºi da vrijedi s(a, s(b, c)) = s(s(a, b), c). Provjerimo je li to istina za operaciju maksimum. max(a, max(b, c)) = max(max(a, b), c)... vrijedi! Zahtjev S3 traºi da vrijedi a c b d s(a, b) s(c, d). Provjerimo je li to istina za operaciju maksimum, tj. vrijedi li max(a, b) max(c, d). Odgovor emo potraºiti analizom po slu ajevima. Neka je npr. a < b i c < d. Tada je max(a, b) = b, max(c, d) = d; kako S3 kaºe da je b < d, tada doista vrijedi max(a, b) = b < max(c, d) = d. Sli no se moºe ispitati i za ostale kombinacije te pokazati da zahtjev S3 vrijedi! Zahtjev S4 traºi da vrijedi s(a, 1) = 1 i s(0, a) = a. Provjerimo je li to istina za operaciju maksimum, tj. vrijedi li max(a, 1) = 1 i max(0, a) = a. Budu i da se vrijednosti za a kre u u intervalu [0, 1], tada doista vrijedi da je max(a, 1) = 1 i da je max(0, a) = a. Pokaºimo sada jo² i da vrijede DeMorganovi zakoni. Dokazati emo samo jedan, jer se drugi dokazuje ekvivalentno (a ako vrijedi jedan, onda nam s-norme i t-norme te generalizacija operacije komplementa osiguravaju da vrijedi i drugi). Npr. pogledajmo zakon s(a, b) = c(t(c(a), c(b))). U slu aju operacije max to bi zahtjevalo da vrijedi: max(a, b) = 1 (min(1 a, 1 b)). Opet emo napraviti analizu po slu ajevima. Neka je a < b. Tada je max(a, b) = b. Tada je i 1 a > 1 b pa je min(1 a, 1 b) = 1 b.

44 32 POGLAVLJE 2. OPERACIJE NAD NEIZRAZITIM SKUPOVIMA Uvr²tavanjem slijedi: b = 1 (1 b) = b = b. Neka je a > b. Tada je max(a, b) = a. Tada je i 1 a < 1 b pa je min(1 a, 1 b) = 1 a. Uvr²tavanjem slijedi: a = 1 (1 a) = a = a. Dakle, DeMorganovi zakoni vrijede. Zadehove denicije unije i presjeka denirane su imaju i u vidu neizrazite skupove. Mežutim, specijalni slu aj neizrazitih skupova su upravo klasi ni skupovi kod kojih elementi ili pripadaju skupu ili ne pripadaju. Zbog toga denicije unije i presjeka koje se koriste u neizrazitoj logici za specijalne slu- ajeve neizrazitih skupova (kada se skupovi mogu poistovjetiti sa klasi nima) moraju odgovarati denicijama unije i presjeka iz klasi ne teorije skupova. Ovo ilustrira sljede i primjer. Primjer: 5 Pokaºite da se Zadehove denicije unije i presjeka za slu aj kada se koriste neizraziti skupovi s funkcijom pripadnosti ograni enom na vrijednosti {0, 1} pona²aju jednako kao i denicije unije i presjeka kod klasi nih skupova. Rje²enje: Operacije unije i presjeka u klasi noj se teoriji skupova deniraju na sljede i na in. Element pripada uniju dvaju skupova ukoliko pripada barem jednom od skupova. Element pripada presjeku dvaju skupova ukoliko pripada u oba skupa. Ukoliko se posluºimo karakteristi nom funkcijom, operacije unije i presjeka moºemo prikazati i tabli no. µ A (x) µ B (x) µ A B (x) µ A B (x) Kada se funkcija pripadnosti neizrazitog skupa ograni i na elemente {0, 1}, rezultat mora biti jednak. Provjerimo to. µ A (x) µ B (x) µ A B (x) µ A B (x) 0 0 min(0, 0) = 0 max(0, 0) = min(0, 1) = 0 max(0, 1) = min(1, 0) = 0 max(1, 0) = min(1, 1) = 1 max(1, 1) = 1 Vidimo da se rezultati u tablici doista poklapaju s tablicom u kojoj smo prikazali klasi ne operacije unije i presjeka, ²to jasno govori da se za specijalni slu aj neizrazitih skupova koji odgovaraju klasi nim skupovima denicije unije i presjeka iz teorije neizrazitih skupova poklapaju s operacijama unije i presjeka iz klasi ne teorije skupova. Osim prethodno opisanih Zadehovih s-normi i t-normi, postoji jo² mno²tvo normi koje su u uporabi, a neke od njih navedene su u nastavku (tablica 2.2). Pri tome je zanimljivo istaknuti da se razli ite t-norme, ba² kao i razli ite s-norme mogu poredati po veli ini. Naime, vrijedi sljede i odnos: t d t o t E t a t H t min,

45 2.2. S-NORME I T -NORME 33 Tablica 2.2: ƒeste neparametrizirane t-norme i s-norme Zadeh Minimum (t min ), Zadeh Maksimum (t min ) Hamacherov produkt (t H ), Hamacherova suma (s H ) Algebarski produkt (t a ), Algebarska suma (s H ) Einsteinov produkt (t E ), Einsteinova suma (s E ) Ograni eni produkt (t o ), Ograni ena suma (s o ) Drasti ni produkt (t d ), Drasti na suma (t s ) min(a, b) max(a, b) ab a+b ab ab ab 2 (a+b ab) a+b 2ab 1 ab a + b ab a+b 1+ab max(0, a + b 1) min(1, a + b) { min(a, b), max(a, b) = 1 0, ina e { max(a, b), min(a, b) = 0 1, ina e s max s H s a s E s o s d. Iz ovoga je vidljivo da je funkcija minimum gornja ograda za sve t-norme a funkcija maksimum donja ograda za sve s-norme. Primjer: 6 Pokaºite da se sve neparametrizirane norme koje smo denirali (tablica 2.2) u slu aju kada se koriste neizraziti skupovi s funkcijom pripadnosti ograni enom na vrijednosti {0, 1} pona²aju jednako kao i denicije unije i presjeka kod klasi nih skupova. Rje²enje: Za Zadehove operacije tvrdnju smo ve provjerili. Provjerimo za ostale norme. Hamacherov produkt Hamacherova suma µ A (x) µ B (x) µ A B (x) µ A B (x) = = = = = = = = Kod Hamacherovog produkta treba uo iti slu aj t H (0, 0) koji direktnim uvr²tavanjem u izraz daje razlomak 0 pa nije jasno koju to vrijednost poprima. Mežutim, moºe se pogledati slu aj 0 t H (0, δ) za δ > 0: 0 δ t H (0, δ) = 0 + δ 0 δ = 0 δ = 0.

46 34 POGLAVLJE 2. OPERACIJE NAD NEIZRAZITIM SKUPOVIMA Vidimo da je za sve pozitivne iznose od δ vrijednost jednaka 0, pa se denira da i u limesu kad δ 0 iznos ostaje 0. Takožer, ako dopustimo da oba parametra budu razli ita od 0 i da se mjenjaju na isti na in (neka je a = b = ξ), tada imamo da je t H (a, b) = t H (ξ, ξ) jednak: t H (ξ, ξ) = iz ega se vidi da izraz u limesu teºi prema nuli: ξ ξ ξ + ξ ξ ξ = 1 2 ξ 1 lim = 1 ξ 0 2 ξ 1 = 0. Na sli an se na in moºe pokazati da Hamacherova suma za slu aj s H (1, 1) poprima vrijednost 1. Algebarski produkt Algebarska suma µ A (x) µ B (x) µ A B (x) µ A B (x) = = = = = = = = 1 Einsteinov produkt Einsteinova suma µ A (x) µ B (x) µ A B (x) µ A B (x) ( ) = = ( ) = = ( ) = = ( ) = = 1 Ograni en produkt Ograni ena suma µ A (x) µ B (x) µ A B (x) µ A B (x) 0 0 max(0, ) = 0 min(1, 0 + 0) = max(0, ) = 0 min(1, 0 + 1) = max(0, ) = 0 min(1, 1 + 0) = max(0, ) = 1 min(1, 1 + 1) = 1 Drasti ni produkt Drasti na suma µ A (x) µ B (x) { µ A B (x) { µ A B (x) min(0, 0), max(0, 0) = 1 max(0, 0), min(0, 0) = = 0 { 0, ina e { 1, ina e min(0, 1), max(0, 1) = 1 max(0, 1), min(0, 1) = = 0 { 0, ina e { 1, ina e min(1, 0), max(1, 0) = 1 max(1, 0), min(1, 0) = = 0 { 0, ina e { 1, ina e min(1, 1), max(1, 1) = 1 max(1, 1), min(1, 1) = = 1 0, ina e 1, ina e = 0 = 1 = 1 = 1 Ovime smo dokazali da vrijede rubni uvjeti za sve navedene neparametrizirane norme.

47 2.3. PARAMETRIZIRANE S-NORME I T -NORME Parametrizirane s-norme i t-norme Uz prethodno prikazane norme, razvijena je jo² jedna porodica normi parametrizirane s-norme i t-norme, koje se od prethodno navedenih razlikuju po tome ²to sve nude jedan dodatni parametar kojim se moºe no pode²avati djelovanje same norme. Na ovaj na in omogu ava se izgradnja sustava koji svoj rad zasnivaju na neizrazitoj logici, uz mogu nost naknadnog nog pode- ²avanja rada sustava bez potrebe za kompletnim redizajnom i uporabom neke druge norme. Neke uobi ajene parametrizirane s-norme i t-norme navedene su u nastavku (tablica 2.3). Lako se moºe provjeriti da i ove parametrizirane norme zadovoljavaju sve zahtjeve koji su postavljeni generalizacijom (S1-S4 za s-norme te T1-T4 za t-norme). Uz ove parametarske norme parametrizirani su i odgovaraju i komplementi. Tipi ne parametrizirane komplemente prikazuje tablica 2.4. Tablica 2.3: ƒeste parametrizirane t-norme i s-norme t-norma s-norma Hamacherova norma, ν 0 ab ν+(1 ν)(a+b ab) a+b (2 ν)ab 1 (1 ν)ab Yagerova norma, q 0 1 min(1, q (1 a) q + (1 b) q ) min(1, q a q + b q ) ( Frankova ) norma, s > 0, s ( 1 ) log s 1 + (sa 1)(s b 1) 1 log s 1 + (s1 a 1)(s 1 b 1) s 1 ab max(a,b,α) Dubois-Prade norma, α [0, 1] s 1 a+b ab min(a,b,1 α) max(1 a,1 b,α) Tablica 2.4: Parametrizirane operacije komplementa Naziv komplementa Sugenov komplement Yagerov komplement Izraz 1 a 1+α a β 1 a β Sada se moºe jasno uo iti da su neparametrizirane norme samo specijalni slu ajevi parametriziranih. Tablica 2.5 prikazuje neparametrizirane norme, kao i koje parametrizirane norme za koju vrijednost parametra prelaze u odgovaraju e neparametrizirane ina ice.

48 36 POGLAVLJE 2. OPERACIJE NAD NEIZRAZITIM SKUPOVIMA Tablica 2.5: Odnos parametriziranih i neparametriziranih normi Naziv norme Hamacherov produkt (t H ) / Hamacherova suma (s H ) Algebarski produkt (t a ) / Algebarska suma (s a ) Einsteinov produkt (t E ) / Einsteinova suma (s E ) Ograni ena razlika (t o ) / Ograni ena suma (s o ) Drasti na razlika (t d ) / Drasti na suma (s d ) Parametrizirana norma H(0) H(1), DP (1) H(2) Y (1) H( ), Y (0) Primjer: 7 Pokaºite da se ograni ena suma odnosno ograni ena razlika doista dobiju iz Yagerove norme za vrijednost parametra 1. Rje²enje: Pogledajmo najprije Yagerovu s-normu: min(1, q a q + b q ). Za vrijednost parametra q = 1 imamo: min(1, 1 a 1 + b 1 ) = min(1, a + b) ²to je doista ograni ena suma. Yagerova t-norma 1 min(1, q (1 a) q + (1 b) q ) za vrijednost parametra q = 1 prelazi u: 1 min(1, 1 (1 a) 1 + (1 b) 1 ) = 1 min(1, 1 a + 1 b) = 1 min(1, 2 a b). Da bismo dobili oblik u kojem je zapisan ograni eni produkt, treba se prisjetiti veze izmežu minimuma i maksimuma kada se vrijednosti nalaze u intervalu [0, 1]. Vrijedi: min(a, b) = 1 max(1 a, 1 b) pa uvr²tavanjem slijedi: 1 min(1, 2 a b) = 1 (1 max(1 1, 1 (2 a b))) = max(0, a+b 1) ²to je upravo formula ograni enog produkta. Primjer djelovanja parametriziranih Hamacherovih t-normi i s-normi prikazan je na slici 2.3. Iz tog primjera je jasno vidljivo pona²anje pri rubnim uvjetima, kao i kakav utjecaj imaju vrijednosti parametra na kona ni rezultat. Iz prethodnog razmatranja vidimo da nam na raspolaganju stoji velik broj razli itih normi. Mežutim, kada se odlu imo za realizaciju konkretnog sustava morati emo odabrati jednu od tih normi i s njom raditi do kraja. Na temelju kojih kriterija moºemo obaviti taj odabir? Nekoliko prijedloga dano je u nastavku. Aksiomi koje operator zadovoljava. Primjer aksioma Bellman-Giertz i Hamacher. Ako je sve drugo isto, bolji je onaj operator iji su aksiomi manje ograni avaju i. Empirijska provjera. Teorija neizrazitih skupova koristi se za modeliranje realnih situacija i modela; stoga nije samo dovoljno da operator zadovoljava odrežene aksiome ve mora adekvatno modelirati stvarne situacije.

49 2.3. PARAMETRIZIRANE S-NORME I T -NORME 37 µ A (x) µ B (x) x x (a) Neizraziti skup A (b) Neizraziti skup B µ A B (x) µ A B (x) x x (c) Neizraziti skup A B uz ν = 0.1 (d) Neizraziti skup A B uz ν = 10 µ A B (x) µ A B (x) x x (e) Neizraziti skup A B uz ν = 0.1 (f) Neizraziti skup A B uz ν = 10 Slika 2.3: Unija i presjek neizrazitih skupova uporabom Hamacherovih parametriziranih normi. Rezultat operacija prikazan je plavom bojom. Vrijednost parametra navedena je uz svaku sliku zasebno.

50 38 POGLAVLJE 2. OPERACIJE NAD NEIZRAZITIM SKUPOVIMA Prilagodljivost. Izbor operatora ovisi o kontekstu i semanti koj interpretaciji. Ako je potrebno modelirati jednim operatorom vi²e stvarnih situacija tada se to postiºe odabirom odgovaraju eg parametra parametriziranih operatora (Yager, Hamacher, itd.). Min-max operatori nisu prihvatljivi u smislu prilagodljivosti, ali oni imaju druge prednosti poput numeri ke ekasnosti. Numeri ka ekasnost. Min-max operatori numeri ki su ekasni (za razliku od primjerice Hamacherovog i γ operatora) ²to moºe biti jako vaºno kod rje²avanja ve ih realnih problema. Kompezatornost. Logi ki "i" ne dozvoljava kompenzaciju; mala vrijednost stupnja pripadnosti jednom skupu ne moºe se kompenzirati pove- anjem stupnja pripadnosti drugom skupu. Kompenzacija u kontekstu operatora zdruºivanja zna i sljede e: za danu vrijednost funkcije pripadnosti elementa x zdruºenom neizrazitom skupu µ Aggr (x) = f(µ A (x), µ B (x)) = k, f je kompenzatorni operator ako se vrijednost k moºe dobiti za razli ite µ A (x) mijenjanjem µ B (x). Primjerice, min nije kompenzatoran ali produkt i γ-operator jesu). Rang kompenzacije Za kompenzatorne operatore vrijedi da su bolji ²to imaju ve i rang kompenzacije. Primjer: konveksna kombinacija min i max omogu ava kompenzaciju izmežu min i max, dok produkt operator dozvoljava kompenzaciju na (0, 1). Pona²anje kod zdruºivanja Ovisnost o broju skupova koji se zdruºuju. Primjer: kod produkt operatora svaki novi dodani skup utje e na vrijednost funkcije pripadnosti u zdruºenom skupu, kod min operatora to nije slu aj. Skala vrijednosti funkcije pripadnosti Skale op enito mogu biti: nominalna, urežajna (ordinalna), intervalna te racionalna. Operator koji zahtijeva slabiju skalu je poºeljniji. Na primjer, min operator dozvoljava ordinalnu skalu dok produkt ne dozvoljava. Prilikom kombiniranja dvaju neizrazitih skupova do sada smo razmotrili dva op enita na ina njihovog kombiniranja. Jedan je uporabom t-normi. Rezultat zdruºivanja dvaju neizrazitih skupova uporabom t-normi ograni- en je na interval [0, min(µ A (x), µ B (x))] (jer je minimum gornja ograda svih t-normi). Drugi na in zdruºivanja je uporabom s-normi. Rezultat zdruºivanja dvaju neizrazitih skupova uporabom s-normi ograni en je na interval [max(µ A (x), µ B (x)), 1] (jer je maksimum donja ograda svih s-normi). Rezultat zdruºivanja koji bi pripadao u mežuprostor, odnosno u interval

51 2.3. PARAMETRIZIRANE S-NORME I T -NORME 39 [min(µ A (x), µ B (x)), max(µ A (x), µ B (x))], nije mogu e dobiti niti t-normama niti s-normama. Taj prostor pokrivaju operatori uprosje ivanja. U kontekstu dono²enja odluka (npr. kod vi²ekriterijskog programiranja) vrlo vaºnu ulogu imaju operatori uprosje ivanja (engl. averaging operators). Ovi operatori realiziraju ideju "trgovanja" (engl. trade-o ) izmežu kon- iktnih ciljeva kada je dozvoljena kompenzacija. Tada rezultat leºi izmežu najoptimisti nije donje (min) i najpesimisti nije gornje (max) granice. Primjeri ovih operatora su dobro poznati: aritmeti ka sredina, geometrijska sredina, harmonijska sredina, neizraziti "i", neizraziti "ili" te kompenzatorni "i" (tj. γ-operator). Tablica 2.6 prikazuje denicije ovih operatora. Tablica 2.6: Denicije operatora uprosje ivanja Naziv operatora Denicija aritmeti ka sredina x = x 1+x 2 2 geometrijska sredina G = x x2 2 harmonijska sredina H = 2 1 x x 2 neizraziti "i" µ A i B (x) = γ min(µ A (x), µ B (x)) + (1 γ) µ A(x)+µ B (x) 2, za γ [0, 1] neizraziti "ili" µ A ili B (x) = γ max(µ A (x), µ B (x)) + (1 γ) µ A(x)+µ B (x) 2, za γ [0, 1] kompenzatorni "i", odnosno γ-operator, 0 γ 1 ( m µ γ (x) = µ i (x) i=1 ) 1 γ ( 1 m (1 µ i (x)) Uo ite da operator neizraziti "i" temeljem parametra γ interpolira rezultat izmežu Zadehovog minimuma i aritmeti ke sredine funkcija pripadnosti dok operator neizraziti "ili" temeljem parametra γ interpolira rezultat izmežu Zadehovog maksimuma i aritmeti ke sredine funkcija pripadnosti. S operatorima neizraziti "i" i neizraziti "ili" postiºu se vrlo dobri empirijski rezultati. Za γ = 1 µ A i B (x) odgovara Zadehovom min operatoru, a µ A ili B (x) Zadehovom max operatoru. Za γ < 1 operator uprosje ivanja je vi²e optimisti an nego minimum operator koji je najoptimisti niji u slu aju t-normi. Bitno je napomenuti da ovi operatori nisu asocijativni. i=1 ) γ

52 40 POGLAVLJE 2. OPERACIJE NAD NEIZRAZITIM SKUPOVIMA Primjer: 8 Pokaºite da operator neizraziti "i" nije asocijativan. Rje²enje: Pretpostavimo sljede e: γ = 0.6, a = 0.2, b = 0.4 te c = 0.8. Ra unamo redom: a i b = 0.6 min(a, b) (a + b)/2 = 0.24 b i c = 0.6 min(a, b) (a + b)/2 = 0.44 (a i b) i c = 0.6 min(0.24, c) ( c)/2 = a i (b i c) = 0.6 min(a, 0.44) (a )/2 = O ito je da redoslijed primjene operatora utje e na kona ni rezultat, pa operator nije asocijativan.

53 Poglavlje 3 Jezi ne varijable Neizrazita logika vrlo je pogodna za pribliºno zaklju ivanje, kada imamo neprecizno ili nejasno denirane podatke. Osnovni pojam koji se koristi u pribliºnom zaklju ivanju jest jezi na varijabla. Uvoženjem jezi ne varijable omogu ujemo pribliºan i sustavan opis i analizu sustava koji su ina e nejasni ili prekomplicirani da bi se na njih primijenile konvencionalne matemati ke metode. Formalna denicija jezi ne varijable dana je u nastavku (denicija 23). Denicija 23 (Jezi na varijabla). Jezi na varijabla je urežena petorka (X, T X, U, G, M X ) gdje je: X naziv jezi ne varijable, T X skup jezi nih vrijednosti koje jezi na varijabla moºe poprimiti (engl. term set), U stvarna zi ka domena u kojoj elementi iz T X poprimaju numeri ke vrijednosti (engl. universe of disclosure), G gramatika (odnosno skup sintaksnih pravila) koja generira skup T X iz osnovnih termina; to je kontekstno ovisna gramatika te M X semanti ka funkcija koja daje zna enje lingvisti kim izrazima. To je funkcija koja svakom elementu iz T X pridruºuje neizraziti podskup od U (engl. meaning). Pogledajmo to na jednostavnom primjeru jezi ne varijable "starosna dob", prikazane na slici 3.1. Jezi na variabla starosna dob denirana je nad skupom cijelih nenegativnih brojeva koje tuma imo kao starost osobe. Ta jezi na varijable ima kao skup osnovnih termina vrijednosti {"dijete", "mlad", "star"} (i jo² druge koje nisu prikazane na slici). Za svaki od tih termina deniran je neizraziti skup koji terminu daje zna enje; tako je terminu "dijete" pridruºen neizraziti skup za koji sa slike vidimo da je µ dijete (5) = 1, 41

54 42 POGLAVLJE 3. JEZIƒNE VARIJABLE Slika 3.1: Jezi na varijabla "starosna dob". µ dijete (10) = 0.9, µ dijete (15) = 0.7, i tako dalje (zbog preglednosti na slici nisu napisane sve vrijednosti). Na sli an na in je i svakom drugom osnovnom terminu pridruºen jedan neizraziti skup koji mu daje zna enje. Uz deniranu jezi nu varijablu moºemo zamisliti i da je dana gramatika koja bi omogu ila deniranje izvedenih vrijednosti, poput "dijete ili mlad", "ne start", "dijete ili vrlo mlad" i sli no, gdje su operacije "i", "ili" i "ne" klasi ne neizrazite operacije a "vrlo" jezi ni modikator (obradit emo ih uskoro). Svakom od tih izraza moºe se opet pridruºiti jedan neizraziti skup koji mu denira zna enje; taj se skup mežutim ne zadaje unaprijed ve ga se moºe izra unati. Primjerice, pogledajmo izraz "dijete ili mlad". U okviru denicije jezi ne varijable deniran je neizraziti skup koji je pridruºen terminu "dijete" te neizraziti skup koji je pridruºen terminu "mlad". Izrazu "dijete ili mlad" moºemo pridruºiti neizraziti skup koji je unija tih dviju neizrazitih skupova, ²to je mogu e napraviti automatski tijekom tuma enja izraza koji je generiran pridruºenom gramatikom i semanti kom funkcijom. Uz jezi ne varijable vezan je i pojam jezi nih modikatora. Prilikom deniranja jezi ne varijable (npr. "starosna dob") denira se skup osnovnih termina (npr. "mlad", "star") i skup jezi nih modikatora koji mogu djelovati na te osnovne izraze i graditi njihove modikacije (npr. modikator "vrlo" kako bismo mogli izgraditi izraz "vrlo mlad"). Uobi ajeno se deniraju tri osnovna modikatora: koncentracija, dilatacija te kontrastna intenzikacija. Denicija 24 (Koncentracija, dilatacija, kontrastna intenzikacija). Neka je A neizrazit skup deniran nad univerzalnim skupom U, te neka je µ A (x) funkcija pripadnosti skupa A. Koncentracija od A je takožer neizraziti skup con(a), sa svojstvom: µ con(a) (x) = µ A (x) 2. Dilatacija od A je takožer neizraziti skup dil(a) sa svojstvom: µ dil(a) (x) = µ A (x). Kontrastna in-

55 43 tenzikacija od A je takožer neizraziti skup int(a) sa svojstvom: { 2 µa (x) 2 0 µ µ int(a) (x) = A (x) (1 µ A (x)) < µ A (x) 1. Djelovanje ovih modikatora prikazuju slike 3.2a, 3.2b i 3.2c, pri emu je funkcija pripadnosti skupa A nacrtana crvenom bojom, a funkcija pripadnosti modiciranih skupova plavom bojom. Poku²ajmo sada prona i jezi ne izraze kojima bismo mogli opisati u inke pojedinih modikatora. Npr. pogledajmo ²to prikazuje slika 3.2a. Skup A (crvena boja) deniran je nad univerzalnim skupom realnih brojeva [0, 40]. Kada bismo morali pogažati koji koncept predstavlja taj skup, mogli bismo npr. re i da on predstavlja koncept "brojevi oko 20", jer mu broj 20 pripada sa stupnjem pripadnosti 1, dok stupnjevi pripadnosti brojeva lijevo i desno opadaju sa udaljavanjem od tog broja. Tako npr. broj 15 pripada skupu "brojevi oko 20" sa stupnjem pripadnosti 0.5. Ako bismo sada morali pogažati ²to predstavlja koncentracija skupa A (plava boja), ²to bismo odgovorili? Broj 20 i ovom skupu pripada sa stupnjem pripadnosti 1, ²to opet upu uje na koncept "brojevi oko 20". Mežutim, kako smo rekli da ba² skup A opisuje koncept "brojevi oko 20", ne moºemo to isto re i i za njegovu koncentraciju jer ta dva skupa nisu jednaka. Pogledajmo primjerice broj 15. On koncentraciji skupa A pripada sa stupnjem pripadnosti od 0.25, ²to je manji stupanj od onoga kojim taj isti broj pripada skupu A (0.5). Stoga moºemo zaklju iti da ovaj skup predstavlja koncept koji puno drasti nije shva a pojam "oko" odnosno ne dozvoljava veliko udaljavanje. Koju rije bismo mogli upotrijebiti za ovo poo²trenje koncepta "brojevi oko 20"? Prirodno se name e rije : vrlo. Koncentracija skupa A moºe se shvatiti kao koncept "brojevi oko 20, koji su vrlo blizu oko 20". Sli no se razmatranje moºe provesti i za ostale modikatore. tovi²e, uobi ajeno je poistovje ivanje prikazano tablicom. Tablica 3.1: Veza jezi nih modikatora i jezi nih izraza con(a) vrlo A (very A) dil(a) neznatno A (slightly A) A 1.25 vi²e A (more A) A 0.75 manje A (less A) int(vi²e A ne vrloa) manje ili vi²e A (more or less A) I odmah da odgovorim na pitanje koje se jasno postavlja: mora li se pojam vrlo vezati ba² uz kvadriranje? Ne mora! Kako emo shva ati zna enje izraza vrlo A, potpuno je subjektivno. Moºemo npr. uz izraz vrlo A vezati potenciranje stupnjeva pripadnosti na 3.14-tu potenciju, ako smatramo da je ba² to ono ²to e nam omogu iti da ostvarimo sustav koji gradimo, ili sli no. Bitno je jedino da uz izraz vrlo poveºemo takvu operaciju koja e biti smislena. Npr. ako broj 15 skupu "brojevi oko 20" pripada sa stupnjem

56 44 POGLAVLJE 3. JEZIƒNE VARIJABLE µ R (x) x (a) Koncentracija neizrazitog skupa A µ R (x) (b) Dilatacija neizrazitog skupa A x µ R (x) x (c) Kontrastna intenzikacija neizrazitog skupa A Slika 3.2: Jezi ni modikatori: koncentracija, dilatacija, kontrastna intenzi- kacija. Rezultat operacija prikazan je plavom bojom.

57 45 pripadnosti 0.5, tada je za izgradnju koncepta "brojevi VRLO blizu oko 20" pogodna svaka operacija koja e tom istom broju 15 pridruºiti stupanj pripadnosti koji je manji od 0.5 (jer se ina e dovodimo u sukob sa zdravim razumom). Sli no vrijedi i za ostale jezi ne izraze. Npr. vi²e A se moºe ra unati kao A na u potenciju i sl. U ovom poglavlju koristili smo jo² ne²to ²to je potrebno malo pobliºe denirati. Kada smo poku²avali koncentraciji dodijeliti nekakav jezi ni izraz (usporežuju i skup A i njegovu koncentraciju), igrali smo se pogažanja i poku²avali smo otkriti ²to bi to zapravo moglo biti. Ovaj proces "pogaženja" zove se jezi na aproksimacija. Jezi na aproksimacija je proces pronalaºenja jezi nog izraza ije je zna enje (funkcija pripadnosti) jednako ili najbliºe mogu e zna enju (ili funkciji pripadnosti) sloºenog izraza. Jezi nu aproksimaciju provodimo uvijek kada kao rezultat djelovanja sustava (odnosno funkcije) na ulaznu vrijednost dobijemo neku izlaznu vrijednost koju zatim ºelimo "shvatiti", odnosno na neki pro itati ²to to zapravo jest. Sada kada smo nau ili ²to je jezi na varijabla i ²to su jezi ni modikatori, pogledajmo jedan konkretan primjer deniranja jezi ne varijable "starosna dob". Primjer: 9 Prikazati jedan poptun primjer denicije jezi ne varijable "starosna dob". Rje²enje: Jezi na varijabla je urežena petorka (denicija 23). Stoga je potrebno ponuditi denicije svih pet komponenata. X je "starosna dob". T X se sastoji od dva osnovna izraza: {mlad, star} i svih sloºenih izraza koji se mogu izvesti iz njih uporabom gramatike G koju emo denirati u nastavku. U je skup cijelih nenegativnih brojeva; to je stvarna zi ka domena u kojoj elementi iz T X poprimaju numeri ke vrijednosti. Gramatika G je urežena etvorka (V T, V N, P, S). Pri tome je V T skup zavr²nih znakova (engl. terminal), V N skup nezavr²nih znakova (engl. non-terminal), P skup produkcijskih pravila te S po etni nezavr²ni znak. Denirajmo redom: V T ={mlad, star, vrlo, i, ili, ne, (, )}, V N ={S, A, B, C, D, E}, S = S, P = { A mlad star (E) B vrlo B A C ne C B D D i C C E E ili D D S E }.

58 46 POGLAVLJE 3. JEZIƒNE VARIJABLE M denira neizrazite skupove (slika 3.3): 1, x 15, 35 x µ mlad (x) =, 15 < x 35, , x > 35. µ star(x) = 0, x 30, x 30, 30 < x 55, , x > 55. µ A (x) x Slika 3.3: Neizraziti skupovi "mlad" (crveno) i "star" (zeleno). M jezi nom izrazu vrlo pridruºuje operaciju koncentracije (kvadriranje), jezi nom vezniku "i" pridruºuje operaciju presjeka neizrazitih skupova, jezi nom vezniku "ili" pridruºuje operaciju unije neizrazitih skupova te negaciji pridruºuje operaciju komplementa neizrazitog skupa (presjek, uniju i komplement ra una prema deniciji Zadeha; ZadehT, ZadehS, ZadehNot). Ovime je u potpunosti denirana jezi na varijabla "starosna dob". Primjer: 10 Prethodni primjer denira jezi nu varijablu "starosna dob". Pokaºite kako se moºe izvesti izraz "mlad ili vrlo star i ne vrlo vrlo star". Primjenom pravila koja propisuje M izvedite neizraziti skup koji odgovara tom izrazu. Rje²enje: Svi izrazi izvode se pomo u gramatike G. Po etni nezavr²ni znak smo denirali kao S, pa od tuda i kre emo, primjenjuju i uzastopno pravila gramatike. S E E ili D D ili D i C C ili C i ne C B ili B i ne B A ili vrlo B i ne vrlo B mlad ili vrlo A i ne vrlo vrlo B mlad ili vrlo star i ne vrlo vrlo A mlad ili vrlo star i ne vrlo vrlo star. Da bismo izveli neizraziti skup koji odgovara ovom izrazu, potrebno je primjenjivati operacije onim redosljedom kako to diktira gramatika (jer gramatika odrežuje prioritete pojedinih operacija). Tako e se rezultantni neizraziti skup dobiti primjenom operacija:

59 47 izraz = ZadehS( mlad, ZadehT( vrlo(star), ZadehNot( vrlo( vrlo(star) ) ) ) ); Ovaj neizraziti skup ima funkciju pripadnosti koju prikazuje slika 3.4. µ A (x) x Slika 3.4: Funkcija pripadnosti izvedenog izraza (plavo, podebljano).

60

61 Poglavlje 4 Neizrazite relacije 4.1 Klasi na relacija Svima nam je poznata denicija klasi ne relacije: klasi na relacija je podskup kartezijevog produkta R A B = {(x, y) x A y B}. Ako su skupovi A i B kona ni, tada smo ovakve relacije mogli zapisivati i matri no, pri emu je i-ti redak matrice odgovarao elementu x i A, a j-ti stupac matrice odgovarao elementu y j B. Na mjestu R[i, j] nalazio se broj 1 ako su elementi x i i y j bili u relaciji ili 0 ako nisu bili. Npr. neka su zadani univerzalni skupovi A = {1, 2, 3, 4} i B = {2, 3, 4, 5, 6, 7}. Zadana je relacija R za koju su elementi x i i y j u relaciji akko je y j prim-broj i to x i -ti. Zna i, ureženi par (1, 2) je u relaciji, jer je broj 2 prvi prim broj. Ureženi par (2, 3) je u relaciji jer je broj 3 drugi prim broj. Ureženi par (1, 3) nije u relaciji jer broj 3 nije prvi po redu prim-broj. Zapi²imo ovu relaciju kao skup ureženih parova te kao matricu. Relaciju moºemo zapisati kao skup ureženih parova na sljede i na in: R = {(1, 2), (2, 3), (3, 5), (4, 7)}. U matri nom obliku zapis relacije je: R = Relacija je zapisana kao matrica dimenzija 4 6 jer je kardinalni broj skupa A jednak 4 a kardinalni broj skupa B jednak Neizrazita relacija Ako sada umjesto 0 ili 1 uvedemo stupanj s kojim ureženi par pripada relaciji (pa umjesto broja iz skupa {0, 1} uzmemo broj iz intervala [0, 1]) dobili smo neizrazitu relaciju; dok kod klasi ne relacije ureženi par ili pripada relaciji 49

62 50 POGLAVLJE 4. NEIZRAZITE RELACIJE ili ne pripada, kod neizrazite relacije ureženi parovi relaciji mogu pripadati s odreženom mjerom. Princip je isti kao i kod prelaska s klasi nih skupova na neizrazite skupove. Ako neizrazitu relaciju zapisujemo matri no, tada e u i-tom retku i j-tom stupcu pisati stupanj s kojim ureženi par (x i, y j ) pripada toj neizrazitoj relaciji. Kao primjer moºemo uzeti i klasi nu relaciju jednakosti R = te neizrazitu relaciju pribliºne jednakosti R nad U U, gdje je U = {1, 2, 3} R = = R = Op enito se n-arna neizrazita relacija denira na sljede i na in. Denicija 25 (Neizrazita relacija). Neka su U 1, U 2,..., U n univerzalni skupovi. Neizrazita relacija R nad U 1 U 2... U n denira se kao preslikavanje µ R : U 1 U 2... U n [0, 1]. Binarne relacije (relacije koje su denirane nad U 1 U 2 ) su poop enje pojma "funkcije"; dok funkcija svakom elementu domene pridruºuje to no jedan element kodomene, relacija svakom elementu domene moºe pridruºiti vi²e elemenata kodomene. Sukladno tome, za binarne relacije se takožer deniraju pojmovi domene i kodomene. Denicija 26 (Domena binarne neizrazite relacije). Neka su U 1 i U 2 univerzalni skupovi i neka je R neizrazita relacija denirana nad U 1 U 2. Domena (engl. domain) neizrazite relacije R je neizraziti skup: dom(r) = {(x; µ dom(r) (x)) x U 1, µ dom(r) (x) = max y U 2 (R(x, y))}. Element x pripada domeni relacije u mjeri koja odgovara najve em stupnju s kojim je taj element uspostavio vezu s bilo kojim elementom kodomene. Denicija 27 (Kodomena binarne neizrazite relacije). Neka su U 1 i U 2 univerzalni skupovi i neka je R neizrazita relacija denirana nad U 1 U 2. Kodmena (engl. range) neizrazite relacije R je neizraziti skup: ran(r) = {(y; µ ran(r) (y)) y U 2, µ ran(r) (y) = max x U 1 (R(x, y))}. Element y pripada kodomeni relacije u mjeri koja odgovara najve em stupnju s kojim je bilo koji element domene uspostavio vezu s tim elementom kodomene.

63 4.2. NEIZRAZITA RELACIJA 51 Denicija 28 (Visina binarne neizrazite relacije). Neka su U 1 i U 2 univerzalni skupovi i neka je R neizrazita relacija denirana nad U 1 U 2. Visina (engl. height) neizrazite relacije R je broj: hgt(r) = max x U 1 max y U 2 (R(x, y)). Relaciju ija je visina jednaka 1 zovemo normalnom. Moºda Vam se ova denicija visine ve odnegdje ini poznata? To je stoga ²to je to upravo denicija visine neizrazitog skupa. Naime, iako relacije tipi no zapisujemo matri no, neizrazita relacija nije ni²ta drugo doli obi an neizraziti skup ija domena mežutim nije skup "obi nih" elemenata ve skup ureženih parova! Stoga e se i sve operacije, poput unije, presjeka i komplementa direktno ponoviti. Neizrazite relacije pojavljuju se u puno situacija. Za sada emo pogledati najjednostavniji primjer izgradnju neizrazite relacije kartezijevnim produktom dvaju neizrazitih skupova. Denicija 29 (Kartezijev produkt neizrazitih skupova). Neka je deniran neizraziti skup A nad univerzalnim skupom U 1 te neizraziti skup B nad univerzalnim skupom U 2. Kartezijev produkt A B denira binarnu relaciju R nad U 1 U 2 sa sljede im svojstvom: µ R (x, y) = min(µ A (x), µ B (y)) x A, y B. Ovako izgraženu relaciju moºemo shvatiti kao model jednostavnog sustava s jednim ulazom i jednim izlazom ija je prijenosna funkcija denirana pravilom "ako ulaz je A tada izlaz je B". Vi²e o modeliranju nelinearnih odnosa, neizrazitom zaklju ivanju i neizrazitom upravljanju govorit emo malo kasnije. Pogledajmo najprije uporabu kartezijevog produkta za izgradnju binarne relacije na jednostavnom primjeru. Primjer: 11 Nad univerzalnim skupom U = {1, 2, 3, 4} zadana su dva neizrazita: neizraziti skup A predstavlja koncept "broj oko 1" dok neizraziti skup B predstavlja koncept "broj oko 4". A = B = Odredite relaciju koja se dobiva kartezijevim produktom A i B. Rje²enje: Kako su oba neizrazita skupa denirana nad univerzalnim skupom U, relacija e biti denirana nad univerzalnim skupom U U. Oba neizrazita skupa zapisat emo matri no i potom napraviti

64 52 POGLAVLJE 4. NEIZRAZITE RELACIJE "mnoºenje" (umjesto umno²ka, dakako, uzimat emo minimum). R = A T B = [ ] T [ ] = [ ] = Operacije nad neizrazitim relacijama Denira se 5 osnovnih operacija s neizrazitim relacijama: unija, presjek, projekcija, cilindri no pro²irenje te kompozicija. Denicija 30 (Unija i presjek neizrazitih relacija). Neka su U 1, U 2,..., U n univerzalni skupovi. Neka su denirane neizrazite relacije A i B nad U 1 U 2... U n. Unija neizrazitih relacija je opet neizrazita relacija nad U 1 U 2... U n sa svojstvom: µ A B (x 1,..., x n ) = s-norma(µ A (x 1,..., x n ), µ B (x 1,..., x n )). Presjek neizrazitih relacija je opet neizrazita relacija nad U 1 U 2... U n sa svojstvom: µ A B (x 1,..., x n ) = t-norma(µ A (x 1,..., x n ), µ B (x 1,..., x n )). Naj e² e se kao s-norma za uniju koristi Zadehov maksimum, a kao t- norma za presjek Zadehov minimum. Uo ite da relacije izmežu kojih se ra una unija/presjek moraju biti denirane nad istim univerzalnim skupovima. Primjer: 12 Zadane su relacije A i B nad univerzalnim skupom {1, 2, 3, 4} {1, 2, 3}. Izra unajte njihovu uniju i presjek koriste i Zadehove denicije unije i presjeka A = B =

65 4.3. OPERACIJE NAD NEIZRAZITIM RELACIJAMA 53 Rje²enje: Unija se ra una kao (A B)[i, j] = max(a[i, j], B[i, j]) A B = = Presjek se ra una kao (A B)[i, j] = min(a[i, j], B[i, j]) A B = = Denicija 31 (Projekcija neizrazite relacije). Neka su U 1,..., U k,..., U n univerzalni skupovi. Neka je denirana neizrazita relacija A nad U 1... U k... U n. Projekcija neizrazite relacije A je opet neizrazita relacija ali nad U 1... U k 1 U k+1... U n sa svojstvom: µ proj (x 1,..., x k 1, x k+1,..., x n ) = max k (µ A(x 1,..., x k 1, x k, x k+1,..., x n )). Postupkom projekcije smanjuje se red relacije; tako e se, primjerice, projekcijom ternarne relacije dobiti binarna relacija a projekcijom binarne relacije obi an neizraziti skup. Denicija 32 (Cilindri no pro²irenje). Neka su U 1,..., U n te U n+1 univerzalni skupovi. Neka je denirana neizrazita relacija A nad U 1... U n. Cilindri no pro²irenje neizrazite relacije A je opet neizrazita relacija ali nad U 1... U n U n+1 sa svojstvom: µ cil (x 1,..., x n, x n+1 ) = µ A (x 1,..., x n ). Primjer: 13 Zadana je relacija A nad univerzalnim skupom U 1 U 2 = {1, 2, 3, 4} {1, 2, 3}. Izra unajte njezine projekcije na U 1 i na U 2. Izra unajte cilindri na pro²irenja tih projekcija na univerzalni skup U 1 U A = Rje²enje: Projekcija relacije A na U 1 dobije se tako da se u svakom retku pronaže maksimum, a projekcija relacije A na U 2 dobije se tako da se u svakom stupcu pronaže maksimum. Kako je A binarna

66 54 POGLAVLJE 4. NEIZRAZITE RELACIJE relacije, rezultat projekcije relacije A na U 1 je neizraziti skup deniran nad U 1. Element x i U 1 tom neizrazitom skupu pripada s maksimalnom mjerom s kojom su parovi oblika (x i, y) y U 2 pripadali relaciji A. Rezultat projekcije relacije A na U 2 je neizraziti skup deniran nad U 2. Element y j U 2 tom neizrazitom skupu pripada s maksimalnom mjerom s kojom su parovi oblika (x, y j ) x U 1 pripadali relaciji A. 1.0 A proju1 = A proju 2 = [ ] 1.0 Cilindri no pro²irenje relacije (projekcije) A proju1 na U 1 U 2 dobije se tako da se matrica A proju1 preoblikuje tako da ima onoliko stupaca koliko U 2 ima elemenata, i u prazna mjesta prekopira vrijednost iz prvog stupca. Ono ²to time radimo jest da za svaki element x i U 1 pogledamo s kojom on mjerom pripada relaciji A proju1, i potom stvorimo za svaki y j U 2 par oblika (x i, y j ) i postavimo da on cilindri nom pro²irenju pripada s istom mjerom s kojom je x i pripadao relaciji A proju1. Cilindri no pro²irenje projekcije A proju2 na U 1 U 2 dobije se tako da se matrica A proju2 preoblikuje tako da ima onoliko redaka koliko U 1 ima elemenata, i u prazna mjesta prekopira vrijednost iz prvog retka A cil_proju1 U 1 U 2 = A cil_proju 2 U 1 U 2 = Zgodno je ovdje spomenuti i sljede e pitanje. Relacija A denirana na U 1 U 2 u matri nom prikazu ima U 1 U 2 elemenata. Ako bismo takvu matricu prenosili komunikacijskim kanalom, trebali bismo prenijeti sve te elemente. Obje projekcije zajedno imaju samo U 1 + U 2 elemenata, ²to je bitno manje i moºe se ekacije prenijeti. S obzirom da projekcije moºemo cilindri no pro²iriti, postavlja se pitanje: moºe li se samo iz projekcija rekonstruirati originalna relacija? Odgovor na ovo pitanje dat emo uskoro. Denicija 33 (Kompozicija binarnih relacija). Neka su X, Y i Z univerzalni skupovi. Neka je A neizrazita relacija na X Y, i neka je B neizrazita relacija na Y Z. Neka su odabrane jedna s-norma i jedna t-norma. Kompozicija binarnih relacija A i B s obzirom na odabranu s-normu i t-normu, oznaka A B, je opet binarna relacija denirana nad X Z, sa svojstvom: µ A B (x, z) = s-norma(t-norma(µ A (x, y), µ B (y, z))) x X, y Y, z Z. Naj e² e kori²tene kompozicije su sup-min kompozicija, kod koje se kao s- norma koristi Zadehov maksimum (ili supremum) a kao t-norma Zadehov minimum pa vrijedi: µ A B (x, z) = sup(min(µ A (x, y), µ B (y, z))) y Y x X, z Z odnosno sup-produkt kompozicija, kod koje se kao s-norma koristi Zadehov maksimum (ili supremum) a kao t-norma algebarski produkt pa vrijedi: µ A B (x, z) = sup(µ A (x, y) µ B (y, z)) x X, z Z. y Y

67 4.3. OPERACIJE NAD NEIZRAZITIM RELACIJAMA 55 Sup-min kompozicija jo² se naziva i max-min kompozicija. Obja²njenje za ovakav na in izra unavanja moºe se dobiti promatranjem ²to zapravo relacija dobivena kompozicijom predstavlja: komponirana relacija predstavlja direktnu vezu izmežu parova (x, z) ako smo po etno znali veze izmežu parova (x, y) i (y, z). Budu i da treba izra unati s kojim stupnjem par (x, z) pripada komponiranoj relaciji, kod max-min kompozicije primjenjuje se stara poslovica koja kaºe da lanac puca na najslabijoj karici. Ovo moºemo zamisliti na sljede i na in. Neizrazita relacija za svaki par (α, β) denira stupanj pripadnosti tog para toj relaciji. Moºemo zamisliti da su element α i element β povezani lancem ija je prekidna sila jednaka stupnju pripadnosti tog para relaciji. Ako se element α i element β poku²aju razdvojiti, lanac koji ih povezuje odrºat e ih zajedno sve dok se ne primjeni sila koja je ve a prekidnoj sili lanca koji ih povezuje. Kod kompozicije imamo dvije relacije. U slu aju binarnih relacija, ako je prva relacija denirana nad X Y a druga nad Y Z, kompozicija e biti denirana nad X Z; ta relacija uspostavlja veze izmežu elemenata skupa X i elemenata skupa Z. Primjenimo sada istu analogiju s prekidnim silama lanaca. Pitanje na koje treba odgovoriti jest: kolikom silom treba djelovati da bismo razdvojili konkretan element x X od konkretnog elementa z Z? Iz relacije A znamo da je x povezan s nizom elemenata y. Iz relacije B za svaki takav y moºemo utvrditi koliko je povezan sa z. Ako u skupu Y imamo tri elementa y 1, y 2 i y 3, to zna i da od konkretnog x do konkretnog z moºemo do i preko tri puta x y 1 z, x y 2 z te x y 3 z. Svaki od tih puteva predstavlja serijski spoj dvaju lanaca: x y i i y i z. Taj e spoj puknuti na prekidnoj sili slabijeg lanca. Zato se za sve parove (x, y i ) (y i, z) traºi minimum. Mežutim, kako od x do z u ovom primjeru postoje tri paralelna puta (tri paralelna lanca), x i z e se drºati zajedno tako dugo dok ne pukne i ona najja a veza: stoga se od svih pronaženih minimuma traºi maksimum taj maksimum odgovara jakosti veze izmežu x i z i on se uzima kao stupanj pripadnosti para (x, z) relaciji koja se dobije kompozicijom. Osim sup-min kompozicije u praksi se koristi i sup-produkt kompozicija kod koje je operacija minimuma zamijenjena umno²kom. Primjer: 14 Zadane su binarne relacije A nad X Y, B nad Y Z i C nad Y. Izra unajte max-min kompozicije relacija A B i C B A = B = C = [ ] Rje²enje:

68 56 POGLAVLJE 4. NEIZRAZITE RELACIJE Izra un kompozicije moºe se zamisliti kao modicirano izvoženje mnoºenja matrica. Matrice se mnoºe tako da se pomnoºi odgovaraju i redak s odgovaraju im stupcem i rezultati se zbroje. Kompozicija se radi na sli an na in: uzima se minimum elemenata (redak sa stupcem) koje bismo ina e mnoºili, a zbrajanje se zamijeni s uzimanjem maksimuma. Npr. ako mnoºimo matrice A i B, element u prvom retku i prvom stupcu umno²ka dobio bi se tako da pomnoºimo prvi redak matrice A s prvim stupcem matrice B i pri tome pozbrajamo umno²ke: = 0.74; kompozicija e za prvi redak i prvi stupac ra unati: max(min(0.1, 1.0), min(0.7, 0.7), min(0.5, 0.3), min(0.1, 0.0)) = max(0.1, 0.7, 0.3, 0.0) = 0.7. Provedeno nad svim elementima, dobit e se rezultat prikazan u nastavku A B = = Izra unavanje C B moºe se na prvi pogled u initi malo udnim. Naime, C je deniran samo nad Y, pa se moºda ne vidi odmah ²to e biti rezultat. Da bi se razrije²io problem, jednostavno treba zamisliti da je C deniran nad W Y gdje je W jedno lani skup, pa je tada rezultat deniran nad W Y Y Z = W Z Z a postupak ra unanja je isti kao i u prethodnom slu aju. C B = [ ] = [ ] Sljede i jednostavan primjer pokazat e nam kako moºemo kompoziciju koristiti za izvoženje jednostavnih zaklju aka. Primjer: 15 Zadana je neizrazita relacija R na U U, U = {1, 2, 3}. Relacija opisuje koncept "pribliºno za jedan ve i". Denirajte dva neizrazita skupa N 1 i N 2 nad U, na sljede i na in. Skup N 1 neka opisuje koncept "to no broj 1", a skup N 2 neka opisuje koncept "pribliºno broj 1". Uporabom neizrazite relacije R izra unajte koji su brojevi "pribliºno za jedan ve i" od brojeva N 1 i N 2. Relacija R je: R = Rje²enje: Ve smo pokazali kako treba itati ovakve relacije. Svakom retku pridruºen je jedan element iz prvog univerzalnog skupa (U 1 U 2 op enito), a svakom stupcu jedan element iz drugog univerzalnog skupa. Tako npr. relacija u drugom retku i tre em stupcu ima broj 1.0, ²to ozna ava da je ureženi par (2, 3) pripadnik relacije "pribliºno za jedan ve i" sa stupnjem 1.0 jer je 3 doista pribliºno za jedan ve e od 2. Neizraziti skup koji opisuje koncept "to no broj 1" glasi: N 1 = ²to matri no zapisujemo kao: N 1 = [ ].

69 4.4. SVOJSTVA BINARNIH NEIZRAZITIH RELACIJA 57 Prilikom deniranja ovog skupa odabrali smo da broj 1 skupu pripada sa stupnjem pripadnosti 1.0 a brojevi 2 i 3 sa stupnjem pripadnosti 0.0. Neizraziti skup koji opisuje koncept "pribliºno broj 1" glasi: N 2 = ²to matri no zapisujemo kao: N 2 = [ ]. Za²to ba² ovako sjetite se, denicija je subjektivna; ako se ne slaºete, slobodno redenirajte ovaj koncept i izra unajte rezultat za vjeºbu. Ovako denirani skup nam govori da mu broj 1 pripada sa stupnjem pripadnosti 1.0, broj 2 sa stupnjem pripadnosti 0.4 a broj 3 sa stupnjem pripadnosti 0.1. Sada kada imamo denirane ove skupove, i relaciju R, kako emo do i do ºeljenog odgovora? Vrlo jednostavno relacija R nam govori u kakvom su odnosu elementi s U 1 i elementi s U 2. Ako ve znamo elemente s U 1, tada e nam kompozicija neizrazitog skupa s U 1 i relacije R dati upravo neizrazit skup na U 2. Idemo ovo izra unati. N1 = N 1 R = [ ] = [ ] N2 = N 2 R = [ ] = [ ] Jo² je potrebno izvr²iti jezi nu aproksimaciju kako bismo dodijelili neko zna enje dobivenim rezultatima. Skup N1 moºemo pro itati kao "pribliºno broj 2". I doista, "pribliºno za jedan ve i" broj od broja "to no broj 1" je "pribliºno broj 2". Skup N2 moºemo pro itati kao "broj manje-vi²e oko broja 2". Naime, ovakav rezultat je i bio za o ekivati jer smo sada krenuli s brojem koji nije to no jedan, ve je negdje oko 1 ("pribliºno broj 1"). Tada e i rezultat operacije "pribliºno za jedan ve i" biti opet "pribliºno broj 2" ali u ne²to ²irim granicama oko broja 2, jer je i po etni broj imao dosta ²iroke granice oko broja 1. Stoga emo ovaj broj pro itati kao "broj manje-vi²e oko broja 2". Denirajmo jo² dva pojma vezana uz relacije: inverz relacije te potenciju relacije. Denicija 34 (Inverz relacije). Neka je zadana binarna relacije R nad U 1 U 2. Relacija R uspostavlja veze od elemenata univerzalnog skupa U 1 do elemenata univerzalnog skupa U 2. Inverz relacije R je relacija R 1 koja je denirana nad U 2 U 1 i koja uspostavlja veze od elemenata univerzalnog skupa U 2 do elemenata univerzalnog skupa U 1. Matrica koja odgovara relaciji R 1 je transponirna matrica od R. Takožer, direktno slijedi da je ( R 1 ) 1 = R. Denicija 35 (Potencije relacije). Neka je zadana binarna relacije R. Potencije relacije deniraju se uporabom kompozicije. Pri tome vrijedi: R i = R i 1 R. Primjerice, vrijedi R 1 = R, R 2 = R 1 R, R 3 = R 2 R itd. 4.4 Svojstva binarnih neizrazitih relacija Po et emo s tri osnovna svojstva koja se deniraju za relacije: reeksivnost, simetri nost i tranzitivnost (te ina ice).

70 58 POGLAVLJE 4. NEIZRAZITE RELACIJE Denicija 36 (Reeksivnost neizrazite binarne relacije). Neka je R binarna relacija denirana nad U U, pri emu je U univerzalni skup. R je reeksivna ako je µ R (x, x) = 1 x U. Ako postoji barem jedan x U za koji to ne vrijedi, tj. za koji je µ R (x, x) 1, takva relacija je ireeksivna. Ako pak to ne vrijedi niti za jedan x U, drugim rije ima ako je µ R (x, x) 1 x U, takva relacija je antireeksivna. Relacije od kojih o ekujemo svojstvo reeksivnosti su relacije poput relacije ekvivalencije (o ekujemo da je x x). S druge strane, od relacija strogog urežaja ovo svojstvo ne o ekujemo (primjerice, ne o ekujemo da vrijedi x < x gdje je "<" operator stroge usporedbe). Denicija 37 (Simetri nost neizrazite binarne relacije). Neka je R binarna relacija denirana nad U U, pri emu je U univerzalni skup. R je simetri na ako je µ R (x, y) = µ R (y, x) x U, y U. Ako postoji barem jedan x i y za koje ne vrijedi µ R (x, y) = µ R (y, x), kaºemo je da relacije asimetri na. Relaciju pak zovemo antisimetri nom ako za svaki x i y vrijedi R(x, y) R(y, x) ili R(x, y) = 0 R(y, x) = 0. Kona no, relacija R je perfektno antisimetri na ako x U, y U : R(x, y) > 0 R(y, x) = 0. I opet, simetri nost je svojstvo koje o ekujemo od relacija poput relacije ekvivalencije: ako je x y u nekoj mjeri, tada o ekujemo i da je y x u toj istoj mjeri. Kod relacija strogog urežaja ovo nikako ne o ekujemo; primjerice, ako pogledamo relaciju "<" deniranu nad cijelim brojevima, o ekujemo da joj par (1, 100) pripada s visokim stupnjem (jer je 1 doista manje od 100 i to zna ajno), ali nikako ne o ekujemo da joj s tim istim stupnjem pripada i par (100, 1). Kod neizrazitih relacija ne denira se klasi na tranzitivnost, ve ne²to modicirani oblik. Denicija 38 (Max-min tranzitivnost neizrazite binarne relacije). Neka je R binarna relacija denirana nad U U, pri emu je U univerzalni skup. Relacija R je max-min tranzitivna ako µ R (x, z) max y U min(µ R(x, y), µ R (y, z)) x U, z U. Prethodnu deniciju mogu e je poop iti tako da se gledaju proizvoljne s-norme i t-norme. Sljede a denicija prikazuje kako. Denicija 39 (s-t tranzitivnost neizrazite binarne relacije). Neka je R binarna relacija denirana nad U U, pri emu je U univerzalni skup. Neka je odabrana neka s-norma i neka t-norma. Relacija R je tranzitivna s obzirom na odabrane s- i t-normu ako µ R (x, z) s-norma y U t-norma(µ R (x, y), µ R (y, z)) x U, z U. U tom smislu, max-min tranzitivnost samo je poseban slu aj op enite tranzitivnosti, pri emu se kao s-norma koristi operator maksimuma a kao t-norma operator minimuma.

71 4.4. SVOJSTVA BINARNIH NEIZRAZITIH RELACIJA 59 Ovdje je potrebno napomenuti jo² jedno svojstvo vezano uz kompoziciju relacije same sa sobom: nakon kona no mnogo koraka komponiranja relacije same sa sobom dobiva se relacija koja je max-min tranzitivna. Ovo svojstvo koristi se kada se poku²ava izgraditi relacija ekvivalencije iz relacije koja to nije. Pogledajmo sada neke tipi ne neizrazite relacije i njihove klasi ne pandane Relacija ekvivalencije i neizrazita relacija ekvivalencije Klasi na relacija ekvivalencije denirana nad kartezijevim produktom U U klasi nog skupa U je svaka klasi na relacija koja je reeksivna, simetri na i tranzitivna. Za svaki element u U moºe se izgraditi skup P u koji je podskup od U i koji sadrºi sve elemente iz U koji su u relaciji ekvivalencije s u: P u = {v R(u, v) = 1 y U}. Element u bit e u tom skupu, i niti jedan element tog skupa ne e biti u relaciji niti s jednim drugom elementom iz U koji nije u P u. Ovaj skup naziva se razred ekvivalencije relacije ekvivalencije s obzirom na element u. Dva razreda ekvivalencije ili su jednaki ili disjunktni. Skup svih porodica razreda ekvivalencije ini particiju skupa U (disjunktni su a unija im je jednaka itavom skupu U) i obi no se ozna ava s U/R. Neizrazita relacija ekvivalencije (ili relacija sli nosti) je neizrazita relacija koja je reeksivna, simetri na i tranzitivna (naj e² e se misli na max-min tranzitivnost, ali moºe biti bilo koji oblik). α-presjeci relacije sli nosti su relacije ekvivalencije. Binarne relacije koje su simetri ne i tranzitivne ali nisu reeksivne nazivaju se kvazi-relacije ekvivalentnosti. Relacija sli nosti ne generira direktno particiju skupa U ve omogu ava podesivo generiranje particija ovisno o tome koliku minimalnu mjeru sli nosti traºimo da bismo elemente grupirali zajedno. Pogledajmo to na sljede em primjeru. Primjer: 16 U autosalonu posjetitelje su pitali da procjene od etiri ponužena automobila koji je automobil koliko sli an drugim automobilima (na skali od 0 do 1 pri emu 0 zna i da uop e nisu sli ni a 1 da su jako sli ni). Temeljem te ankete dobiveni su rezultati koji su prikazani relacijom sli nosti R izgraženom nad univerzalnim skupom U = {A 1, A 2, A 3, A 4 } gdje su A 1,..., A 4 automobili. Kako sve skup automobila moºemo grupirati prema sli nosti? R = Rje²enje:

72 60 POGLAVLJE 4. NEIZRAZITE RELACIJE Jedna mogu nost jest zahtjevati da dva automobila pripadaju u isti skup samo ako im je mjera sli nosti 1. U tom slu aju potrebno je napraviti α-presjek relacije sli nosti za α = 1: R α=1 = Relacija R α=1 je klasi na relacija, i ona jest relacija ekvivalencije. denira ova relacija su: Razredi ekvivalencije koje U A1 = {A 1 } U A2 = {A 2 } U A3 = {A 3 } U A4 = {A 4 } Dobili smo etiri porodice razreda ekvivalencije i U/R α=1 moºemo zapisati kao {A 1 } {A 2 } {A 3 } {A 4 }. Kako vidimo, ni²ta se nije grupiralo niti s ime. Poku²ajmo mežutim biti manje zahtjevni. Dopustimo da u isti skup sli nih automobila upadnu svi oni automobili koji su barem sli ni s mjerom 0.8. Ra unamo stoga α-presjek relacije sli nosti za α = 0.8: R α=0.8 = Relacija R α=0.8 je klasi na relacija, i ona je relacija ekvivalencije. denira ova relacija su: Razredi ekvivalencije koje U A1 = {A 1, A 3 } U A2 = {A 2 } U A3 = {A 3, A 1 } U A4 = {A 4 } Ovaj puta smo dobili samo tri porodice razreda ekvivalencije i U/R α=0.8 moºemo zapisati kao {A 1, A 3 } {A 2 } {A 4 }. Automobil A 1 grupiran je zajedno s automobilom A 3, dok su preostali automobili ostali u zasebnim grupama. Smanjimo kriterije jo² malo. Dopustimo da u isti skup sli nih automobila upadnu svi oni automobili koji su barem sli ni s mjerom 0.7. Ra unamo stoga α-presjek relacije sli nosti za α = 0.7: R α=0.7 = Relacija R α=0.7 je klasi na relacija, i ona je relacija ekvivalencije. denira ova relacija su: Razredi ekvivalencije koje U A1 = {A 1, A 3 } U A2 = {A 2, A 4 } U A3 = {A 3, A 1 } U A4 = {A 4, A 2 } Ovaj puta smo dobili samo dvije porodice razreda ekvivalencije i U/R α=0.7 moºemo zapisati kao {A 1, A 3 } {A 2, A 4 }. Automobili A 1 i A 3 upali su u jednu grupu a automobili A 2 i A 4 u drugu. U praksi, ovakvo podesivo grupiranje esto moºe biti vrlo koristan alat pri razli itim analizama i kao pomo u postupcima dono²enja odluka. Pogledajmo jo² jedan primjer.

73 4.4. SVOJSTVA BINARNIH NEIZRAZITIH RELACIJA 61 Primjer: 17 Kako bi se kupce u trgova kom centru motiviralo da vi²e kupuju, uprava trgovine napravila je analizu sedam proizvoda s ciljem ustanovljavanja koji se proizvodi esto kupuju zajedno. Ideja je, dakako, takve proizvode postaviti jedne uz druge tako da, kada kupac potraºi jedan od njih, po navici uzme i drugi, ak i ako nije do²ao po njega. U kojoj mjeri se svaki od proizvoda kupuje zajedno s drugim proizvodima prikazano je u matrici R koja je denirana nad univerzalnim skupom od sedan proizvoda: U = {a, b, c, d, e, f}. Ispalo je da je prikazana relacija simetri na, reeksivna i tranzitivna. Kakve grupacije proizvoda se mogu dobiti iz te relacije? R = Rje²enje: Potrebno je napraviti α-presjeke relacije R za vrijednosti α = 1.0, α = 0.9, α = 0.7, α = 0.4 i α = 0.0. Ovo ostavljamo itatelju za vjeºbu. Rezultat emo mežutim prikazati gra ki. Za α = 1 samo su proizvodi a i b grupirani zajedno, dok su svi ostali proizvodi grupa za sebe. Za α = 0.9 pojavljuju se dvije dvo lane grupe: {a, b} i {e, f}. Za α = 0.7 proizvodi c i d se zdruºuju pa imamo tri dvo lane grupe: {a, b}, {c, d} i {e, f}. Za α = 0.4 prve dvije grupe se spajaju tako da imamo jednu etvero lanu grupu {a, b, c, d} i jednu dvo lanu grupu {e, f}. Kona no, uz α = 0.0 svi proizvodi se zdruºuju u jednu grupu Relacija kompatibilnosti i neizrazita relacija kompatibilnosti Klasi ne binarne relacije koje su reeksivne i simetri ne nazivamo relacijama kompatibilnosti ili relacijama tolerancije. Neizrazite binarne relacije koje su reeksivne i simetri ne nazivamo neizrazitim relacijama kompatibilnosti ili neizrazitim relacijama tolerancije ili ponekad i relacijama blizine (engl. proximity relations).

74 62 POGLAVLJE 4. NEIZRAZITE RELACIJE Sli no kao kod klasi ne relacije ekvivalencije, kod klasi ne relacije kompatibilnosti denira razred kompatibilnosti. Neka je binarna relacija R de- nirana nad U U. Razred kompatibilnosti P je podskup od U takav da x P, y P : R(x, y) = 1; drugim rije ima, svaka dva elementa iz razreda kompatibilnosti mežusobno su kompatibilna. Razreda kompatibilnosti moºe biti mnogo. Posebno zanimljivi su maksimalni razredi kompatibilnosti: to su razredi kompatibilnosti koji nisu pravi podskup niti jednog drugog razreda kompatibilnosti stoga naziv maksimalni. Ovi razredi ne ine particiju skupa U jer ne moraju biti disjunktni (razli iti razredi kompatibilnosti mogu sadrºavati neke iste elemente). Skup svih maksimalnih razreda kompatibilnosti naziva se potpuno prekrivanje od U inducirano s R. Kod neizrazite relacije kompatibilnosti denira se razred α-kompatibilnosti P α (gdje je α minimalni stupanj pripadnosti) kao podskup od U takav da x P α, y P α : R(x, y) α; drugim rije ima, svaka dva elementa iz razreda α-kompatibilnosti mežusobno su kompatibilna barem s mjerom α. α-presjek neizrazite relacije kompatibilnosti je klasi na relacija kompatibilnosti. Stoga se razred α-kompatibilnosti neizrazite relacije kompatibilnosti moºe denirati i kao razred kompatibilnosti α-presjeka neizrazite relacije kompatibilnosti. Pogledajmo primjer. Primjer: 18 Nad univerzalnim skupom U = {a, b, c, d, e, f} denirana je relacija R kako je prikazano u nastavku. Izra unajte sva potpuna α-prekrivanja R = Rje²enje: U relaciji R imamo etiri razli ita stupnja pripadnosti; stoga emo raditi etiri α-presjeka (za 1.0, 0.9, 0.5 i 0.0) R α=1.0 = R α=0.9 =

75 4.4. SVOJSTVA BINARNIH NEIZRAZITIH RELACIJA R α=0.5 = R α=0.0 = Relacija kompatibilnosti R α=1.0 generira potpuno prekrivanje {a, b} {c} {d} {e} {f}. Relacija kompatibilnosti R α=0.9 generira potpuno prekrivanje {a, b, c} {d} {e, f}. Relacija kompatibilnosti R α=0.5 generira potpuno prekrivanje {a, b, c} {a, b, d} {e, f}. Kona no, relacija kompatibilnosti R α=0.0 generira potpuno prekrivanje {a, b, c, d, e, f}. Ovo je gra ki prikazano na slici u nastavku Relacije urežaja Svaka neizrazita relacija koja je reeksivna i tranzitivna naziva se neizrazita pred-urežajna relacija (engl. Fuzzy pre-order relation); ovdje se naj e² e misli na max-min tranzitivnost (ali moºe se raditi i s drugim tranzitivnostima). Svaka neizrazita relacija koja je reeksivna, antisimetri na i tranzitivna, naziva se neizrazita urežajna relacija (engl. fuzzy order relation). Klasi na se relacija R koja odgovara neizrazitoj urežajnoj relaciji R moºe dobiti tako da se vrijednost karakteristi ne funkcije postavi na sljede i na in: ako je µ R (x, y) µ R (y, x), postavi µ R (x, y) = 1 i µ R (y, x) = 0; ako je µ R (x, y) = µ R (y, x), postavi µ R (x, y) = µ R (y, x) = 0. Primjer relacija R denirane nad U = {a, b, c, d} koja je reeksivna, antisimetri na i max-min tranzitivna prikazan je u nastavku R =

76 64 POGLAVLJE 4. NEIZRAZITE RELACIJE Odgovaraju a klasi na relacija je: R = Uo imo da se u prethodno deniranoj neizrazitoj relaciji R (kao i njezinom klasi nom pandanu R ) svi elementi mežusobno ne daju usporediti (odnosno nisu u relaciji). Tako vidimo da elemente a i d moºemo usporediti; R(a, d) = 0 ali R(d, a) = 0.5. S druge pak strane, elemente a i b ova relacija ne moºe usporediti: R(a, b) = R(b, a) = 0; niti ureženi par (a, b) pripada relaciji, niti ureženi par (b, a). Ovakve relacije stoga zovemo relacija parcijalnog (ili djelomi nog) urežaja (engl. partial order relation). Relacija potpunog urežaja (ili linearnog urežaja) je svaka relacija urežaja (dakle, reeksivna, antisimetri na i tranzitivna) kod koje su svaka dva elementa usporediva: nije istina da postoji x U, y U takav da je R(x, y) = 0 R(y, x) = Zatvaranje binarne relacije Uz binarne relacije vezan je jo² i pojam "zatvaranja" s obzirom na neko svojstvo (engleski termin je closure). Tako se pojavljuju pojmovi poput reeksivnog zatvaranja relacije, simetri nog zatvaranja relacije, i moºda naj e² e: tranzitivnog zatvaranja relacije. Idemo stoga denirati te pojmove. Denicija 40 (Zatvaranje relacija). Neka je zadana binarna relacije R. Zatvaranje te relacije s obzirom na svojstvo ξ je najmanje pro²irenje te relacije uz koje se postiºe zadano svojstvo ξ. Denicija 41 (Reeksivno zatvaranje relacije). Neka je zadana relacija R. Reeksivno zatvaranje relacije R je relacija R ako i samo ako: 1. R je reeksivna relacija, 2. R R te 3. za svaku relaciju R, ako je R R i ako je R takožer reeksivna, tada je nuºno R R ; drugim rije ima: R je najmanja relacija koja zadovoljava zahtjeve (1) i (2). Na identi an se na in deniraju i simetri no zatvaranje relacije te tranzitivno zatvaranje relacije. Reeksivno zatvaranje relacije R jo² emo ozna avati s r(r), simetri no zatvaranje sa s(r) a tranzitivno zatvaranje sa t(r). Uz ove oznake sada moºemo denirati i svojstva ovih zatvaranja.

77 4.5. ZATVARANJE BINARNE RELACIJE Reeksivno zatvaranje: r(r) = R E, gdje je E relacija jednakosti (jedinice po dijagonali, svi ostali elementi su nula). 2. Simetri no zatvaranje: s(r) = R R 1 gdje je R 1 inverzna relacija. 3. Tranzitivno zatvaranje: t(r) = i=1 Ri. Ako je univerzalni skup U nad kojim je denirana relacija kona an (pa ima kardinalitet U ), vrijedi: t(r) = U i=1 Ri. 4. Relacija R je reeksivna ako vrijedi r(r) = R. 5. Relacija R je simetri na ako vrijedi s(r) = R. 6. Relacija R je tranzitivna ako vrijedi t(r) = R. Ako imamo neizrazitu relaciju kompatibilnosti (reeksivna i simetri na) deniranu nad kona nim univerzalnim skupom kardinaliteta U, kompozicija relacije R sa samom sobom u najvi²e U 1 koraka e dati relaciju koja ima i svojstvo tranzitivnosti, ime e takva relacija postati relacija sli nosti. Ovo se u praksi moºe zgodno iskoristiti. Pogledajmo to na primjeru. Primjer: 19 Turisti ka zajednica ºeli izraditi web-sustav koji e turistima za svaku lokaciju koju odaberu predlagati i sli ne lokacije. Kako bi to ostvarili, u pet gradova su anketirali turiste vrlo jednostavnom anketom. Anketa se sastojala od jednog pitanja s etiri ponužene opcije; pitanje je bilo formulirano na sljede i na in: "koja od ovih etiri opcije najbolje opisuje ovu lokaciju?". Prilikom obrade ankete za svaku je lokaciju i za svaku opciju izra unat postotak turista koji su odabrali tu opciju. Rezultati su prikazani u sljede oj tablici. Lokacija Opcija 1 Opcija 2 Opcija 3 Opcija 4 L L L L L Pojasnite kako biste temeljem tih podataka omogu ili grupiranje lokacija? Rje²enje: Na raspolaganju su nam podatci za 5 gradova. Temeljem tih podataka najprije moºemo izgraditi relaciju kompatibilnosti koja se temelji na nekoj od mjera sli nosti. Naime, uo imo [ da podatke za svaku] lokaciju moºemo shvatiti kao 4-dimenzijski vektor realnih brojeva: L 1 = , L2 = [ ] i tako dalje. Sli nost izmežu dva vektora moºemo izgraditi izra unom kosinusa kuta izmežu njih: vektori koji su jako razli iti (tj. okomiti) imat e mjeru sli nosti 0, vektori koji su identi ni imat e mjeru sli nosti 1. Ako su L i i L j dva vektora, kosinus kuta izmežu njih deniran je izrazom: cos(l i, L j ) = L i L j L i L j odnosno kao omjer njihovog skalarnog produkta i umno²ka njihovih normi.

78 66 POGLAVLJE 4. NEIZRAZITE RELACIJE Prvi korak je stoga izgraditi relaciju koja govori koliko su svake dvije lokacije mežusobno sli ne odnosno kompatibilne. Uo ite da e to biti relacija denirana nad univerzalnim skupom L L gdje je L = {L 1, L 2, L 3, L 4, L 5 }, i za koju e vrijediti: Relacija koja se time dobiva jest: µ R (l i, l j ) = cos(l i, L j ) R = Uo ite da je ova relacija, po deniciji, reeksivna i simetri na, jer je to svojstvo kosinusa izmežu dva vektora. Stoga je ta relacija doista relacija kompatibilnosti. Za podesivo grupiranje trebali smo relaciju ekvivalencije. Relacija ekvivalencije uz svojstvo reeksivnosti i simetri nosti zahtjeva i tranzitivnost; razmatrat emo max-min tranzitivnost. Relacija R, naºalost, nije max-min tranzitivna: to se vidi ve iz para (L 1, L 2 ) za koji tranzitivnost ne vrijedi. Idemo stoga izra unati relaciju R 2 = R R: R 2 = R R = Relacija R 2 i dalje nije tranzitivna; primjerice, problem je par (L 2, L 5 ). Napravimo jo² jednu kompoziciju, tj. izra unajmo R 3 : R 3 = R 2 R = Relacija koju smo dobili je tranzitivna relacija. Stoga je R 3 koju emo dalje u primjeru ozna avati s R neizrazita relacija ekvivalencije. I dalje je jednostavno: prisjetimo se α-presjek neizrazite relacije ekvivalencije je klasi na relacija ekvivalencija koja generira particiju univerzalnog skupa, a time i grupiranje elemenata u razrede ekvivalencije. Kako u relaciji imamo pet razli itih vrijednosti: 0.735, 0.800, 0.907, te 1.000, moºemo napraviti pet α-presjeka ( ime dobivamo pet klasi nih relacija ekvivalencije) i pet particija skupa gradova. α-presjeci i pripadne particije navedeni su u nastavku. Particija L/ R α=0.735 je {{L 1, L 2,L 3, L 4, L 5 }} R α=0.735 = R α=0.800 = Particija L/ R α=0.800 je {{L 1, L 5 }, {L 2, L 3, L 4 }} R α=0.907 =

79 4.6. NEINTERAKTIVNOST BINARNE RELACIJE 67 Particija L/ R α=0.907 je {{L 1, L 5 }, {L 2, L 3 }, {L 4 }} R α=0.972 = Particija L/ R α=0.972 je {{L 1 }, {L 2, L 3 }, {L 4 }, {L 5 }} R α=1.000 = Particija L/ R α=1.000 je {{L 1 }, {L 2 }, {L 3 }, {L 4 }, {L 5 }}. 4.6 Neinteraktivnost binarne relacije U jednom od prethodnih primjera pitali smo se je li mogu e izvornu relaciju rekonstruirati iz njezinih projekcija. Odgovor na to pitanje daje pojam neinteraktivnosti relacije. Denicija 42 (Neinteraktivnost binarne relacije). Neka je R binarna relacija denirana nad U 1 U 2, pri emu su U 1 i U 2 univerzalni skupovi. Neka je X projekcija relacije R na U 1 a Y projekcija relacije R na U 2. Relacija R je neinteraktivna ukoliko vrijedi: X Y = R. Drugi na in da ovo kaºemo jest: relacija je neinteraktivna ako je spoj svojih projekcija: ako se R dobije upravo kao presjek cilindri nih pro²irenja projekcija. Relacija je interaktivna ukoliko nije neinteraktivna. Primjer: 20 Utvrdite je li neizrazita relacija R neinteraktivna R = Rje²enje: Najprije je potrebno utvrditi projekcije ove relacije. 1.0 R proju1 = R proju 2 = [ ] 1.0

80 68 POGLAVLJE 4. NEIZRAZITE RELACIJE Potom ra unamo presjek cilindri nih pro²irenja, ²to je ekvivalentno izra unu kartezijevog produkta: 1.0 R proju1 R proju2 = [ ] = Budu i da je spoj projekcija relacije razli it od izvorne relacije, relacija nije neinteraktivna, odnosno relacije je interaktivna. Napomenimo i da je ra unanje kartezijevog produkta jednako ra unanju spoja cilindi nih pro²irenja projekcija (pri emu spoj podrazumijeva operaciju presjeka). Pokaºimo to i uvjerimo se da je rezultat jednak R cil_proju1 U 1 U 2 R cil_proju2 U 1 U 2 = = Pogledajmo jo² jedan primjer. Primjer: 21 Utvrdite je li neizrazita relacija R neinteraktivna R = Rje²enje: Najprije je potrebno utvrditi projekcije ove relacije. 0.7 R proju1 = R proju 2 = [ ] 0.4 Potom ra unamo presjek cilindri nih pro²irenja, ²to je ekvivalentno izra unu kartezijevog produkta: 0.7 R proju1 R proju2 = [ ] = = R Budu i da je spoj projekcija relacije jednak izvornoj relaciji, relacija je neinteraktivna.

81 Poglavlje 5 Neizrazito zaklju ivanje i upravljanje Jedna od temeljnih primjena neizrazite logike, neizrazitih skupova i neizrazitih relacija je pomo u modeliranju sloºenih sustava te izrada sustava neizrazitog upravljanja. Stoga emo u ovom poglavlju zaokruºiti sve ²to smo do sada obradili i pogledati konkretnu primjenu. 5.1 Modeliranje nelinearnih sustava Relacije se mogu iskoristiti za modeliranje funkcijskog preslikavanja; ²tovi²e, ve smo i rekli da je relacija poop enje pojma funkcija, jer omogu ava da se jednom elementu domene pridruºi vi²e od jednog elementa kodomene. Neizrazite relacije tu su posebno pogodne jer omogu avaju da se svakoj uspostavljenoj vezi pridruºi mjera s kojom ta veza vrijedi. Pretpostavimo da smo mjerili ulazno-izlaznu nekog sustava koji je, ²to se nas ti e, crna kutija o kojoj ne znamo nikakve detalje. Mjerenja smo radili za 5 ulaznih vrijednosti napona i dobili smo rezultate koje prikazuje sljede a tablica. Ulazni napon 1V 2V 3V 4V 5V Izlazni napon 1V 3V 4V 2V 1V Ova tablica predstavlja prijenosnu karakteristiku sustava i sastoji se od pet parova (ulazni napon, izlazni napon): (1, 1), (2, 3), (3, 4), (4, 2) te (5, 1). Kako su vrijednosti ulaznog napona cijeli brojevi od 1 do 5, denirajmo s U u = {1, 2, 3, 4, 5} univerzalni skup koji denira mogu e ulazne napone. Vrijednosti izlaznog napona se kre u sli no, pa emo s U i = {1, 2, 3, 4, 5} ozna iti univerzalni skup koji denira mogu e izlazne napone. Sada moºemo denirati relaciju R deniranu nad U u U i koja predstavlja prijenosnu karakteristiku i radi upravo preslikavanje koje je denirano tablicom odnosno prethodno navedenim parovima ulaz-izlaz; svaki navedeni par 69

82 70 POGLAVLJE 5. NEIZRAZITO ZAKLJUƒIVANJE I UPRAVLJANJE relaciji e pripadati sa stupnjem pripadnosti 1. Time emo dobiti relaciju: R = Uporabom ove relacije za bilo koji ulazni napon moºemo izra unati izlazni napon uporabom kompozicije. Primjerice, neka smo na ulaz doveli napon od 3V. Ovaj napon treba predstaviti neizrazitim skupom deniranim nad univerzalnim skupom U u. Kako znamo da je ulazni napon to no 3V, predstavit emo ga neizrazitim skupom X: X = 0.0 1V V V V V Izra unajmo sada o ekivani izlazni napon kompozicijom Y = X R: Y = X R = [ ] = [ ] = 0.0 1V V V V V Kako neizrazitom skupu Y koji predstavlja vrijednost izlaznog napona pripada samo jedan element s mjerom pripadnosti ve om od 0, taj emo element proglasiti izlaznim naponom, i to je, ba² u skladu s o ekivanjima, napon od 4V. Na isti na in moºete provjeriti i za sve ostale ulazne napone kompozicijom s relacijom R dobit emo upravo o ekivane izlazne napone (napravite to za vjeºbu). Prikazani primjer ilustrira jednostavan scenarij gdje nam neizraziti skupovi prakti ki nisu niti trebali sve vrijednosti funkcija pripadnosti bile su ili 0 ili 1 pa su u tom smislu to bile klasi ne relacije i klasi ni skupovi. Neizrazitost moºemo iskoristiti ako postoji mjerna nesigurnost. Pretpostavimo da ulazni napon za promatrani sustav pode²avamo preciznim naponskim generatorom, no izlazni napon mjerimo analognim voltmetrom koji je dosta neprecizan. Tada bismo izmjerene podatke mogli prikazati kako je to napravljeno u sljede oj tablici. Ulazni napon 1V 2V 3V 4V 5V Izlazni napon 1V 3V 4V 2V 1V

83 5.1. MODELIRANJE NELINEARNIH SUSTAVA 71 Kako napraviti relaciju koja modelira ovakvu karakteristiku? Osnovno pitanje je sljede e: ²to zna i da je izlazni napon pribliºno 3V? Taj pojam moºemo modelirati neizrazitim skupom. Iskoristimo primjerice trokutastu funkciju pripadnosti s polu²irinom baze trokuta iznosa 3 ako je trokut centriran na vrijednost c, za vrijednost c funkcija pripadnosti e biti 1.00, za vrijednost c ± 1 funkcija pripadnosti e biti 0.67, za vrijednost c ± 2 funkcija pripadnosti e biti 0.33 i za vrijednost c ± 3 funkcija pripadnosti past e na U tom slu aju moºemo re i da je ulaznom naponu 2V pridruºen izlazni napon modeliran neizrazitim skupom: "pribliºno 3V" = V V V V V. Stoga e u relaciji koja modelira ovakvo preslikavanje u retku koji odgovara ulaznom naponu od 2V u stupcima biti upisane upravo vrijednosti funkcije pripadnosti izlaznog napona "pribliºno 3V". Relacija koja se dobije na ovaj na in je: R = Utvrživanje odnosa ulaz-izlaz i dalje se provodi na isti na in. Ako znamo ulazni napon, izlazni emo dobiti kompozicijom ulaznog napona i relacije koja predstavlja prijenosnu karakteristiku. Provjerimo to na primjeru ulaznog napona X 4V : Y = X R = [ ] = [ ] = V V V V V " pribliºno 2V". Kona no, sustav koji modeliramo moºe biti takav da za njega niti imamo precizne ulazne podatke, niti imamo precizne izlazne podatke. A mogu je i druga iji scenarij: promatrani sustav ne ºelimo modelirati do najsitnijeg detalja ve ºelimo dobiti grubu aproksimaciju prijenosne funkcije sustava. Uzmimo za primjer sustav koji ima prijenosnu karakteristiku y = 0.5x 2 + 3x 2.5 (ali pretpostavimo da mi to ne znamo). Da bismo do²li do prijenosne karakteristike, napravit emo nekoliko mjerenja; dovodit emo na ulaz razli ite vrijednosti napona (x) i mjeriti emo odziv (napon y). Kako vrijednosti koje daju instrumenti nisu ba² precizne, dolazimo do sljede eg niza AKO-ONDA pravila:

84 72 POGLAVLJE 5. NEIZRAZITO ZAKLJUƒIVANJE I UPRAVLJANJE AKO je "x oko 1" ONDA je "y oko 0", AKO je "x oko 3" ONDA je "y oko 2", AKO je "x oko 5" ONDA je "y oko 0". Denirajmo kori²tene neizrazite skupove: "x oko 1" = FuzzyTrokut(-0.5,1,2.5), "x oko 3" = FuzzyTrokut( 1.5,3,4.5), "x oko 5" = FuzzyTrokut( 3.5,5,6.5), "y oko 0" = FuzzyTrokut(-1.5,0,1.5), "y oko 2" = FuzzyTrokut( 0.5,2,3.5). AKO A ONDA B pravila moºemo shvatiti kao binarne relacije koje se dobiju kartezijevim produktom A B. Sada jo² samo treba napraviti uniju kartezijevih produkata koji su nastali iz pravila koja imamo, i dobili smo relaciju koja odgovara prijenosnoj karakteristici (slika 5.1). Ovo se moºe koristiti uvijek kada je prijenosna karakteristika sustava nepoznata, ili pak previ²e komplicirana da bi se mogla opisati direktno konvencionalnim matemati kim modelima. Slika 5.1: Prijenosna karakteristika sustava.

85 5.2. DEKODIRANJE NEIZRAZITOSTI 73 Evo i poja²njenja postupka. Svako AKO-ONDA pravilo denira jednu relaciju. Ako imamo k pravila, imat emo k relacija: R 1, R 2,..., R k. Pri tome izmežu svakog pravila stoji logi ki vezik ili. Stoga izlaz moºemo denirati kao: y = (x R 1 ) (x R 2 )... (x R k ) a to je pak jednako: y = x (R 1 R 2... R k ). Ako uniju relacija proglasimo kona nom relacijom R: slijedi da je: R = R 1 R 2... R k, y = x R. Relacija R denirana kao unija relacija koje denira svako od pravila predstavlja relaciju koja modelira prijenosnu karakteristiku sustava. 5.2 Dekodiranje neizrazitosti Kroz sva poglavlja do sada govorili smo i radili s neizrazitim skupovima. Mežutim, ponekad se iz neizrazitosti treba vratiti i natrag. Npr. neka imamo neizraziti sustav koji na temelju nekoliko ulaznih senzora mjeri temperaturu i vlaºnost zraka. Od takvog sustava ipak o ekujemo da na kraju da odgovor oblika: "trenutna temperatura je x stupnjeva celzijusa", a nikako odgovor tipa "stupanj pripadnosti temperature od 15 trenutnoj temperaturi je 0.7, stupanj pripadnosti temperature od 16 trenutnoj temperaturi je 0.73, stupanj pripadnosti... ". Proces kojim se vr²i ova transformacija naziva se dekodiranje neizrazitosti (engl. defuzzycation). I odmah dobra (ili lo²a) vijest. Ne postoji jednozna an, najbolji na in da se ovo obavi. Postoje samo na ini na koje se to obi no radi, iako se svakim danom javljaju i nove metode. Naj e² e metode dekodiranja neizrazitosti su sljede e: teºi²te (engl. Center of Area) koja odrežuje to ku na x-osi koja u zikalnom smislu odgovara teºi²tu lika koji tvori funkcija pripadnosti neizrazitoga skupa, polovi²te (engl. Bisector of Area) koja odrežuje onu to ku na x-osi koja predstavlja to ku kroz koju prolazi okomiti pravac koji lik ²to ga tvori funkcija pripadnosti neizrazitoga skupa dijeli na dvije povr²inom jednake polovice, srednji maksimum (engl. Mean of Max) koja odrežuje srednju vrijednosti onih to aka za koje je funkcija pripadnosti neizrazitog skupa maksimalna, najmanji maksimum (engl. Smallest of Max) koja daje najmanji element za koji je funkcija pripadnosti neizrazitog skupa maksimalna, najve i maksimum (engl. Largest of Max) koja daje najve i element za koji je funkcija pripadnosti neizrazitog skupa maksimalna te druge.

86 74 POGLAVLJE 5. NEIZRAZITO ZAKLJUƒIVANJE I UPRAVLJANJE CenterOfArea deniran je za kona ni neizraziti skup A kao: i X CoA (A) = µ A(x i ) x i i µ A(x i ) dok za kontinuirane skupove vrijedi: (5.1) X CoA (A) = µa (x) x dx µa (x) dx. (5.2) Metoda BisectorOfArea u op em slu aju ne daje jednozna no rje²enje, odnosno moºe se dogoditi da postoji beskona no to aka koje ga zadovoljavaju. Ovo je jasno ilustrirano na slici 5.2 na kojoj je prikazan neizraziti skup deniran nad univerzalnim skupom relanih brojeva kao rezultat dekodiranja neizrazitosti metodom BisectorOfArea moºe se uzeti bilo koji x iz skupa [8, 12], a takvih je beskona no. Za koji god x iz tog intervala, povr²ina s lijeve strane bit e jednaka povr²ini s desne strane. µ A (x) x Slika 5.2: Nejednozna nost pri dekodiranju neizrazitosti metodom BisectorOfArea. Spomenimo jo² jednu metodu dekodiranja neizrazitosti koja se povremeno koristi jer je dosta jednostavna. Pretpostavimo da je neizraziti skup A koji dekodiramo nastao kao unija r neizrazitih skupova A i, gdje je i {1,..., r}. Neka je x c i centar neizrazitog skupa A i a w i njegova visina: w i = hgt(a i ). Tada se kao rezultat dekodiranja neizrazitosti moºe uzeti uprosje eni centar pri emu ra unamo teºinski prosjek s visinama kao teºinama: X CA (A) = r i=1 xc i w i r i=1 w. (5.3) i Engleski naziv ove metode je center average defuzzier. Primjer: 22

87 5.2. DEKODIRANJE NEIZRAZITOSTI 75 Neizraziti skup A deniran je nad univerzalnim skupom U = {6, 7, 8, 9, 10, 11, 12, 13, 14} i nastao je kao rezultat unije dvaju neizrazitih skupova ije su funkcije pripadnosti bile trokutaste. Funkcija pripadnosti skupa A prikazana je na slici u nastavku. µ A (x) x Provedite postupak dekodiranja neizrazitosti metodom CenterOfArea te metodom MeanOfMax. Rje²enje: Sa slike moºemo rekonstruirati parametre trokutastih funkcija pripadnosti izvornih skupova i temeljem toga moºemo o itati (tj. izra unati) vrijednosti funkcije pripadnosti za sve elemente univerzalnog skupa: A = / / / Dekodiranje metodom CenterOfArea daje: X CoA (A) = i µ A(x i ) x i i µ A(x i ) = / / / / / / / 3 = 14 / 3 = Kada bismo temeljem neizrazitog skupa A morali generirati jednu jasnu vrijednost koja ga predstavlja, metodom CenterOfArea dobivamo vrijednost koja je pribliºno najbliºi predstavnik u univerzalnom skupu je element 10. Za dekodiranje metodom MeanOfMax trebamo utvrditi za koje sve vrijednosti univerzalnog skupa funkcija pripadnosti zadanog neizrazitog skupa ima maksimalne vrijednosti. Uvidom u sliku (ili u skup koji smo o itali) vidimo da funkcija pripadnosti kao maksimalnu vrijednost poprima vrijednost 1, i ona se postiºe za dva elementa univerzalnog skupa za 9 i 12. Stoga je rezultat: X MoM (A) = = 21 2 = 10.5 Rezultat dekodiranja neizrazitosti ovom metodom je U univerzalnom skupu imamo dva elementa koja su najbliºa toj vrijednosti: 10 i 11 i bilo koja od njih moºe biti odgovor. Primjer: 23

88 76 POGLAVLJE 5. NEIZRAZITO ZAKLJUƒIVANJE I UPRAVLJANJE Pretpostavite da je neizraziti skup iz prethodnog zadatka deniran nad univerzalnim skupom realnih brojeva. U tom slu aju njegova je funkcija pripadnosti skicirana zelenom crtkanom linijom. Provedite postupak dekodiranja neizrazitosti metodama CenterOfArea te BisectorOfArea. Rje²enje: Kako je u ovom slu aju funkcija pripadnosti denirana nad skupom realnih brojeva, metoda CenterOfArea koristit e izraz koji je deniran preko integrala. Pro itajmo stoga najprije kako je to no denirana funkcija pripadnosti skupa A. Kao pomo izra unajmo gdje se sijeku dva izvorna trokuta iju uniju analiziramo: dobit emo vrijednosti x = 10.8 i µ A (x) = 0.4. ƒitava funkcija pripadnosti tada je: µ A (x) = 0, x 6, x 6 3 x 9, 12 x 3, x 10.8, x 10 2, x 12, 14 x 2, x 14, 0, x > 14. Da bismo proveli dekodiranje neizrazitosti, koristimo izraz: X CoA (A) = µ A(x) x dx µ A(x) dx. S obzirom da je funkcija pripadnosti zadana po dijelovima, gornji integral emo ra unati po dijelovima, ²to emo zapisati simboli ki kao: µ A (x) x dx = = U svakom od tih dijelova za µ A (x) emo uvrstiti izraz koji ga denira. nastavku. Ra un je prikazan u 9 ( ) 9 ( ) ( ) x 2 x dx = 3 x2 2x dx = 9 x3 x 2 9 = (4 13 ) 9 x x dx = (4x 13 ) x2 dx = (2x 2 19 ) 10.8 x3 = ( ) 9 ( ) ( x 5 x dx = 2 x2 5x dx = 6 x3 5 ) 12 2 x2 = (7 12 ) 9 x x dx = (7x 12 ) ( 7 x2 dx = 2 x2 1 ) 14 6 x3 = Ukupna vrijednost integrala u nazivniku jednaka je sumi upravo izra unatih dijelova: µ A (x) x dx = = Integral u nazivniku predstavlja povr²inu ispod funkcije pripadnosti; itateljima se ostavlja za vjeºbu da postupak provedu direktno integriranjem, a mi emo se posluºiti injenicom da su

89 5.2. DEKODIRANJE NEIZRAZITOSTI 77 funkcije po etnih skupova bile trokutaste, pa se povr²ina moºe direktno izra unati kako slijedi: µ A (x) dx = = = povr²ina 1 + povr²ina 2 + povr²ina 3 + povr²ina 4 = (1.5) + (1.5 = ) + ( ) + (1) 2 Time moºemo izra unati i traºeni omjer: X CoA (A) = µ A(x) x dx µ A(x) dx = = Provedimo dekodiranje i metodom BisectorOfArea. Ve smo utvrdili da se itava povr²ina ispod funkcije pripadnosti raspada na etiri podpovr²ine ukupne sume 4.6. Pola od toga je 2.3 ²to se postiºe zbrajanjem prve povr²ine i dijela druge povr²ine; traºeni x stoga je negdje u rasponu x-eva koji pripadaju drugoj povr²ini. Moºemo postaviti sljede u jednadºbu: Raspisivanjem imamo: P 1 + P 2a = P 2b + P 3 + P 4. ( 3 1 (1.5) + 2 (12 x)(4 1 ) ( / 3 x) (12 x)(4 1 / 3 x) = 2 2 ) (0.84) + (1). 2 pri emu su zagradama grupirani dijelovi koji predstavljaju svaku od povr²ina. Ova jednadºba moºe se svesti na klasi nu kvadratnu jednadºbu: 5x 2 120x = 0 ije je prihvatljivo rje²enje: x = 9.951, i to je rje²enje jedinstveno Numeri ki postupci pri dekodiranju neizrazitosti Ako su neizraziti skupovi denirani nad diskretnim univerzalnim skupovima, tada se postupci dekodiranja neizrazitosti mogu vrlo jednostavno implementirati na ra unalu naime, imamo jasne denicije koje se tipi no svode na izra une suma odreženih izraza nad elementima univerzalnog skupa. Problem mežutim nastaje ako sustav implementiramo na ra unalu i kao domenu koristimo podskup realnih brojeva. U tom slu aju na raspolaganju su nam formule koje se svode na izra une integrala. Ra unanje to nog iznosa integrala pri tome moºe biti neprihvatljivo sloºen (ili ak nemogu ) zadatak, pa takvo ra unanje treba nekako aproksimirati. U ovom podpoglavlju osvrnut emo se stoga na jednostavan postupak numeri kog aproksimiranja vrijednosti integrala.

90 78 POGLAVLJE 5. NEIZRAZITO ZAKLJUƒIVANJE I UPRAVLJANJE Pretpostavimo da je zadan neizraziti skup prikazan na slici 5.3a. Potrebno je izra unati povr²inu ispod funkcije pripadnosti tog neizrazitog skupa, odnosno integral: I = x max x min µ A (x) dx pri emu je pretpostavka da je univerzalni skup nad koji je deniran ovaj neizraziti skup jednak [x min, x max ] R. Ako promatramo samo onaj dio koji je prikazan slikom, moºemo pretpostaviti da je to [0, 40]. µ A (x) (a) Funkcija ija se ra una povr²ina. x µ A (x) µ A (x) h 0.50 h µ A (a) 0.25 µ A (b) a b x a b x (b) Aproksimacija dijela povr²ine s lijeve strane. (c) Aproksimacija dijela povr²ine s desne strane. Slika 5.3: Aproksimacija povr²ine tj. vrijednosti integrala trapeznom formulom. Postoji vi²e na ina kako se moºe pristupiti ovom problemu, i mi emo se ovdje fokusirati na najjednostavniji koji e u praksi esto biti dovoljno dobar. ƒitav interval [x min, x max ] podijelit emo u n uniformnih podintervala, svaki ²irine h: h = x max x min. n Vrijednost integrala tada moºemo zapisati kao sumu integrala nad svakim

91 5.2. DEKODIRANJE NEIZRAZITOSTI 79 podintervalom, tj.: n 1 I = i=0 I [xmin +i h,x min +(i+1) h]. Time smo problem odreživanja jednog integrala sveli na problem odreživanja n integrala; mežutim, varijabilnost funkcije unutar svakog od tih n integrala nadamo se da je zna ajno manja u odnosu na varijabilnost funkcije nad itavim univerzalnim skupom, i pretpostavka je da e uz dovoljno velik n (odnosno uz dovoljno mali h) na svakom podintervalu funkcija poprimiti linearni karakter. Pogledajmo stoga jedan istaknuti podinterval [a, b] ²irine h = b a. I bez pretpostavke da je unutar tog funkcija strogo linearna, povr²inu moºemo aproksimirati na dva na ina, kako to prikazuju slike 5.3b i 5.3c. Prva mogu nost je da izra unamo vrijednost funkcije u to ki a i to uzmemo kao visinu stupca, te povr²inu nad intervalom aproksimiramo s h µ A (a). Alternativa je da izra unamo vrijednost funkcije u to ki b i to uzmemo kao visinu stupca, te povr²inu nad intervalom aproksimiramo s h µ A (b). Kako je µ A (a) < µ A (b), vidimo da smo u prvom slu aju povr²inu podcijenili, a u drugom precijenili. Stoga se kao kona na aproksimacija moºe uzeti aritmeti ka sredina tih dviju procjena povr²ina: I [a,b] = h µ A(a) + h µ A (b) 2 = h µa(a) + µ A (b) 2 = (b a) µa(a) + µ A (b). 2 Izraz koji smo upravo izveli poznat je pod nazivom trapezna aproksimacija vrijednosti integrala funkcije µ A (x). Uo ite da, za slu aj da se funkcija na svakom od intervala doista pona²a linearno, ova aproksimacija daje pravu vrijednost povr²ine. Ako se funkcija ne pona²a linearno, dobit emo aproksimaciju; to bolju ²to je h manji, ali kako time n nuºno raste, postupak ra unanja e biti sve dulji i dulji. Dakle, kao op eniti izraz za aproksimaciju integrala: I = x max x min f(x) dx (5.4) moºe se koristiti uniformna diskretizacija u n podintervala: te izraz: h = x max x min n (5.5) n 1 I = I [xmin +i h,x min +(i+1) h] (5.6) i=0 n 1 = i=0 h f(x min + i h) + f(x min + (i + 1) h). (5.7) 2

92 80 POGLAVLJE 5. NEIZRAZITO ZAKLJUƒIVANJE I UPRAVLJANJE Primjerice, u slu aju dekodiranja neizrazitosti metodom CenterOfArea potrebno je izra unati dva integrala: µ A (x) x dx i µ A (x) dx; za izra un prvog integrala uzet emo f(x) = µ A (x) x i provesti postupak dok emo za izra un drugog uzeti f(x) = µ A (x) i ponoviti postupak. Osim opisanog postupka, mogu e je posegnuti i za drugim na inom izra una integrala. Prethodno opisani postupak aproksimirao je vrijednost integrala funkcije koju nismo mogli to no integrirati. Umjesto toga, problem bismo mogli postaviti i ovako: poku²ajmo funkciju koju integriramo aproksimirati nekom funkcijom koju znamo to no integrirati, i potom obavimo integraciju. Dakle, umjesto da aproksimiramo povr²inu ispod funkcije, mi emo aproksimirati funkciju nekom drugom (ali takvom da nju znamo integrirati) i potom emo provesti integraciju nad aproksimacijskom funkcijom. I tu se otvara itav niz mogu nosti kako to napraviti, ime se bavi jedan velik dio numeri ke matematike. Jedna od vrsta funkcija koje znamo integrirati su polinomi. Naime, ako imamo zadan polinom: n P (x) = a i x i neodreženi integral tog polinoma dan je sljede im izrazom: n a i P (x) dx = i + 1 xi+1 = Q(x) ²to je opet polinom. Tada vrijedi: x max x min i=0 i=0 P (x) dx = Q(x) xmax x min = Q(x max ) Q(x min ) (5.8) i ²to je jednostavno za izra unati (i isprogramirati). Problem koji time ostaje za rije²iti jest kako prona i polinom koji dobro aproksimira zadanu funkciju f(x) koju trebamo integrirati, i na to pitanje nema jednozna nog odgovora. Jedna mogu nost jest odlu iti se zadanu funkciju f(x) uniformno uzorkovati u n + 1 to ki, i zatim prona i polinom minimalnog stupnja koji to no prolazi kroz svih n + 1 to ku. Takav polinom je jednozna no odrežen, i to je polinom n-tog stupnja. Do koecijenata polinoma moºemo do i na vi²e na ina, a ovdje emo opisati na in koji koristi Lagrangeov zapis polinoma. Neka je funkcija f(x) uniformno uzorkovana u n + 1 to ki, ime smo dobili n + 1 par (x i, y i ) gdje je y i = f(x i ). Za slu aj interpolacije u n + 1 to ki denira se n + 1 bazni Lagrangeov polinom, pri emu je j-ti bazni Lagrangeov polinom l j (x) deniran kao: l j (x) = 0 m n m j (x x m ) x j x m = (x x 0) (x x j 1 )(x x j+1 ) (x x n ) (x j x 0 ) (x j x j 1 )(x j x j+1 ) (x j x n ).

93 5.3. PRIBLIšNO ZAKLJUƒIVANJE 81 Uo ite da je brojnik razlomka upravo polinom n-tog stupnja ije su nulto ke svih n vrijednosti x i osim x j, i iji je nazivnik konstanta koja ovisi o svim vrijednostima x i u kojima je napravljeno uzorkovanje. Stoga slijedi da za i j vrijedi l j (x i ) = 0. Ako pak u l j uvrstimo vrijednost x j, brojnik i nazivnik postaju identi ni i pokrate se; tada vrijedi: l j (x j ) = 1. j-ti bazni Lagrangeov polinom, dakle, u to ki x j poprima vrijednost 1 a u svim ostalim to kama u kojima je raženo uzorkovanje poprima vrijednost 0. Ako s L(x) ozna imo aproksimaciju funkcije f(x) (to nije njezinu interpolaciju u n + 1 uniformno distribuiranoj to ki), tada moºemo pisati: L(x) = n y j l j (x). (5.9) j=0 Funkcija L(x) doista jest interpolacija funkcije f(x) onda prolazi kroz svih n + 1 zadanih to aka zbog svojstva funkcije l j koja je u x = x j jednaka 1 pa je tada doprinos y j l j (x j ) = y j a u x = x i za i j jednaka 0 pa je doprinos y i l j (x i ) = 0 ime je itava suma jednaka upravo y j. Mežutim, isto tako, funkcija L(x) je samo aproksimacija funkcije f(x) jer ona sigurno poprima iste vrijednosti kao funkcija f(x) samo u n+1 zadanoj to ki; u svim ostalim mežuto kama razlika izmežu L(x) i f(x) moºe biti zamjetna. Ovo je posebice istina zbog Rungeovog fenomena, pojave koju je spoznao Carl David Tolmé Runge, njema ki matemati ar i zi ar, i koja se ispoljava kao pojava sve ve ih oscilacija interpolacijskog polinoma n-tog reda uz krajeve intervala, kako n raste. To pak zna i da e se, za odrežene funkcije, s pove anjem broja to aka u kojima se radi uzorkovanje aproksimacija pogor²avati, a ne postajati sve bolja. Na ini zaobilaºenja ovog problema izlaze iz opsega ovog teksta, i zainteresirane itatelje se upu uje da pogledaju interpolacijske pristupe koji se temelje na neuniformnom uzorkovanju (ideja je da se rježe uzorkuje oko sredine intervala a sve gu² e kako se pribliºavamo rubovima intervala, jer tamo ina e dolazi do oscilacija vidi Chebyshevljevo uzorkovanje). Osim Lagrangeovog oblika polinoma koristi se i Newtonov oblik polinoma te drugi. Jednom kad smo utvrdili svih n + 1 baznih Lagrangeovih polinoma (koji su svaki stupnja n), kona ni aproksimacijski polinom L(x) koji je teºinska suma baznih polinoma (gdje su vrijednosti funkcije f u uzorkovanim to kama teºine) takožer je polinom n-tog stupnja. Koecijente uz sve potencije od x je mogu e programski izra unati, a to zna i da moºemo primjeniti izraz 5.8 za izra un to ne vrijednosti integrala ispod aproksimacijske funkcije. 5.3 Pribliºno zaklju ivanje Pribliºno zaklju ivanje sluºi nam za predstavljanje znanja i zaklju ivanje kada je znanje izraºeno prirodnim jezikom, ili kada je neprecizno ili nejasno denirano. Pri tome se koriste jezi ne varijable i neizraziti skupovi. U klasi noj logici osnova svega su propozicije. To je atomarna jedinica kojoj se pri-

94 82 POGLAVLJE 5. NEIZRAZITO ZAKLJUƒIVANJE I UPRAVLJANJE djeljuje vrijednost istinitosti; primjerice, propozicija "Pero je doktor" moºe biti istinita ili laºna, ili moºe poprimiti neki nivo istinitosti ako govorimo o vi²evrijednosnoj logici. U neizrazitoj logici radimo s neizrazitim propozicijama koje se u op em obliku zapisuju kao "X je A", pri emu je x varijabla a A neizraziti skup. Npr. u neizrazitoj propoziciji "temperatura je vrlo visoka", "temperatura" je varijabla, a "vrlo visoka" je neizraziti skup koji opisuje koncept vrlo visoke temperature. Uo ite odmah da je zna enje ove propozicije potpuno subjektivno jer je denicija "vrlo visoke" temperature subjektivna. Nije isto ako govorimo da ovjek (pacijent) ima visoku temperaturu ( 40 C) ili da je tali²te nekog metala M 2 na vrlo visokoj temperaturi (par tisu a C) jer smo kao referentnu temperaturu uzeli tali²te nekog metala M 1 koja iznosi par stotina C. Vrijednost istinitosti propozicije "x je A" denirana je s funkcijom pripadnosti µ A (x). Sloºene neizrazite propozicije grade se uporabom veznika i, ili, ne, akoonda i sli no. Tako primjerice od jednostavnih propozicija "x je A" i "x je B" moºemo izgraditi sloºene propozicije "x je A ILI x je B", "Ako x je A ONDA x je B" i tako dalje. Pri tome se vrijednosti istinitosti sloºenih propozicija odrežuju na na in kako to prikazuje tablica 5.1. Tablica 5.1: Sloºene neizrazite propozicije Sloºena propozicija Rezultat Na in ra unanja istinitosti x je A I x je B x je C, C = A I B µ C (x) = µ A (x) µ B (x), ozna ava bilo koju t-normu iako se naj e² e koristi Zadehova operacija minimuma x je A ILI x je B x je C, C = A ILI B µ C (x) = µ A (x) µ B (x), ozna ava bilo koju s-normu iako se naj e² e koristi Zadehova operacija maksimuma x nije A x je C, C = ne A µ C (x) = µ A (x), ozna ava bilo koju operaciju generaliziranog komplementa, iako se naj e² e koristi Zadehova operacija komplementa denirana kao 1 µ A (x) Osim ovih operacija u uporabi su esta i neizrazita produkcijska pravila koja su oblika AKO x je A ONDA y je B, pri emu je A neizraziti skup deniran nad univerzalnim skupom U 1, B neizraziti skup deniran nad univerzalnim skupom U 2. Zna enje ove implikacije predstavljeno je relacijom nad U 1 U 2, sa svojstvom: µ R (x, y) = µ A (x) µ B (y), pri emu je bilo koji operator implikacije (a jedan smo ve upoznali iako ga tada nismo zvali implikacijom kartezijev produkt).

95 5.3. PRIBLIšNO ZAKLJUƒIVANJE 83 U klasi noj logici jedno od poznatih pravila zaklju ivanja je modus ponens. Prisjetimo se ²to nam govori to pravilo: Premisa 1: x je A Premisa 2: AKO x je A ONDA y je B Zaklju ak: y je B. Pri tome su "x je A" i "y je B" klasi ne propozicije. Neizrazita logika omogu ava deniranje generaliziranog modus ponensa koji radi s neizrazitim propozicijama: Premisa 1: x je A Premisa 2: AKO x je B ONDA y je C Zaklju ak: y je D. Uporaba generaliziranog modus ponensa omogu ava provoženje zaklju- ivanja u situacijama u kojima ulazna vrijednost varijable nije ba² identi na antecedentu u pravilu. Zaklju ivanje generaliziranim modus ponensom svodi se na izra un kompozicije neizrazitog skupa koji predstavlja ulaznu premisu i relacije koju generira AKO-ONDA pravilo: Premisa 1: x je A Premisa 2: (x, y) R Zaklju ak: y je D. Ovo pravilo pretpostavlja da relacija R ve postoji, i moºe biti proizvoljna. Ako je A deniran nad univerzalnim skupom U 1, tada relacija R mora biti denirana nad U 1 U 2, ime e rezultat Y, tj. kompozicija A R, biti deniran nad U 2. AKO-ONDA pravila jedan su na in dobivanja relacije R ve smo rekli da je zna enje AKO-ONDA pravila relacija koja se dobije nekim od operatora implikacije. Naj e² i operatori implikacije navedeni su u nastavku. U klasi noj binarnoj logici vrijedi: (p q) ( p q) ((p q) p). Koriste i s-norme i t-norme te generalizirane komplemente izvodi se ve ina operatora implikacije u neizrazitoj logici. Pogledajmo malo detaljnije: za²to se zaklju ivanje modus ponensom svodi na kompoziciju. Neka je dano sljede e pravilo. AKO x = a I y = f(x) TADA y = f(a) Pravilo se ini sasvim zdravorazumsko. No pogledajmo njegove dijelove. Antecedent se sastoji od dva dijela: prvi dio utvržuje vrijednost varijable x a drugi dio denira da se varijabla y dobiva kao primjena funkcije f(.) na varijablu x. Ako antecedent vrijedi, pravilo kaºe da je tada vrijednost varijable y jednaka rezultatu koji se dobije uvr²tavanjem varijable x u funkciju

96 84 POGLAVLJE 5. NEIZRAZITO ZAKLJUƒIVANJE I UPRAVLJANJE f(x) f(x) f(x) y=f(a) y=f(a) y=f(a) (a) Izrazite vrijednosti a x a (b) Neizrazit x x (c) Neizraziti f i x a x Slika 5.4: Inspiracija za postupak izra una generaliziranog modus ponensa f. No funkcija nije ni²ta drugo doli specijalan oblik relacije. Stoga se dano pravilo moºe direktno pro²iriti i to na sljede i na in (vidi sliku 5.4). Ako imamo klasi nu funkciju i izrazitu vrijednost varijable (slu aj na slici 5.4a), tada se svaki x preslikava to no u jedan y. Ako sada dopustimo da x nije izrazit broj ve neki interval (slu aj na slici 5.4b), rezultat preslikavanja bit e takožer interval. Dapa e, ako dopustimo da x bude neizraziti skup a ne obi an interval, tada emo za svaki y u koji f preslika x denirati i stupanj pripadnosti koji e biti jednak stupnju pripadnosti kojim x pripada ulaznom neizrazitom skupu. Kona no, sada moºemo pro²iriti i f tako da nije funkcija u strogom matemati kom smislu ve da je neizrazita funkcija: funkcija koja isti ksirani x preslikava u razli ite vrijednosti y sa zadanim stupnjevima pripadnosti (slika 5.4c). Ovakvo zadana funkcija zapravo je neizrazita relacija. Da bismo odredili neizrazit skup Y u koji se preslikava ulazni neizraziti skup X, potrebno je za svaki y V (gdje je V univerzalni skup nad kojim je deniran Y a U univerzalni skup nad kojim je deniran X) odrediti mjeru pripadnosti kojom taj element pripada neizrazitom skupu Y. Pogledamo li sliku i ksiramo li neki y = y i, uo it emo da se vi²e razli itih elemenata x j U preslikava u taj ksirani y i, ali s razli itim stupnjevima pripadnosti. Za svaki takav x j treba odrediti u kojoj mjeri taj x j pripada neizrazitom skupu X te u kojoj mjeri relacija (odnosno zadana neizrazita funkcija) taj x j preslikava u zadani y i. Ta dva stupnja pripadnosti uobi ajeno se kombiniraju nekom t-normom (primjerice, minimumom). Npr. ako odabrani x j neizrazitom skupu X pripada s mjerom 0.4 (µ X (x j ) = 0.4) te ako neizrazita funkcija taj x j preslikava u y i sa stupnjem pripadnosti 1 (µ R (x j, y i ) = 1), zaklju it emo da smo tim putem utvrdili da y i neizrazitom skupu pripada sa stupnjem pripadnosti od min(0.4, 1) = 0.4. Naravno, kako se u isti y i potencijalno preslikava vi²e razli itih x j, ºelimo utvrditi mjeru kojom y i pripada u Y preko svakog mogu eg preslikavanja i onda zaklju iti da u Y pripada mjerom koja je najve a utvržena preko svih promatranih x j. Neformalno,postupak bismo mogli opisati ovako: mjera kojom y i pripada neizrazitom skupu Y jednaka je (mjeri kojom x 1 pripada neizrazitom skupu X I mjeri kojom relacija f taj x 1 preslikava u y i ) ILI (mjeri kojom x 2 pripada neizrazitom skupu X I mjeri kojom relacija f taj x 2 preslikava u y i ) ILI... U prethodnoj re enici namjerno su kori²tene

97 5.3. PRIBLIšNO ZAKLJUƒIVANJE 85 zagrade u svrhu grupiranja kako bismo prepoznali mjesto na kojem se koriste t-norme za kombiniranje dviju mjera te mjesta na kojima se koriste s-norme za kombiniranje dviju mjera. Isti postupak moºemo prikazati na jo² jedan na in (poku²ajte se uvjeriti da je to isto). Ulazni neizraziti skup X pro²irimo na neizrazitu relaciju R deniranu nad U V koja opisuje neku funkciju f koja svaki x j U preslikava u sve y i V onom mjerom kojom x j pripada neizrazitom skupu X. Ovakva relacija direktno odgovara cilindri nom pro²irenju. Na²a zadana funkcija f denirana je neizrazitom relacijom R. Sada izgradimo kona nu relaciju R kao presjek ovih dviju relacija: R = R R, koriste i bilo koju t-normu. Time smo dobili relaciju koja za svaki (x j, y i ) sadrºi supanj pripadnosti koji reektira i mjeru kojom x j pripada ulaznom neizrazitom skupu X i mjeru kojom relacija R (tj. funkcija f) taj x j preslikava u y i. Da bismo utvrdili kojom mjerom y i pripada izlaznom neizrazitom skupu Y, radimo projekciju relacije R na V pri emu za kombiniranje stupnjeva pripadnosti moºemo koristiti bilo koju s-normu. Dajmo sada i formalnu deniciju postupka. Pretpostavimo da znamo da vrijedi premisa x je A. Pretpostavimo takožer da je temeljem AKO-ONDA pravila izgražena relacija R nad U V, odnosno da vrijedi i druga premisa. Provodimo sljede i postupak. 1. korak: neizraziti skup A ºelimo pro²iriti na istu domenu nad kojom je denirana u relacija kako bismo dobili relaciju koju moºemo usporediti sa zadanom relacijom R. Ra unamo stoga skup A cil kao cilindri no pro²irenje A na V : µ Acil (x, y) = µ A (x). Time su A cil i R denirani nad istom domenom. 2. korak: ra unamo presjek cilindri nog pro²irenja i relacije: gdje je T odabrana t-norma. µ Acil R(x, y) = T (µ Acil (x, y), µ R (x, y)). 3. korak: ra unamo projekciju tog presjeka na V ; slijedi: µ B (y) = sup µ Acil R(x, y). x Cjelokupni postupak moºe se kra e zapisati kao: µ B (y) = sup T (µ A (x), µ R (x, y)) x Odaberemo li kao t-normu operator minimum ili produkt, direktno dobivamo sup-min odnosno sup-produkt kompozicije Naj e² i operatori implikacije u neizrazitoj logici U nastavku je dan kratak pregled naj e² ih operatora implikacije koji se koriste u neizrazitoj logici.

98 86 POGLAVLJE 5. NEIZRAZITO ZAKLJUƒIVANJE I UPRAVLJANJE Implikacija Kleene-Diens Ova implikacija denirana je izrazom: (p q) ( p q) pri emu se kao operator koristi Zadehov operator maksimuma a kao negacija Zadehov operator negacije. Stoga je pripadna relacija denirana funkcijom pripadnosti: µ R (x, y) = max(1 µ A (x), µ B (y)). Implikacija Lukasiewicz Ova implikacija denirana je izrazom: (p q) ( p q) pri emu se kao operator koristi ograni ena suma a kao negacija Zadehov operator negacije. Stoga je pripadna relacija denirana funkcijom pripadnosti: µ R (x, y) = min(1, 1 µ A (x) + µ B (y)). Implikacija Zadeh Ova implikacija denirana je izrazom: (p q) ((p q) p) pri emu se kao operator koristi Zadehov operator maksimuma, kao operator koristi Zadehov operator minimuma a kao negacija Zadehov operator negacije. Stoga je pripadna relacija denirana funkcijom pripadnosti: µ R (x, y) = max(min(µ A (x), µ B (y)), 1 µ A (x)). Implikacija Gödel Ova implikacija denirana je izrazom: { 1, p q, (p q) q, p > q ²to je denicija implikacije kakva se ina e koristi u vi²evrijednosnoj logici. Stoga je pripadna relacija denirana funkcijom pripadnosti: { 1, µa (x) µ µ R (x, y) = B (y), µ B (y), µ A (x) > µ B (y)

99 5.3. PRIBLIšNO ZAKLJUƒIVANJE 87 Prije no ²to damo jo² i deniciju implikacije prema Mamdaniju, osvrnimo se malo na uporabu implikacije u neizrazitoj logici. AKO-ONDA pravila koja su sastavni dio sustava neizrazitog upravljanja uobi ajeno se shva aju kao implikacije. Primjerice, neka je dano sljede e pravilo. AKO struja je mala ONDA napon je visok. Postoje dva tuma enja zna enja danog pravila. Jedno mogu e tuma enje bi bilo: pravilo nam kaºe da je napon visok samo ako je struja mala, ali ako struja nije mala, tada napon nije visok. Donekle blisko tuma enje bilo bi i re i da ako struja nije mala, napon moºe biti i visok i nizak. Ovakva tuma enja kod kojih je interpretacija pravila u odreženom smislu globalna odgovara implikaciji u klasi noj logici. Sve prethodne denicije implikacija izvedene su upravo iz klasi ne implikacije. Pogledajmo to na primjeru. Neka su dani neizraziti skupovi Mala struja = { 1 1A A + 0 } { 3A i Visoki napon = 0.1 1V V + 1 } 3V. Relacija koja se dobije uporabom implikacije prema Zadehu je: R = O ekivano, iz relacije je vidljivo da ako je struja mala (prvi redak koji odgovara struji 1A), napon je visok jer za tu struju samo napon od 3V pripada relaciji sa stupnjem pripadnosti 1: µ R (1A, 3V ) = 1 dok ostali naponi pripadaju s manjim stupnjem. Mežutim, pogledajmo ²to se dogaža za srednje ili velike struje: razmotrimo primjerice tre i redak relacije koji opisuje vezu izmežu razli itih napona i struje 3A. Svi stupnjevi pripadnosti u tom retku su 1, ime denirana relacija uspostavlja vezu izmežu struje od 3A i svih napona. Mogli bismo re i da je ova relacija zapravo relacija koja denira ²to nije mogu e: pogledajte distribuciju niskih stupnjeva pripadnosti u toj relaciji. Relaciju bismo mogli protuma iti ovako: nije istina da je struja mala i napon mali: to je proturje no pravilu; sve ostalo vrijedi. Ako je struja mala, pravilo denira da je napon visok; za sve ostale struje ne znamo pa ne isklju ujemo vezu izmežu takvih struja i svih mogu ih napona. ƒesto, ovakva interpretacija AKO-ONDA pravila nam ne odgovara. Umjesto globalnog karaktera, pravilu ºelimo dali lokalni karakter: pravilo uspostavlja vezu izmežu zadovoljenog antecedenta i danog konsekventa. Ako antecedent ne vrijedi, pravilo ne daje nikakvu dodatnu informaciju, odnosno ne uspostavlja relaciju izmežu elemenata koji ne zadovoljavaju antecedent. Posljedi no, u takvoj situaciji htjeli bismo implikaciju koja e u relaciju uzeti samo one elemente koji zadovoljavaju i antecedent i konsekvent. U konkretnom slu aju, visok stupanj pripadnosti o ekujemo od elemenata koji predstavljaju male struje i visoke napone. to je struja dalja od "male struje" i

100 88 POGLAVLJE 5. NEIZRAZITO ZAKLJUƒIVANJE I UPRAVLJANJE napon dalji od "visokog napona", takav par e imati manji stupanj pripadnosti relaciji, jer se pravilo ne odnosi na takvu situaciju. Stoga se kao mogu i model implikacije za AKO-ONDA pravilo kojemu dajemo lokalni karakter name u upravo t-norme (odnosno logi ki I). Ra unamo li implikaciju kao minimum (²to smo radili i kada smo gradili kartezijev produkt dvaju neizrazitih skupova), za prethodno AKO-ONDA pravilo dobit emo sljede u relaciju (provjerite): R = Uo ite sada kako su rasporežene vrijednosti mjere pripadnosti u relaciji. Dajmo sada i formalnu deniciju implikacije koja odgovara lokalnoj interpretaciji AKO-ONDA pravila. Implikacija Mamdani Ova implikacija denirana je izrazom: (p q) (p q) pri emu se kao operator koristi ili Zadehov operator minimuma ili Algebarski produkt. Stoga je, u slu aju da se koristi Zadehov operator minimuma, pripadna relacija denirana funkcijom pripadnosti: µ R (x, y) = min(µ A (x), µ B (y)) tj. R = A B a u slu aju da se koristi Algebarski produkt, pripadna relacija denirana je funkcijom pripadnosti: µ R (x, y) = µ A (x) µ B (y). Uo ite da je ovakva denicija implikacije i ra unski najjednostavnija. Stoga se upravo ova denicija implikacije naj e² e koristi u neizrazitom upravljanju. 5.4 Neizrazito upravljanje Jedno od podru ja u kojima se koristi neizrazita logika jest upravljanje, odnosno neizrazito upravljanje. Pogledajmo koje se metode koriste i na koji na in rade sustavi neizrazitog upravljanja. Naj e² e se za opisivanje pona²anja sustava koriste AKO-ONDA pravila. Npr. AKO x je A ONDA y je B. Pri tome je A neizraziti skup deniran nad univerzalnim skupom U 1, a B je neizraziti skup deniran nad univerzalnim skupom U 2. Ulazi u sustav mogu ali i ne moraju biti neizraziti ( esto nisu ²to olak²ava izvoženje zaklju aka). Postavlja se pitanje kako sada na temelju ulazne vrijednosti

101 5.4. NEIZRAZITO UPRAVLJANJE 89 dobiti odgovaraju u izlaznu vrijednost. I opet, metoda je nekoliko, i naravno, nema one koja bi bila najbolja u svim situacijama. Prvo emo opisati metodu koju smo ve koristili. Ako imamo obi an ulaz (npr. realni broj b), transformirat emo taj broj u neizraziti skup x (npr. "pribliºno broj b", ili "to no broj b"). Neizrazito pravilo AKO x je A ONDA y je B predstavlja relaciju R koja se dobije kao implikacija (metode su opisane u podpoglavlju 5.3.1, primjerice npr. R = A B). Koriste i pravilo kompozicije izvodimo vrijednost izlaza y = x R, pri emu je y opet neizraziti skup nad U 2. Ako kao izlaz ne ºelimo neizraziti skup, jo² je potrebno provesti postupak dekodiranja neizrazitosti (poglavlje 5.2). Drugu metodu koja se esto koristi opisuje slika 5.5. Postupak se provodi tako da se izra una s kojim stupnjem pripadnosti ulazna vrijednosti x ul pripada neizrazitom skupu A. Zatim se kao rezultat y uzima modikacija neizrazitog skupa B, na sljede i na in: { µb (y), µ µ y (y) = B (y) µ A (x ul ) µ A (x ul ), µ B (y) > µ A (x ul ). Ovaj postupak jo² se zove odsijecanje (engl. clipping). Kao rezultat se opet dobije neizraziti skup y, pa ako je potrebno, moºe se jo² izvr²iti i dekodiranje neizrazitosti. Slika 5.5: Izvoženje zaklju ka odsijecanjem. Tre a metoda samo je mala modikacija upravo pokazanog postupka, slika 5.6. Umjesto da skup B odsije emo na visini µ A (x ul ), rezultantni skup y dobije se skaliranjem skupa B na visinu µ A (x ul ): µ y (y) = µ A (x ul ) µ B (y). Sada smo se upoznali s razrje²avanjem jednog AKO-ONDA pravila. No ²to ako takvih pravila ima vi²e?

102 90 POGLAVLJE 5. NEIZRAZITO ZAKLJUƒIVANJE I UPRAVLJANJE Slika 5.6: Izvoženje zaklju ka skaliranjem. AKO x je A 1 ONDA y je B 1 AKO x je A 2 ONDA y je B 2... AKO x je A n ONDA y je B n U tom slu aju moºemo postupiti na dva na ina. Prvi na in svodi se na izra unavanje unije svih relacija koje se dobiju iz ovih AKO-ONDA pravila. Naime, i-to AKO-ONDA pravilo prestavlja relaciju R i. Skup od n AKO-ONDA pravila tada predstavlja relaciju R = n i=1 R i. Sada moºemo pravilom kompozicije izvoditi zaklju ivanje y = x R. Moºemo postupiti i na drugi na in. Moºemo izvoditi pravilo po pravilo te dobiti n izlaznih neizrazitih skupova. Izvoženjem i-tog pravila dobiti emo izlazni neizraziti skup yi. Kada ovo izra unamo za sva pravila, kona ni izlazni skup y moºemo dobiti kao uniju svih pojedina nih izlaznih skupova: y = n i=1 y i. I na kraju, AKO-ONDA pravila mogu biti puno sloºenija od oblika "AKO x je A ONDA y je B". Pogledajmo jo² kako se razrje²avaju takve situacije. Ukoliko imamo oblik: "AKO x je A 1 I x je A 2 ILI x je A 3 ONDA y je B", pravilo se moºe svesti na oblik "AKO x je A ONDA y je B" budu i da sve propozicije imaju istu varijablu x pa se "I", "ILI" i sli no moºe izra unati prema tablici 5.1. No ²to uraditi s pravilima oblika: "AKO x je A 1 I y je A 2 ONDA z je B"? Varijabla x i neizraziti skup A 1 denirani su nad univerzalnim skupom U 1 dok su varijabla y i neizraziti skup A 2 denirani su nad univerzalnim skupom U 2. O ito ne moºemo izraze "I", "ILI" i sl. ra unati kao presjek ili uniju, jer nisu po domenama kompatibilni. U tom slu aju postupa se na na in kako to pokazuje slika 5.7. Ideja je da se razrije²e "visine" za svaku varijablu koja se pojavljuje: kod nas su to varijable x i y pa imamo visine µ A1 (x ul ) i µ A2 (y ul ). Zatim

103 5.4. NEIZRAZITO UPRAVLJANJE 91 Slika 5.7: Izvoženje pri sloºenim izrazima. se ovisno o vezniku izmežu tih varijabli rezultantna visina ra una pomo u neke od t-normi (ako je veznik I), pomo u neke od s-normi (ako je veznik ILI), odnosno pomo u nekog od generaliziranih komplemenata (ako imamo negaciju). Kada se izra una rezultantna visina, moºe se izvesti odsijecanje ili pak skaliranje, ovisno o tome na koji na in dalje ºelimo ra unati. Prethodno opisani metode djeluju dosta "proizvoljno" denirane. Mežutim, u pozadini postoji i formalni model koji emo opisati u nastavku Zaklju ivanje u sustavima neizrazitog upravljanja Sustavi neizrazitog upravljanja koje ovdje razmatramo su produkcijski sustavi. Njihova baza znanja sastoji se od niza AKO-ONDA pravila. Graža jednog takvog sustava prikazana je na slici 5.8. Ulaz x nad U Pretvorba u neizrazite veličine Baza AKO-ONDA pravila Dekodiranje neizrazitosti Izlaz y nad V Neizraziti skupovi nad U Sustav za neizrazito zaključivanje Neizraziti skupovi nad V Slika 5.8: Graža sustava neizrazitog upravljanja. Pretpostavimo da sustav kao ulaz dobiva r podataka ozna it emo ih s x 1 do x r koji kao vrijednosti poprimaju elemente univerzalnih skupova U 1 do U n. Takožer neka se baza pravila sastoji od n R pravila kako je prikazano u nastavku, pri emu je A i j neizraziti skup deniran nad univerzalim skupom U j. Svi neizraziti skupovi B i denirani su nad istim univerzalnim skupom V.

104 92 POGLAVLJE 5. NEIZRAZITO ZAKLJUƒIVANJE I UPRAVLJANJE AKO x 1 je A 11 I I x r je A 1r ONDA y je B 1... AKO x 1 je A i1 I I x r je A ir ONDA y je B i... AKO x 1 je A nr 1 I I x r je A nr r ONDA y je B nr x 1 do x r su, op enito govore i, neizraziti skupovi koji predstavljaju trenutne ulaze sustava. U opisanom scenariju razvijena su dva na ina izvoženja zaklju aka: zaklju ivanje temeljeno na kompoziciji te zaklju ivanje temeljeno na pojedina nim pravilima. U nastavku emo razmotriti oba na ina. Zaklju ivanje temeljeno na kompoziciji Razmotrimo i-to pravilo. Antecedent se sastoji od konjunkcije r zahtjeva. ƒitav antecedent moºemo prikazati kao neizrazitu relaciju koja je denirana nad U 1 U r kao kartezijev produkt neizrazitih skupova A i1 do A ir. Drugim rije ima, deniramo relaciju ija je funkcija pripadnosti dana sljede im izrazom: µ Ai1 A ir (x 1,..., x r ) = T (µ Ai1 (x 1 ),..., µ Air (x r )). U ovom izrazu T (...) predstavlja bilo koju t-normu a uobi ajeno je koristiti minimum. ƒinjenica da smo dobili relaciju nas ne treba smetati relacija jest neizraziti skup. No sada kada smo to utvrdili, navedeno AKO-ONDA pravilo moºemo promatrati kao pravilo iji je antecedent jedan neizraziti skup a konsekvent drugi neizraziti skup. Stoga emo itavo pravilo predstaviti kao jednu relaciju deniranu nad univerzalnim skupom U 1 U r V uporabom bilo kojeg od operatora implikacije koje smo prethodno opisali. Temeljem i-tog pravila dobili smo relaciju R i. Kako imamo n R pravila, dobit emo ukupno n R relacija: R 1,, R nr. Sljede i korak je izgradnja kona ne relacije R koja e predstavljati cjelokupni sustav. Prisjetimo se sada prethodne diskusije o lokalnosti semantike pravila. Ako AKO-ONDA pravila imaju lokalnu semantiku (odnosno koristimo implikaciju takvih karakteristika), tada svako pravilo generira relaciju koja ima ve e vrijednosti funkcije pripadnosti samo u onom podprostoru na koji se to pravilo odnosi dok je na svim ostalim mjestima vrijednost funkcije pripadnosti nula (ili mala). Stoga se u takvom slu aju ukupna relacija

105 5.4. NEIZRAZITO UPRAVLJANJE 93 dobiva kao unija pojedina nih relacija (ra unamo je uporabom bilo koje od s-normi): R = R 1... R nr. U kona noj relaciji trebaju biti oni parovi elemenata koji su uklju eni u bilo koju od relacija. Ako pak za AKO-ONDA pravila koristimo implikaciju koja daje globalnu semantiku, prisjetimo se, u dobivenoj relaciji nisu vrijednost funkcije pripadnosti imat e oni parovi elemenata koji su kontradiktorni pravilu a svi ostali parovi e imati visoke vrijednosti funkcije pripadnosti. Stoga u kona noj relaciji visok stupanj funkcije pripadnosti trebaju imati samo oni parovi elemenata koje niti jedno pravilo nije isklju ilo, ²to zna i da emo u tom slu aju koristiti presjek pojedina nih relacija (ra unamo ga uporabom bilo koje od t-normi): R = R 1... R nr. Ovime smo osigurali da je par elemenata koji je bilo koja relacija isklju ila isklju en i u kona noj relaciji. Prethodne korake bilo je potrebno provesti kako bismo do²li do relacije R koja predstavlja cjelokupni neizraziti sustav (odnosno koja u sebi ima ugražena sva pravila). Jednom kada imamo relaciju R, zaklju ivanje se svodi na uporabu modus ponensa. Pretpostavimo da je korisnik kao ulaz neizrazitog sustava denirao x 1 je C 1,..., x r je C r, gdje su C 1 do C r neizraziti skupovi. Gradimo neizraziti skup C kao kartezijev produkt neizrazitih skupova C 1 C r i potom izvodimo kao kompoziciju neizrazitog skupa C i relacije R: µ B (y) = sup x 1,...,x r T (µ C (x 1,..., x r ), µ R (x 1,..., x r, y)). (5.10) Izra un zaklju ka, kako se vidi iz prethodnog pravila, ra unski e biti vrlo skup: supremum se traºi po kartezijevom produktu univerzalnih skupova nad kojima su denirane ulazne varijable. Stoga se u praksi esto uvodi jedno pojednostavljenje koje e osigurati ekasniji izra un zaklju ka: uvodi se restrukcija da neizraziti skupovi C i moraju biti jednoelementni neizraziti skup (singletoni). Ozna imo u svakom od neizrazitih skupova C i oznakom x i taj element domene za koji je µ C i jednaka 1: Kompozicijsko zaklju ivanje µ Ci (x i ) = { 1, xi = x i 0, ina e i pogledajmo malo bolje ²to se pretraºuje u izrazu U slu aju da su C i jednoelementni neizraziti skupovi, funkcija pripadnosti µ C (x 1,..., x r ) poprimit e vrijednost 1 samo kada je x 1 = x 1... x r = x r dok e u svim drugim slu ajevima biti 0. No iz rubnih uvjeta t-normi znamo da e rezultat t-norme biti 0 ako je jedan od operanada jednak 0. Slijedi da se traºi supremum (maksimum) od jako puno nula te one jedne speci ne situacije u kojoj

106 94 POGLAVLJE 5. NEIZRAZITO ZAKLJUƒIVANJE I UPRAVLJANJE je x 1 = x 1... x r = x r za koju je µ C (x 1,..., x r) = 1 pa se tada ra una t-norma izmežu 1 i µ R (x 1,..., x r, y); opet iz rubnih uvjeta t-normi znamo da je tada rezultat jednak upravo ovom posljednjem operandu. Slijedi da se cjelokupni zaklju ak tada svodi na: Pojednostavljenje µ B (y) = µ R (x 1,..., x r, y). (5.11) ²to se, uz pretpostavku da je R unaprijed izra unat, moºe vrlo ekasno odrediti te nije potrebno provoditi vremenski zahtjevnu kompoziciju. Zaklju ivanje temeljeno na pojedina nim pravilima Kod zaklju ivanje temeljenog na kompoziciji prvi korak je bio izgradnja relacije koja u sebe ugražuje znanje dano kroz sva pravila sustava. Jednom kada je relacija izgražena, pravila se vi²e ne koriste. Umjesto pomo u njih, za svaki zadani ulaz radi se njegova kompozicija s dobivenom relacijom i tako generira izlaz. Za razliku od zaklju ivanja temeljenog na kompoziciji, zaklju ivanje temeljeno na pravilima itavo vrijeme radi direktno s pravilima. Pretpostavimo da je korisnik kao ulaz neizrazitog sustava denirao x 1 je C 1,..., x r je C r, gdje su C 1 do C r neizraziti skupovi. 1. Za svako pravilo potrebno je izgraditi relaciju koja predstavlja to pravilo. Konkretno, za i-to pravilo gradimo relaciju R i (x 1,..., x r, y) na jednak na in kako smo to napravili kod zaklju ivanja temeljenog na kompoziciji. 2. Ozna imo s C(x 1,..., x r ) relaciju koja je dobivena kao kartezijev produkt neizrazitih skupova C i (ulaza u sustav), koriste i odabranu t- normu. 3. Za svako pravilo ra unamo neizrazit skup koji predstavlja lokalni zaklju ak B i kao generalizirani modus ponens pri emu je prva premisa "x je C" a druga promatrano pravilo. Tako dobiveni zaklju ak je neizraziti skup sa sljede om funkcijom pripadnosti: Izvoženje pojedina nih zaklju aka µ B (y) = sup T (µ C (x 1,..., x r ), µ Ri (x 1,..., x r, y)). (5.12) i x 1,...,x r Provoženjem ovog koraka zavr²avamo s n R razli itih zaklju aka (svako pravilo generiralo je jedan; to su neizraziti skupovi B 1 do B n R ). Kombiniranje zaklju aka 4. Zaklju ke svakog pravila sada je potrebno kombinirati u jedan jedinstveni zaklju ak i to kao uniju zaklju aka (ako je kori²tena implikacija koja pravilu daje lokalnu semantiku): µ B (y) = i=1,...,n R µ B i (y) = S(µ B (y),..., µ 1 B (y)) (5.13) n R

107 5.4. NEIZRAZITO UPRAVLJANJE 95 ili kao presjek zaklju aka (ako je kori²tena implikacija koja svakom pravilu daje globalnu semantiku): µ B (y) = i=1,...,n R µ B i (y) = T (µ B (y),..., µ 1 B (y)). (5.14) n R Stroj za zaklju ivanje koji se temelji na minimumu Stroj za zaklju ivanje koji se temelji na minimumu (engl. inference engine) je implementacija zaklju ivanja koje: Minimum se temelji na zaklju ivanju prema pojedina nim pravilima, kao operator implikacije koristi Mamdanijevu minimum-implikaciju, za sve s-norme koristi operator maksimuma, za sve t-norme koristi operator minimuma te pojedina ne zaklju ke svakog pravila kombinira unijom u kona an zaklju ak. µ B (y) = max i=1,...,n R = max i=1,...,n R ( ) sup min(µ C (x 1,..., x r ), µ Ri (x 1,..., x r, y)) x 1,...,x r { (5.15) sup min (µ C (x 1,..., x r ), min(µ Ai1 (x 1 ),..., µ Air (x r ), µ Bi (y))) x 1,...,x r (5.16) ( ) = max sup min(µ C1 (x 1 ),..., µ Cr (x r ), µ Ai1 (x 1 ),..., µ Air (x r ), µ Bi (y)) i=1,...,n R x 1,...,x r (5.17) U slu aju da se kao ulaz koriste singleton neizraziti skupovi i ako ozna- imo s x 1 do x r konkretne vrijednosti koje jedine pripadaju ulaznim neizrazitim skupovima C 1 do C r, tada se prethodni izraz pojednostavljuje u: µ B (y) = max i=1,...,n R {min(µ Ai1 (x 1),..., µ Air (x r), µ Bi (y))}. (5.18) } Stroj za zaklju ivanje koji se temelji na produktu Stroj za zaklju ivanje koji se temelji na produktu (engl. Product inference engine) je implementacija zaklju ivanja koje: se temelji na zaklju ivanju prema pojedina nim pravilima,

108 96 POGLAVLJE 5. NEIZRAZITO ZAKLJUƒIVANJE I UPRAVLJANJE kao operator implikacije koristi Mamdanijevu produkt-implikaciju, za sve s-norme koristi operator maksimuma, za sve t-norme koristi operator produkt te pojedina ne zaklju ke svakog pravila kombinira unijom u kona an zaklju ak. µ B (y) = max i=1,...,n R = max i=1,...,n R = max i=1,...,n R ( ) sup µ C (x 1,..., x r ) µ Ri (x 1,..., x r, y) (5.19) x 1,...,x r sup µ C (x 1,..., x r ) µ Aij (x j ) µ Bi (y) x 1,...,x r sup x 1,...,x r j=1,...,r j=1,...,r µ Cj (x j ) j=1,...,r (5.20) µ Aij (x j ) µ Bi (y) (5.21) U slu aju da se kao ulaz koriste singleton neizraziti skupovi i ako ozna- imo s x 1 do x r konkretne vrijednosti koje jedine pripadaju ulaznim neizrazitim skupovima C 1 do C r, tada se prethodni izraz pojednostavljuje u: µ B (y) = max µ Aij (x j) µ Bi (y). (5.22) i=1,...,n R j=1,...,r Kod prethodna dva opisana stroja moºe se javiti problem male visine generiranog zaklju ka. Naime, ako je visina barem jednog od ulaznih neizrazitih skupova mala, ta visina ograni ava i visiku generiranog rezultata (²to je posebice istaknuto kod stroj za zaklju ivanje koji se temelji na produktu). Zbog toga emo jo² navesti i strojeve koji koriste implikacije koje pravilima daju globalnu semantiku i koji u odreženoj mjeri prevladavaju ovaj problem. Dienes-Rescherov stroj za zaklju ivanje Dienes-Rescherov stroj za zaklju ivanje (engl. Dienes-Rescher inference engine) je implementacija zaklju ivanja koje: se temelji na zaklju ivanju prema pojedina nim pravilima, kao operator implikacije koristi Dienes-Rescherovu implikaciju, za sve s-norme koristi operator maksimuma,

109 5.4. NEIZRAZITO UPRAVLJANJE 97 za sve t-norme koristi operator minimum te pojedina ne zaklju ke svakog pravila kombinira presjekom u kona an zaklju ak. µ B (y) = min sup min( i=1,...,n R x 1,...,x r ) µ C (x 1,..., x r ), max(1 min j=1,...,r (µ A ij (x j )), µ Bi (y)) U slu aju da se kao ulaz koriste singleton neizraziti skupovi i ako ozna- imo s x 1 do x r konkretne vrijednosti koje jedine pripadaju ulaznim neizrazitim skupovima C 1 do C r, tada se prethodni izraz pojednostavljuje u: µ B (y) = min max(1 min (µ A ij (x j)), µ Bi (y)) i=1,...,n R j=1,...,r Zadehov stroj za zaklju ivanje Zadehov stroj za zaklju ivanje (engl. Zadeh inference engine) je implementacija zaklju ivanja koje: se temelji na zaklju ivanju prema pojedina nim pravilima, kao operator implikacije koristi Zadehovu implikaciju, za sve s-norme koristi operator maksimuma, za sve t-norme koristi operator minimum te pojedina ne zaklju ke svakog pravila kombinira presjekom u kona an zaklju ak. µ B (y) = min sup min( i=1,...,n R x 1,...,x r ) µ C (x 1,..., x r ), max(min( min (µ A ij (x j )), µ Bi (y)), 1 min (µ A ij (x j ))) j=1,...,r j=1,...,r U slu aju da se kao ulaz koriste singleton neizraziti skupovi i ako ozna- imo s x 1 do x r konkretne vrijednosti koje jedine pripadaju ulaznim neizrazitim skupovima C 1 do C r, tada se prethodni izraz pojednostavljuje u: µ B (y) = min max(min( min (µ A ij (x j)), µ Bi (y)), 1 min (µ A ij (x j))) i=1,...,n R j=1,...,r j=1,...,r

110 98 POGLAVLJE 5. NEIZRAZITO ZAKLJUƒIVANJE I UPRAVLJANJE Lukasiewiczev stroj za zaklju ivanje Lukasiewiczev stroj za zaklju ivanje (engl. Lukasiewicz inference engine) je implementacija zaklju ivanja koje: se temelji na zaklju ivanju prema pojedina nim pravilima, kao operator implikacije koristi Lukasiewiczevu implikaciju, za sve s-norme koristi operator maksimuma, za sve t-norme koristi operator minimum te pojedina ne zaklju ke svakog pravila kombinira presjekom u kona an zaklju ak. µ B (y) = min sup min( i=1,...,n R x 1,...,x r ) µ C (x 1,..., x r ), ²to se dalje moºe pojednostavniti u: µ B (y) = min min(1, 1 ( min j=1,...,r (µ A ij (x j ))) + µ Bi (y)) sup min( i=1,...,n R x 1,...,x r ) µ C (x 1,..., x r ), 1 ( min j=1,...,r (µ A ij (x j ))) + µ Bi (y) U slu aju da se kao ulaz koriste singleton neizraziti skupovi i ako ozna- imo s x 1 do x r konkretne vrijednosti koje jedine pripadaju ulaznim neizrazitim skupovima C 1 do C r, tada se prethodni izraz pojednostavljuje u: µ B (y) = min (1, 1 min (µ A ij (x j)) + µ Bi (y)) i=1,...,n R j=1,...,r 5.5 Primjer sustava neizrazitog upravljanja: okrenuto njihalo Okrenuto njihalo jedan je od sustava koji se koriste za ispitivanje i demonstraciju sustava upravljanja. Taj je sustav nelinearan i mogu e ga je opisati

111 5.5. PRIMJER SUSTAVA NEIZRAZITOG UPRAVLJANJA: OKRENUTO NJIHALO99 preko dvije diferencijalne jednadºbe drugog reda, ²to je izvedeno u podpoglavlju Te su jednadºbe sljede e. (M + m)ẍ ml sin (φ) φ 2 + ml cos (φ) φ = u (5.23) Sustav je prikazan na slici 5.9. y mẍ cos (φ) + ml φ = mg sin (φ). (5.24) m L x cart φ (0,0) M u x Slika 5.9: Obrnuto njihalo. Na kolica mase M koja se mogu gibati samo vodoravno montirana je ²ipka duljine L na zglob koji nema trenja niti drugih gubitaka i koji omogu ava rotaciju ²ipke samo u xy ravnini (drugim rije ima, gledano sliku, ili prema naprijed, ili prema natrag). Na vrh ²ipke montirana je kugla mase m. Za potrebe izvoda pretpostavit emo da je ²ipka zanemarive mase a kolica i kuglu aproksimirat emo to kastim masama. U svakom trenutku na kolica djeluje vanjska sila u(t) ije je djelovanje strogo horizontalno. Pogledajmo na tren sliku 5.9 i pretpostavimo da nema vanjske sile: uslijed sile gravitacije koja djeluje na kuglu o ekujemo da e ²tap po eti rotirati prema desno. Potrebno je razviti upravlja ki sustav koji e odreživati iznos i smjer sile koju treba primijeniti sa svrhom da se ²tap postavi u okomiti

112 100POGLAVLJE 5. NEIZRAZITO ZAKLJUƒIVANJE I UPRAVLJANJE poloºaj (kut φ = 0) te da se kolica pozicioniraju u ishodi²te koordinatnog sustava (x cart = 0). Neovisno o na inu izvedbe takvog upravlja kog sustava, njegovo uklapanje u okolinu prikazano je na slici Sustav okrenutog njihala na kolicima Stanje sustava: kut, kutna brzina, pozicija i brzina kolica sila u(t) Upravljački sustav Željeno stanje sustava: kut, kutna brzina, pozicija i brzina kolica Slika 5.10: Sustav i upravlja ki sklop. Upravlja ki sklop od sustava moºe dobiti etiri podatka koja ujedno ine i stanje sustava: 1. vodoravni poloºaj kolica x cart (u m), 2. brzinu kojom se kolica gibaju v cart (u m/s), 3. kut koji njihalo zatvara s okomicom (u rad; za okomiti poloºaj φ = 0, za otklon u desno kut je pozitivan, za otklon u lijevo kut je negativan) te 4. kutnu brzinu (u rad/s; pozitivna vrijednost zna i da se kut pove ava, negativna da se smanjuje). Temeljem tih podataka zada a upravlja kog sustava je prilagoditi silu kja e djelovati na kolica a u svrhu stabilizacije njihava u okomitom poloºaju. Opisana konguracija predstavlja zatvorenu petlju: u nekom trenutku sustav se nalazi u nekom stanju, temeljem tog stanja upravlja ki sklop generira novi ulaz za sustav; vrijednost ulaza pak u sljede em trenutku dovodi do potecijalne promjene stanja i postupak se zatvara u krug.

113 5.5. PRIMJER SUSTAVA NEIZRAZITOG UPRAVLJANJA: OKRENUTO NJIHALO101 Jezična varijabla KUT µ (x) A NB NS ZO PS 1.00 PB x (a) Jezi na varijabla KUT. Jezična varijabla KUTNA BRZINA µ (x) A NB NS ZO PS 1.00 PB x (b) Jezi na varijabla KUTNA BRZINA. Jezična varijabla SILA µ A (x) NB NS ZO PS PB x (c) Jezi na varijabla SILA. Slika 5.11: Jezi ne varijable sustava za upravljanje okrenutim njihalom.

114 102POGLAVLJE 5. NEIZRAZITO ZAKLJUƒIVANJE I UPRAVLJANJE Upravlja ki sustav koji emo opisati razmatrat e samo dvije od varijabli stanja: trenutni kut te trenutnu kutnu brzinu. Temeljem tih podataka sustav e generirati iznos sile koji je potrebno primijeniti na kolica. Denicije triju odgovaraju ih jezi nih varijabli dane su u nastavku a gra ki prikaz daje slika Neizraziti skupovi koji pripadaju jezi noj varijabli KUT denirani su na sljede i na in. NB µ NB (x) = L(x; 0.79, 0.50) NS µ NS (x) = Λ(x; 0.75, 0.38, 0.00) ZO µ ZO (x) = Λ(x; 0.25, 0.00, 0.25) PS µ P S (x) = Λ(x; 0.00, 0.38, 0.75) PB µ P B (x) = Γ(x; 0.50, 0.79) Neizraziti skupovi koji pripadaju jezi noj varijabli KUTNA BRZINA de- nirani su na sljede i na in. NB µ NB (x) = L(x; 2.5, 1.5) NS µ NS (x) = Λ(x; 2.5, 1.25, 0.0) ZO µ ZO (x) = Λ(x; 1.0, 0.0, 1.0) PS µ P S (x) = Λ(x; 0.0, 1.25, 2.5) PB µ P B (x) = Γ(x; 1.5, 2.5) Kona no, neizraziti skupovi koji pripadaju jezi noj varijabli SILA denirani su na sljede i na in. NB µ NB (x) = L(x; 20.0, 12.5) NS µ NS (x) = Λ(x; 15.0, 9, 2.5) ZO µ ZO (x) = Λ(x; 5.0, 0.0, 5.0) PS µ P S (x) = Λ(x; 2.5, 9, 15.0) PB µ P B (x) = Γ(x; 12.5, 20.0) Sustav neizrazitog upravljanja koristit e pravila oblika: AKO kutna brzina je A i1 I kut je A i2 TADA sila je B i pri emu e neizraziti skupovi A i1 biti denirani nad univerzalnim skupom [ 9, +9], neizraziti skupovi A i2 bit e denirani nad univerzalnim skupom [ 3, +3] dok e neizraziti skupovi B i biti denirani nad univerzalnim skupom [ 35, +35]. Ulazne vrijednosti pretvarat e se u jednoelementne neizrazite skupove (singletone). Stroj za zaklju ivanje koji emo koristiti je stroj koji se temelji na produktu. Kako jezi ne varijable KUTNA BRZINA i KUT svaka moºe poprimiti po 5 razli itih temeljnih vrijednosti, slijedi da emo imati 5 5 = 25 pravila. Pravila emo saºeto prikazati tablicom u nastavku: za svaki redak (kutnu brzinu) i svaki stupac (kut) sadrºaj elije sadrºi silu koju daje pravilo koje predstavlja odabranu kutnu brzinu i kut.

115 5.5. PRIMJER SUSTAVA NEIZRAZITOG UPRAVLJANJA: OKRENUTO NJIHALO103 Kut NB NS ZO PS PB NB NB NB NB NS ZO NS NB NB NS ZO PS Kutna brzina ZO NB NS ZO PS PB PS NS ZO PS PB PB PB ZO PS PB PB PB Tako primjerice, ako je kutna brzina negativna i velika (prvi redak; kugla se kre e u lijevo) i ako je kut negativan i velik (prvi stupac; kugla je ve daleko lijevo od ravnoteºnog poloºaja), potrebno je na kolica djelovati silom velikog iiznosa koja je negativna (djeluje u lijevo) kako bi se stvorio zakretni moment koji e zaustaviti pad kugle i kutnu brzinu poku²ati okrenuti u pozitivnu; takva sila modelirana je neizrazitim skupom NB ²to je upravo sadrºaj prve elije. Sli nom analizom moºemo proanalizati svih 25 situacija i odrediti kakvom silom trebamo djelovati. Primijetite da je tablica u odreženom smislu simetri na: situacija u gornjem lijevom uglu tablice opisuje kuglu s lijeve strane koja pada lijevo dok donji desni ugao opisuje situaciju u kojoj je kugla desno i pada desno: zaklju ak ²to treba poduzeti je isti (u smislu iznosa sile), samo se mijenja smjer sile, pa kako je u gornjem lijevom uglu zaklju ak NB, u donjem desnom je PB. Rad opisanog neizrazitog upravlja kog sustava prikazan je na slici Parametri sustava kojim je upravljano su: M = 2 kg, m = 0.1 kg, L = 0.5 m, g = 9.81 m/s 2. Kut pod kojim je po etno postavljeno njihalo je π 8. Pona²anje njihala simulirano je metodom Runge-Kutta etvrtog reda uz korak integracije 2 ms. Isti vremenski razmak kori²ten je i od strane razvijenog sustava neizrazitog upravljanja: svakih 2 ms o itavan je ulaz i generirana je odgovaraju a sila. Za potrebe dekodiranja neizrazitosti domena nad kojom je deniran neizraziti skup SILA diskretizirana je na elemente { 35, 34.9, 34.8,..., 34.8, 34.9, 35}. Potom je dekodiranje neizrazitosti provedeno metodom pronalaska teºi²ta (engl. Center of Area). Je li opisani sustav uspje²an u stabilizaciji njihala? Slika 5.12a prikazuje po etno stanje a slika 5.12b stanje nakon 15 sekundi. Pogledamo li graf ovisnosti kuta o vremenu (tre i po redu s desne strane na slici), vidimo da je odgovor pozitivan: upravlja ki sustav je kut uspio svesti na kut od 0 radijana. Mežutim, poloºaj kolica nije niti blizu po etnog poloºaja; dapa e, pogledamo li graf ovisnosti poloºaja kolica o vremenu (drugi po redu s desne strane na slici), uo it emo da se nakon po etnih promjena poloºaj kolica u odnosu na po etni poloºaj linearno mijenja kolica se udaljavaju konstantnom brzinom i na kraju simulacije su preko 70 m udaljena od po etnog poloºaja. Ovo svakako nije ºeljeni rezultat. Mežutim, ne moºemo kriviti upravlja ki sklop: sklop koji smo razvili kao jedini ulaz dobiva kut i kutnu brzinu: upravlja ki

116 104POGLAVLJE 5. NEIZRAZITO ZAKLJUƒIVANJE I UPRAVLJANJE (a) Po etno stanje (b) Nakon 15 sekundi Slika 5.12: Prikaz rada sustava i upravljanje razvijenim upravlja kim sklopom.

117 5.5. PRIMJER SUSTAVA NEIZRAZITOG UPRAVLJANJA: OKRENUTO NJIHALO105 sklop obje vrijednosti uspje²no je sveo na nulu. Da bismo dobili i stabilizaciju poloºaja, odnosno osigurali da se kolica vrate na poloºaj x cart = 0 i da tamo ostanu stabilna morat emo modicirati razvijeni upravlja ki sklop. Prva modikacija jest koristiti sve etiri raspoloºive varijable stanja: kut i kutnu brzinu njihala te poloºaj i brzinu kolica. Potom imamo dvije mogu nosti. 1. pristup. Denirat emo jo² dvije jezi ne varijable: jednu za poloºaj kolica a drugu za brzinu kolica. Potom emo modicirati pravila tako da uklju uju i te jezi ne varijable. Za slu aj da za svaku od njih deniramo po 5 temeljnih vrijednosti, prostor koji moºemo prekriti pravilima penje se s 5 5 = 25 na = 625. Za takav upravlja ki sustav svakako nam ne bi bilo jednostavno (a niti prakti no) denirati pravila. 2. pristup. Integrirat emo informaciju o poloºaju i brzini kolica u kut i kutnu brzinu i time ostaviti upravlja ki sustav nepromijenjen. S obzirom na jednostavnost, odabrat emo drugi pristup: upravlja ki sustav koristit e kao prividni kut stvarni kut modiciran informacijom o poloºaju: φ = φ + k 1 x cart te kao prividnu kutnu brzinu stvarnu kutnu brzinu modiciranu informacijom o brzini kolica: φ = φ + k 2 ẋ cart. Pitanje je samo kako odabrati konstante k 1 i k 2. Uz nepovoljan odabir ovih konstanti rad sustava se moºe destabilizati. Razmislimo: upravlja ki sustav nuºno mora osigurati da njihalo ne padne pode²avanje poloºaja je manje vaºan cilj. Osim toga, skale kuteva i pomaka nisu iste: pomak za 1 m na stazi ima puno manje posljedice od rotacije za 1 radijan (²to je ne²to manje od 60 ). Stoga je o ito da konstanta k 1 mora biti manja od 1 i to dosta. Stoga emo za konstante odabrati sljede e vrijednosti: k 1 = 10 2 i k 2 = 10 1 ime dobivamo kona ne izraze: φ = φ + x cart 100, φ = φ + ẋcart 10. Rad upravlja kog sustava koji koristi ovako denirani kut i kutnu brzinu prikazan je na slici Sa slike je jasno vidljivo da smo postigli traºeno: na po etku, poloºaj kolica raste u desno jer je potrebno stabilizirati njihalo pa upravlja ki sklop na kolica primjenjuje pozitivnu silu. Mežutim, potom se kolica po inju vra ati u lijevo i polako se stabiliziraju oko ishodi²ta. Ovo se lijepo vidi na prvom grakonu prikazanom u desnom dijelu slike 5.13 koji prikazuje ovisnost kuta o poloºaju kolica.

118 106POGLAVLJE 5. NEIZRAZITO ZAKLJUƒIVANJE I UPRAVLJANJE Slika 5.13: Simulacija rada sustava i upravljanje razvijenim izmijenjenim upravlja kim sklopom. Izra un po etne sile U trenutku t = 0 stanje sustava je sljede e: φ = π 8 rad, φ = 0 rad/s, xcart = 0 m te ẋ cart = 0 m/s. Izra unajmo koju e silu vratiti upravlja ki sklop ako koristimo modiciranu verziju upravlja kog sklopa. Ra unamo: φ = π = π rad, 8 φ = = 0 rad/s. Ulazne vrijednosti pretvaraju se u jednoelementne neizrazite skupove: C 1 = 1 { rad }, C 1 2 = { 0 rad/s }. Stoga se zaklju ivanje provodi prema izrazu (5.22). Trebamo stoga najprije za svaku jezi nu varijablu utvrditi stupanj pripadnosti ulazne vrijednosti temeljnim neizrazitim skupovima jezi ne varijable koji su kori²teni u pravilima. Jezi na varijabla µ NB ( ) µ NS ( ) µ ZO ( ) µ P S ( ) µ P B ( ) KUTNA BRZINA = KUT = Svih 25 pravila koja imamo razmatraju jednu vrijednost za jezi nu varijablu KUTNA BRZINA i jednu vrijednost za jezi nu varijablu KUT. Kod stroja za zaklju ivanje koji koristimo jakost antecedenta jednaka je umno²ku

119 5.5. PRIMJER SUSTAVA NEIZRAZITOG UPRAVLJANJA: OKRENUTO NJIHALO107 stupnjeva pripadnosti obaju jezi nih varijabli neizrazitim skupovima navedenim u pravilu. Stoga e u na²em slu aju samo jedno pravilo generirati neprazan zaklju ak: pravilo koje ispituje je li kutna brzina ZO i kut PS. U tom pravilu jakost antecedenta bit e = i to e pravilo generirati zaklju ak da je sila PB' gdje je µ sila=ps' = µ sila=ps, odnosno zaklju ak je opisan neizrazitim denormaliziranim trokutastim skupom (odnosno lambda funkcijom s parametrima 2.5, 9 i 15 te visinom 0.965). Zaklju ci svih ostalih pravila su neizraziti skupovi visine 0 pa je i kona na unija jednaka ovom jedinom zaklju ku. Dekodiranje neizrazitosti metodom teºi²ta daje sila = 8.333, i to je upravo sila koja je prikazana u simulaciji u trenutku t = 0. Programski, dekodiranje je provedeno diskretizacijom domene. Pravimo li se da je domena kontinuirana, kona ni zaklju ak je neizraziti skup dan funkcijom pripadnosti µ(x) = Λ(2.5, 9, 15). Dekodiranje neizrazitosti tada moºemo provesti i analiti ki. X CoA = = Ovo se dalje moºe raspisati kako slijedi: X CoA = = x µ(x) dx µ(x) dx x µ(x) dx µ(x) dx x x dx + x x 15 9 dx x dx x 15 9 dx 9 ) 9 ( ) x x3 3 9 ( ) x x 9 ( ) x x ( x x = = Sloºeniji slu aj Pretpostavimo da je nekom trenutku stanje sustava je sljede e: φ = 0.55 rad, φ = 0 rad/s, x cart = 0 m te ẋ cart = 0 m/s. Izra unajmo koju e silu vratiti upravlja ki sklop ako koristimo modiciranu verziju upravlja kog sklopa.

120 108POGLAVLJE 5. NEIZRAZITO ZAKLJUƒIVANJE I UPRAVLJANJE Ra unamo: φ = = 0.55 rad, 100 φ = = 0 rad/s. Ulazne vrijednosti pretvaraju se u jednoelementne neizrazite skupove: C 1 = 1 { 0.55 rad }, C 1 2 = { 0 rad/s }. Utvrdimo za svaku jezi nu varijablu stupanj pripadnosti ulazne vrijednosti temeljnim neizrazitim skupovima te jezi ne varijable. Jezi na varijabla µ NB ( ) µ NS ( ) µ ZO ( ) µ P S ( ) µ P B ( ) KUTNA BRZINA = KUT = Sada imamo dva pravila koja generiraju neprazan zaklju ak. Prvo je pravilo: AKO kutna brzina je ZO I kut je PS TADA sila je PS dok je drugo pravilo: AKO kutna brzina je ZO I kut je PB TADA sila je PB. Prvo pravilo izvodi zaklju ak uz iznos jakosti antecedenta od = dok drugo pravilo izvodi zaklju ak uz iznos jakosti antecedenta od = Kona ni zaklju ak je unija ovih zaklju aka pa je to neizraziti skup deniran funkcijom pripadnosti: µ(x) = max( Λ(x; 2.5, 9, 15), Γ(x; 12.5, 20.0). Ova funkcija pripadnosti prikazana je na slici Zaključak: unija pojedinačnih zaključaka µ A (x) x Slika 5.14: Izvedeni zaklju ak.

121 5.5. PRIMJER SUSTAVA NEIZRAZITOG UPRAVLJANJA: OKRENUTO NJIHALO109 Dekodiranjem neizrazitosti metodom teºi²ta uz domenu [ 35, 35] za silu dobivamo vrijednost I opet, u ovom slu aju postupak bismo mogli provesti i analiti ki da se uvjerimo u korektnost rezultata. O ito je sada da e integraciju trebati podijeliti u etiri segmenta. Ovo ostavljamo itatelju za vjeºbu Ubrzavanje rada upravlja kog sustava Ako se na rad upravlja kog sustava postavljaju vremenski strogi zahtjevi, tada se, posebice u slu aju da postoji puno pravila moºe razmotriti pretvorba sustava u oblik pregledne tablice (engl. look-up table). Da bi to bilo mogu e, sve ulazne domene treba diskretizirati. Na primjeru upravljanja okrenutim njihalom to bi zna ilo sljede e. Denirali bismo diskretnu domenu, primjerice, { 3, 2.9,..., 2.9, 3} nad kojom bismo izgradili neizrazite skupove koji opisuju kut. Ozna imo kardinalni broj ovog skupa oznakom K 1. Takožer, denirali bismo diskretnu domenu, primjerice, { 9, 8.9,..., 8.9, 9} nad kojom bismo izgradili neizrazite skupove koji opisuju kutnu brzinu. Ozna imo kardinalni broj ovog skupa oznakom K 2. U slu aju da se diskretizacija radi linearno od minimalne vrijednosti L do maksimalne vrijednosti U uz korak, kardinalni broj tako dobivenog skupa bio bi: U L + 1 ²to bi u danom primjeru dalo K 1 = 61 te K 2 = 181. Sljede i korak je deniranje funkcija Ξ i koja bi elemente tih diskretnih skupova preslikalo u redni broj elementa (ako elemente skupa razmatramo poredano). Tako bi denirali funkciju Ξ 1 na na in da vrijedi Ξ 1 ( 3) = 0, Ξ 1 ( 2.9) = 1, Ξ 1 ( 2.8) = 2,..., Ξ 1 (3) = 61 te funkciju Ξ 2 na na in da vrijedi Ξ 1 ( 9) = 0, Ξ 1 ( 8.9) = 1, Ξ 1 ( 8.8) = 2,..., Ξ 1 (9) = 181. Kona no, sada bismo za svaku diskretnu vrijednost kuta i kutne brzine (a takvih je kona no mnogo to nije K 1 K 2 ) izra unali vrijednost sile koriste i razvijeni upravlja ki sustav. Ovo je mno²tvo izra una, ali kako se radi jednom, ne predstavlja problem. Izra unatu vrijednost zapamtili bismo u matrici na poziciji (Ξ 1 (φ), Ξ 2 ( φ)); primjerice, silu izra unatu za kut 3 rad i kutnu brzinu od 9 rad/s pohranili bismo u matricu na poziciju (0, 0). Dimenzije ovako dobivene matrice su K 1 K 2. Nakon ²to je matrica izgražena, moºemo napraviti novi sustav neizrazitog upravljanja koji prima iste ulaze kao i postoje i, denira nove funkcije Ψ 1 (x) i Ψ 2 (x) koje za ulaznu vrijednost x vra aju najbliºi element diskretne domene zadane vrijednosti te koji u memoriji uva pohranjenu prethodno izra unatu matricu. Ovakav sustav upravljanja odgovor ra una izuzetno ekasno: sila = matrica[ξ 1 (Ψ 1 (φ)), Ξ 2 (Ψ 2 ( φ))] ²to se prakti ki svodi na dohvat pohranjene vrijednosti u matrici.

122 110POGLAVLJE 5. NEIZRAZITO ZAKLJUƒIVANJE I UPRAVLJANJE Prilikom posezanja za ovakvim rje²enjem treba imati na umu da ono nije uvijek prikladno. Primjerice, ako su kardinalni brojevi diskretnih skupova veliki, matrica bi mogla biti neprihvatljivo velika. Isto se moºe dogoditi ako su kardinalni brojevi diskretnih skupova relativno mali ali ako pravila razmatraju vi²e varijabli: broj elemenata matrice jednak je umno²ku kardinalnih brojeva svih diskretnih skupova. Drugo pitanje koje treba razmotriti jest kako napraviti diskretizaciju? Je li linearna (odnosno uniformna) diskretizacija prihvatljiva? U na²em konkretnom slu aju gdje je zadatak balansirati njihalo oko kuta 0, moºda bi bolje bilo imati nije uzorkovan prostor koji je u blizini te vrijednosti a ostatak prostora grublje uzorkovan. Tu se onda postavlja pitanje kako to napraviti? Da li ru no prostor podijeliti u podprostore i svaki zasebno diskretizirati ili se pak za gusto u diskretizacije osloniti na neku prikladnu matemati ku funkciju? Koliko to komplicira deniranje funkcija Ψ i (x)? Unato tim svim pitanjima, neosporna je mežutim prednost ovog pristupa: ako ga je mogu e provesti, sustav neizrazitog upravljanja moºe biti izuzetno brz Izvod jednadºbi gibanja okrenutog njihala Za potrebe izvoda jednadºbi gibanja na slici 5.15 ponovno je prikazan sustav kolica i okrenutog njihala. Na sliku su dodana djelovanja svih relevantnih sila. Izvod radimo uz pretpostavku da je ²ipka zanemarive mase te da se kolica i kugla mogu aproksimirati to kastim masama. U tom slu aju imamo sustav koji se sastoji od dvije mase: M i m koje su u prostoru uvijek razmaknute za udaljenost L ²to osigurava ²ipka. Kako se poloºaj kolica po okomici ne moºe mijenjati, sila N predstavlja reakciju podloge koja e osigurati da se takvo gibanje sprije i. Uo imo da je gibanje kugle ograni eno na kruºno gibanje oko ksirane osi: sila T prikazana kod kugle je napetost koja osigurava takvo gibanje. Mežutim, s obzirom da je ²ipka kruta, protusila jednakog iznosa ili suprotnog smjera javlja se na zglobu kolica oko kojega kugla rotira. Gibanje kod razmatranog sustava dogaža se u dvije dimenzije. Stoga emo razmatrati vektore poloºaja kolica p cart i kugle p pend. Kako smo na slici nazna ili sile koje djeluju na svaku od masa, gibanje mase moºemo razmatrati pojedina no. Pozicija kolica odrežena je s: p cart = ( x cart y cart ) (5.25) = ( x cart 0 ), (5.26) brzina kolica je: v cart = p cart = ( ẋ cart 0 ), (5.27)

123 5.5. PRIMJER SUSTAVA NEIZRAZITOG UPRAVLJANJA: OKRENUTO NJIHALO111 y x pend m T mg L y pend x cart N φ T (0,0) M u x Mg Slika 5.15: Obrnuto njihalo. a akceleracija: Pozicija kugle denirana je s: a cart = v cart = ( ẍ cart 0 ). (5.28) p pend = ( x pend y pend ) = ( x cart + L sin(φ) L cos(φ) ), (5.29) brzina kugle je: v pend = p pend = ( ẋ cart + L cos(φ) φ L sin(φ) φ ), (5.30) a akceleracija: a pend = v pend (5.31) = ( ẍ cart L sin(φ) φ 2 + L cos(φ) φ L cos(φ) φ 2 L sin(φ) φ ). (5.32) Ukupna sila koja djeluje na kolica je: F cart = N j Mg j + u i + T sin(φ) i + T cos(φ) j (5.33)

124 112POGLAVLJE 5. NEIZRAZITO ZAKLJUƒIVANJE I UPRAVLJANJE ²to je prema tre em Newtonovom zakonu jednako: Ukupna sila koja djeluje na kuglu je: F cart = M a cart. (5.34) F pend = mg j T sin(φ) i T cos(φ) j (5.35) ²to je prema tre em Newtonovom zakonu jednako: F pend = m a pend. (5.36) Izjedna avanjem sile F cart iz izraza 5.33 i 5.34 dobiva se vektorska jednadºba odnosno dvije jednadºbe po komponentama. Uz supstituciju komponenata a cart iz izraza 5.28 dobiva se jedna jednadºba po komponenti i: te druga po komponenti j: M ẍ cart = u + T sin(φ) (5.37) 0 = N Mg + T cos(φ). (5.38) Izjedna avanjem sile F pend iz izraza 5.35 i 5.36 dobiva se takožer vektorska jednadºba odnosno dvije jednadºbe po komponentama. Uz supstituciju komponenata a pend iz izraza 5.32 dobiva se jedna jednadºba po komponenti i: ( m ẍ cart L sin(φ) φ 2 + L cos(φ) φ ) = T sin(φ) (5.39) te druga po komponenti j: ( m L cos(φ) φ 2 L sin(φ) φ ) = mg T cos(φ). (5.40) Uvr²tavanjem T sin(φ) iz izraza 5.39 u izraz 5.37 slijedi: ( M ẍ cart = u m ẍ cart L sin(φ) φ 2 + L cos(φ) φ ) ²to nakon grupiranja daje: (M + m) ẍ cart m L sin(φ) φ 2 + m L cos(φ) φ = u. (5.41) Izraz 5.40 pomnoºit emo sa sin(φ) i presloºiti: ( T cos(φ) sin(φ) = m L cos(φ) φ 2 L sin(φ) φ ) sin(φ)+mg sin(φ). Izraz 5.39 pomnoºit emo s cos(φ) i presloºiti: ( T sin(φ) cos(φ) = m ẍ cart L sin(φ) φ 2 + L cos(φ) φ ) cos(φ).

125 5.5. PRIMJER SUSTAVA NEIZRAZITOG UPRAVLJANJA: OKRENUTO NJIHALO113 Izjedna avanjem desnih strana prethodna dva izraza, kra enjem izraza koji se poni²tavaju te saºimanjem ml sin 2 (φ) φ + ml cos 2 (φ) φ u ml φ dobiva se: mẍ cos(φ) + ml φ = mg sin(φ). (5.42) Izrazi 5.41 i 5.42 predstavljaju traºene jednadºbe gibanja. Ovaj sustav jednadºbi moºe se uz malo algebarskih manipulacija dalje raspisati tako da se dobiju dvije jednadºbe pri emu svaka ima drugu derivaciju samo jedne varijable (ili ẍ cart ili φ). Jednadºbe su sljede e. ẍ cart = u + ml sin(φ) φ 2 mg cos(φ) sin(φ) M + m m cos 2 (φ) (5.43) u cos(φ) (M + m)g sin(φ) + ml sin(φ) cos(φ) φ 2 φ = ml cos 2 (φ) (M + m)l (5.44) Kako bismo sustav mogli simulirati na ra unalu, prikladno ga je pretvoriti u oblik u kojem je opisan preko jednadºbi stanja. Uvedemo li vektor stanja z = z 1 z 2 z 3 z 4 ije su etiri varijable stanja: z 1 = φ (kut otklona), z 2 = φ (kutna brzina rotacije), z 3 = x cart (pozicija kolica) te z 4 = ẋ cart (brzina kolica) te uo imo li da vrijedi: ż 1 = z 2 i ż 3 = z 4 dobivamo traºeni sustav prikazan u nastavku. d dt z = d dt z 1 z 2 z 3 z 4 = d dt z 2 u cos(z 1 ) (M+m)g sin(z 1 )+ml sin(z 1 ) cos(z 1 )z 2 2 ml cos 2 (z 1 ) (M+m)L z 4 u+ml sin(z 1 )z 2 2 mg sin(z 1) cos(z 1 ) M+m m cos 2 (z 1 ) (5.45) Uz poznato po etno stanje (vektor z 0 ) sada je mogu e primijeniti bilo koji od algoritama za numeri ku integraciju kako bi se izra unalo pona²anje sustava u traºenom vremenskom intervalu. Zainteresiranog itatelja se upu uje na metode Runge-Kutta etvrtog reda ili ak na metodu Dormand- Prince koja omogu ava adaptivno pode²avanje koraka integracije ime moºe biti ra unski dosta ekasnija.

126

127 Poglavlje 6 Princip pro²irenja i neizrazita aritmetika Do sada smo se ve upoznali s na inima na koje teorija neizrazitih skupova pomaºe u savladavanju ograni enja koja postavlja klasi na teorija skupova: pripadnost elementa skupu vi²e ne mora biti binarna odluka (pripada ili ne) ve nam je omogu eno modeliranje mjere u kojoj pojedini elementi pripadaju neizrazitim skupovima. Pojam klasi ne relacije takožer je trivijalno pro²iriv na neizrazite relacije koje su, u svojoj osnovi, opet neizraziti skupovi. U ovom poglavlju pokazat emo kako se uporabom principa pro²irenja neizrazitost moºe uvesti i u op enita funkcijska preslikavanja, preslikavanja temeljena na relacijama pa ak i preslikavanja temeljena na neizrazitim relacijama. Potom emo pokazati na koji se na in neizrazitost moºe uvesti u aritmetiku, tj. kako ra unati ako ve u startu imamo nesigurnost u ulaznim podatcima. 6.1 Princip pro²irenja U klasi noj matematici, funkcija je preslikavanje elemenata domene u elemente kodomene uz ograni enje da se svaki element domene moºe preslikati u to no jedan element kodomene. Istovremeno, da bismo preslikavanje smatrali funkcijom, ne postavlja se nikakvo ograni enje na broj elemenata domene koji se preslikavaju u isti element kodomene. Uvoženjem dodatnih restrikcija tada se dolazi do funkcija koje imaju neka posebna svojstva, primjerice, injektivnost, surjektivnost ili pak bijektivnost. Polaze i mežutim od ideje uvoženja neizrazitosti, ograni enje s kojim smo ovdje suo eni upravo leºi u deniciji funkcije: to je preslikavanje koje svakom elementu domene pridruºuje neki element kodomene. Primjerice, neka je denirana funkcija f : Z Z na sljede i na in f(x) = 2 x. Elementi nad kojima djeluje funkcija f tada su cijeli brojevi. Primjerice, funkcija f preslikat e element domene 2 u element kodomene 4, a element 115

128 116POGLAVLJE 6. PRINCIP PRO IRENJA I NEIZRAZITA ARITMETIKA domene 3 u element kodomene 6. Pri tome za element kodomene 4 kaºemo da je slika elementa domene 2 a za element kodomene 6 kaºemo da je slika elementa domene 3. Drugim rije ima, za preslikavanje y = f(x) jo² kaºemo i da je y slika od x pod djelovanjem funkcije f. Uo imo da, u op em slu aju, inverzno preslikavanje vi²e ne mora biti funkcija u strogom smislu denicije funkcije. Naime, ako s f 1 ozna imo inverzno preslikavanje, tj. x = f 1 (y), x vi²e ne mora biti jednozna no deniran ve moºe biti skup. Ovo se jasno vidi na primjeru funkcije g : Z N 0 denirane na sljede i na in g(x) = x 2. Ova funkcija elementu domene 2 kao i elementu domene +2 pridruºuje istu sliku: element kodomene 4. Stoga inverzno preslikavanje odnosno funkcija g 1 elementu kodomene 4 pridruºuje skup elemenata domene { 2, +2} te kaºemo da je skup { 2, +2} originalna slika od 4. Pitanje na koje valja odgovoriti jest kako izra unati koliko iznosi g(x) ako ve po etno nemamo jasno deniranu vrijednost na koju primjenjujemo funkciju ve ako znamo da je, primjerice, x broj oko -1 deniran nad univerzalnim skupom Z na sljede i na in: A = { }. 1 Odgovor na ovo pitanje daje nam Zadehov princip pro²irenja koji kaºe sljede e. Denicija 43 (Princip pro²irenja). Neka je f preslikavanje s X 1 X 2 X n na Y, odnosno f : X 1 X 2 X n Y. Neka su nad univerzalnim skupovima X i denirani neizraziti skupovi A i. Princip pro²irenja kaºe da se djelovanjem funkcije f nad neizrazitim skupovima A 1 A 2 A n dobiva neizraziti skup B deniran nad univerzalnim skupom Y ija je vrijednost funkcije pripadnosti denirana sljede im izrazom: µ B (y) = max y=f(x 1,x 2,...,x n) {min(µ A 1 (x 1 ), µ A2 (x 2 ),..., µ An (x n ))}. Pogledajmo to na primjeru. Primjer: 24 Neka je f : Z N 0 denirana izrazom f(x) = x 2. Potrebno je utvrditi u ²to se preslikava x ako ga deniramo kao broj oko -1 (vidi prethodnu deniciju). Rje²enje: Potpora zadanog neizrazitog skupa je klasi ni skup { 3, 2, 1, 0, 1}. Stoga emo pogledati u koji se podskup kodomene preslikavaju ti elementi. Vrijedi ( 3) 2 = 9, ( 2) 2 = 4, ( 1) 2 = 1 2 = 1 te 0 2 = 0. Elementi skupa { 3, 2, 1, 0, 1} preslikavaju se dakle na skup {0, 1, 4, 9}. Utvrdimo za svaki od elemenata skupa {0, 1, 4, 9} mjeru pripadnosti kojom oni pripadaju rezultatu djelovanja funkcije f na neizraziti skup broj oko -1. Element kodomene 0 dobiva se preslikavanjem elementa domene 0. Kako broj 0 neizrazitom skupu A pripada sa stupnjem pripadnosti µ A (0) = 0.7, tada rezultat preslikavanja 0 pripada neizrazitom skupu B sa stupnjem pripadnosti µ B (0) = max(µ A (0)) = max(0.7) = 0.7.

129 6.1. PRINCIP PRO IRENJA 117 Element kodomene 1 dobiva se preslikavanjem elemenata domene 1 i +1. Kako broj 1 neizrazitom skupu A pripada sa stupnjem pripadnosti µ A ( 1) = 1.0 a broj +1 neizrazitom skupu A pripada sa stupnjem pripadnosti µ A (1) = 0.2, tada rezultat preslikavanja 1 pripada neizrazitom skupu B sa stupnjem pripadnosti µ B (1) = max(µ A ( 1), µ A (+1)) = max(1.0, 0.2) = 1.0. Element kodomene 4 dobiva se preslikavanjem elementa domene 2. Kako broj 2 neizrazitom skupu A pripada sa stupnjem pripadnosti µ A ( 2) = 0.7, tada rezultat preslikavanja 4 pripada neizrazitom skupu B sa stupnjem pripadnosti µ B (4) = max(µ A ( 2)) = max(0.7) = 0.7. Element kodomene 9 dobiva se preslikavanjem elementa domene 3. Kako broj 3 neizrazitom skupu A pripada sa stupnjem pripadnosti µ A ( 3) = 0.2, tada rezultat preslikavanja 9 pripada neizrazitom skupu B sa stupnjem pripadnosti µ B (9) = max(µ A ( 3)) = max(0.2) = 0.2. Slijedi da se neizraziti skup: { 0.2 A = } 1 pod djelovanjem funkcije f preslikava u neizraziti skup: { 0.7 B = }. 9 Primjer: 25 Neka je f : R [ 1, 1] denirana izrazom f(x) = sin(x). Potrebno je utvrditi neizraziti skup B u koji se preslikava neizraziti skup A ="kut oko 45 " deniran izrazom FuzzyTrokut(40,45,50). Rje²enje: Neizraziti skup A koji odgovara konceptu kut oko 45 moºemo prikazati na sljede i na in. x < 40 0 x 45 x >= 40 x < 45 µ A (x) = 5 50 x x >= 45 x < 50 5 x >= 50 0 Prema principu pro²irenja, za svaki element kodomene potrebno je prona i elemente domene koje funkcija u njih preslikava i razmotriti njihov stupanj pripadnosti. Kako je funkcija sin(x) na intervalu [0 90] injektivna, rezultat je lagano odrediti. arcsin(y) < 40 0 arcsin(y) 45 arcsin(y) >= 40 arcsin(y) < 45 µ B (y) = 5 50 arcsin(y) arcsin(y) >= 45 arcsin(y) < 50 5 arcsin(y) >= 50 0 Gra ki prikaz oba neizrazita skupa dan je u nastavku. 1 kut oko 45 1 sinus kuta oko

130 118POGLAVLJE 6. PRINCIP PRO IRENJA I NEIZRAZITA ARITMETIKA Primjer: 26 Neka je f : Z Z N 0 denirana izrazom f(x, y) = x 2 + y 2. Potrebno je utvrditi neizraziti skup koji nastaje pod djelovanjem funkcije f ako je x broj oko -1 a y broj oko 1. Neka pri tome neizraziti skup A ozna ava koncept broj oko -1 a neizraziti skup B ozna ava koncept broj oko 1 te neka su ti neizraziti skupovi denirani kako slijedi. Neizraziti skup C tada je rezultat od f(a, B). { 0.2 A = } 1 { 0.2 B = } 3 Rje²enje: Potpora neizrazitog skupa A je klasi ni skup { 3, 2, 1, 0, 1}; potpora neizrazitog skupa B je klasi ni skup { 1, 0, 1, 2, 3}. Stoga emo pogledati u koji se podskup kodomene preslikavaju elementi kartezijevog produkta tih skupova. Drugim rije ima, trebamo pogledati f(x, y) za sve x { 3, 2, 1, 0, 1} i y { 1, 0, 1, 2, 3}, ime imamo ukupno 5 5 = 25 parova. Uz zadanu funkciju f ti se parovi preslikavaju u {0, 1, 2, 4, 5, 8, 9, 10, 13, 18}. Za svaki od tih brojeva potrebno je utvrditi elemente domene koji funkcijsko preslikavanje preslikava u te brojeve. Element kodomene 0 dobiva se funkcijskim preslikavanjem elementa domene (0, 0). Kako broj 0 neizrazitom skupu A pripada sa stupnjem pripadnosti µ A (0) = 0.7 i kako broj 0 neizrazitom skupu B pripada sa stupnjem pripadnosti µ B (0) = 0.7, tada rezultat preslikavanja 0 pripada neizrazitom skupu C sa stupnjem pripadnosti µ C (0) = max(min(µ A (0), µ B (0))) = max(min(0.7, 0.7)) = 0.7. Element kodomene 1 dobiva se preslikavanjem elemenata domene ( 1, 0), (0, 1), (0, 1) i (1, 0). Rezultat preslikavanja 1 pripada neizrazitom skupu C sa stupnjem pripadnosti µ C (1) = max(min(µ A ( 1), µ B (0)), min(µ A (0), µ B ( 1)), min(µ A (0), µ B (1)), min(µ A (1), µ B (0))) = max(min(1, 0.7), min(0.7, 0.2), min(0.7, 1), min(0.2, 0.7)) = max(0.7, 0.2, 0.7, 0.2) = 0.7. Na sli an na in dolazi se i do vrijednosti funkcije pripadnosti za preostale elemente. Kona na vrijednost neizrazitog skupa C tada je: { 0.7 C = }. 18 Nakon ²to smo na ovim primjerima ilustrirali uporabu principa pro²irenja na primjeru funkcije, slijedi jo² nekoliko primjera Primjena principa pro²irenja na funkcije Neka je f funkcija denirana nad X Y. Neka je A neizraziti skup deniran nad univerzalnim skupom X. Funkcija f tada inducira neizraziti skup B deniran nad univerzalnim skupom Y kako slijedi. { maxx f µ B (y) = 1 (y)(µ A (x)) ako je f 1 (y) 0 ako je f 1 (y) = Primjer je prikazan na slici u nastavku. Skup X = {a 1, a 2, a 3, a 4 } a skup Y = {b 1, b 2, b 3 }. Funkcija f preslikava elemente skupa X na skup Y (lijevi dio slike).

131 6.1. PRINCIP PRO IRENJA 119 f f a 1 b a 1 b 1 max(0.4,0.9)=0.9 a 2 b a 2 b 2 max(0.5)=0.5 a 3 b a 3 b 3 max(0.6)=0.6 a a 4 Neka je sada deniran neizraziti skup A: A = { }. a 1 a 2 a 3 a 4 Funkcija f tada kao rezultat djelovanja nad neizrazitim skupom A inducira neizraziti skup B (desni dio slike): B = { }. b 1 b 2 b Primjena principa pro²irenja na klasi ne relacije Relacija izmežu dva skupa poop enje je pojma funkcijskog preslikavanja: dok funkcijsko preslikavanje svakom elementu domene pridruºuje to no jedan element kodomene, relacije dozvoljavaju da je svaki element domene istovremeno povezan s vi²e elemenata kodomene. Neka je R relacija denirana nad kartezijevim produktom X Y. Neka je A neizraziti skup deniran nad univerzalnim skupom X. Relacija R tada inducira neizraziti skup B deniran nad univerzalnim skupom Y kako slijedi. µ B (y) = { maxx R 1 (y)(µ A (x)) ako je R 1 (y) 0 ako je R 1 (y) = Pri tome je R 1 inverzna relacija relacije R. Primjer je prikazan na slici u nastavku. Skup X = {a 1, a 2, a 3, a 4 } a skup Y = {b 1, b 2, b 3 }. Relacija R preslikava elemente skupa X na skup Y (lijevi dio slike).

132 120POGLAVLJE 6. PRINCIP PRO IRENJA I NEIZRAZITA ARITMETIKA a 1 R b a 1 R b 1 max(0.4,0.9)=0.9 a 2 b a 2 b 2 max(0.5,0.6)=0.6 a 3 b a 3 b 3 max(0.6)=0.6 a a 4 Neka je sada deniran neizraziti skup A: A = { }. a 1 a 2 a 3 a 4 Relacija R tada kao rezultat djelovanja nad neizrazitim skupom A inducira neizraziti skup B (desni dio slike): B = { }. b 1 b 2 b Primjena principa pro²irenja na neizrazite relacije Neizrazita relacija poop enje je klasi ne relacije; to je preslikavanje izmežu dva skupa pri emu je dodatno denirana i vrijednost funkcije pripadnost za svako preslikavanje. Neka je R neizrazita relacija denirana nad kartezijevim produktom X Y. Neka je A neizraziti skup deniran nad univerzalnim skupom X. Neizrazita relacija R tada inducira neizraziti skup B deniran nad univerzalnim skupom Y kako slijedi. µ B (y) = { maxx R 1 (y)(min(µ A (x), µ R (x, y))) ako je R 1 (y) 0 ako je R 1 (y) = Pri tome je R 1 inverzna relacija relacije R. Primjer je prikazan na slici u nastavku. Skup X = {a 1, a 2, a 3, a 4 } a skup Y = {b 1, b 2, b 3 }. Neizrazita relacija R izgražena je nad kartezijevim produktom X Y (lijevi dio slike).

133 6.1. PRINCIP PRO IRENJA 121 a R b a R b a 2 a b 2 b a 2 a b 2 b a a Neka je sada deniran neizraziti skup A: { 0.4 A = }. a 1 a 2 a 3 a 4 Neizrazita relacija R tada kao rezultat djelovanja nad neizrazitim skupom A inducira neizraziti skup B (desni dio slike): { 0.4 B = }. b 1 b 2 b 3 Naime, do elementa b 1 moºe se do i na dva na ina. Neizrazita relacija R uspostavlja vezu izmežu a 1 i b 1 uz mjeru pripadnosti 0.8; kako a 1 pripada neizrazitom skupu A mjerom pripadnosti 0.4, tim putem zaklju ujemo da b 1 pripada induciranom neizrazitom skupu B mjerom pripadnosti min(0.4, 0.8) = 0.4. Mežutim, do b 1 se moºe do i i drugim putem: neizrazita relacija R uspostavlja vezu izmežu a 3 i b 1 uz mjeru pripadnosti 0.3; kako a 3 pripada neizrazitom skupu A mjerom pripadnosti 0.9, tim putem zaklju ujemo da b 1 pripada induciranom neizrazitom skupu B mjerom pripadnosti min(0.9, 0.3) = 0.3. Kona na mjera pripadnosti elementa b 1 neizrazitom skupu B odrežena je maksimumom svih utvrženih mjera: max(0.4, 0.3) = 0.4. Sli nim postupkom dolazi se do vrijednosti mjera pripadnosti za sve ostale elemente skupa Y Neizrazita udaljenost Da bismo denirali neizrazitu udaljenost, prisjetimo se najprije pojma metrike. Denicija 44 (Metrika). Neka je X neprazni klasi ni skup. Neka je za svaka dva elementa x 1, x 2 X denirana funkcija d(x 1, x 2 ) : X X R + koja zadovoljava sljede a svojstva: 1. d(x 1, x 2 ) 0 uz d(x 1, x 2 ) = 0 ako i samo ako x 1 = x 2,

134 122POGLAVLJE 6. PRINCIP PRO IRENJA I NEIZRAZITA ARITMETIKA 2. d(x 1, x 2 ) = d(x 2, x 1 ) te 3. d(x 1, x 2 ) d(x 1, x 3 ) + d(x 3, x 2 ) x 3 X. Funkcija d tada se zove metrika a urežen par (X, d) metri ki prostor. Denicija 45 (Neizrazita to ka). Neka je A = (X, µ A (x)) neizrazit skup deniran nad univerzalnim skupom X i neka je X linearni prostor. Takav neizraziti skup A naziva se neizrazitom to kom ako je A konveksan i normalan. Neizrazita to ka A = (R, µ A (x)) naziva se neizrazitim brojem. Neizrazit broj je ne-negativan ako i samo ako je µ A (x) = 0 x < 0. Pojam neizrazite to ke moºemo ilustrirati neizrazitim skupovima koje smo ve koristili; primjerice: broj oko -1 te broj oko 1. Promatramo li jednodimenzijski prostor, u njemu dvije to ke a = 1 i b = 1, Manhattan udaljenost moºemo izra unati na uobi ajen na in: ( 1) (1) = 2. Ideja neizrazite udaljenosti koju emo denirati u nastavku jest opisati udaljenost izmežu dvije neizrazite to ke primjerice, kolika je udaljenost izmežu broja oko -1 i broja oko 1. Kako se moºe naslutiti, neizrazita e udaljenost biti neizraziti skup. Denicija 46 (Neizrazita udaljenost). Neka je (X, d) linearni metri ki prostor. Neka su A i B dvije neizrazite to ke denirane nad X. Neizrazita udaljenost neizrazitih to aka A i B je neizraziti skup d f (A, B) deniran nad R ija je funkcija pripadnosti denirana na sljede i na in: µ df (A,B)(y) = max (x 1, x 2 ) X 2 d(x 1, x 2 ) = y min{µ A (x 1 ), µ B (x 2 )}. Primjer: 27 Zadani su neizraziti skupovi A =broj oko -1 te B =broj oko 1. Ti su neizraziti skupovi denirani kako slijedi. { 0.2 A = } 1 { 0.2 B = } 3 Potrebno je izra unati neizrazitu udaljenost ovih neizrazitih skupova. Rje²enje: Potpora neizrazitog skupa A je klasi ni skup { 3, 2, 1, 0, 1}; potpora neizrazitog skupa B je klasi ni skup { 1, 0, 1, 2, 3}. Za sve parove gdje je prvi element uzet iz potpore skupa A a drugi element iz potpore skupa B potrebno je izra unati udaljenost tih brojeva kao i mjeru pripadnosti kojom ta udaljenost pripada traºenoj neizrazitoj udaljenosti. Alternativno, kako je skup X diskretan, postupak moºemo provesti i na na in da za zadanu udaljenost traºimo sve parove koji je generiraju, utvrdimo mjeru pripadnosti za taj par te uzmemo maksimum od mjera pripadnosti parova koji daju ksiranu udaljenost. Taj emo postupak i provesti. Udaljenost 0 dobit emo za sljede e parove (a A, b B): ( 1, 1), (0, 0) i (1, 1); parovima odgovaraju sljede e vrijednosti funkcije pripadnosti: min(1.0, 0.2) = 0.2 za prvi par,

135 6.1. PRINCIP PRO IRENJA 123 min(0.7, 0.7) = 0.7 za drugi par te min(0.2, 1.0) = 0.2 za tre i par. Stoga element 0 neizrazitoj udaljenosti izmežu A i B pripada s mjerom max(0.2, 0.7, 0.2) = 0.7. Udaljenost 1 dobit emo za sljede e parove (a A, b B): ( 2, 1), ( 1, 0), (0, 1), (0, 1), (1, 2) i (1, 0); pripadni iznosi funkcije pripadnosti po parovima su min(0.7, 0.2) = 0.2, min(1.0, 0.7) = 0.7, min(0.7, 1.0) = 0.7, min(0.7, 0.2) = 0.2, min(0.2, 0.7) = 0.2 i min(0.2, 0.7) = 0.2. Stoga element 1 neizrazitoj udaljenosti izmežu A i B pripada s mjerom max(0.2, 0.7, 0.7, 0.2, 0.2, 0.2) = 0.7. Udaljenost 2 dobit emo za sljede e parove (a A, b B): ( 3, 1), ( 2, 0), ( 1, 1), (0, 2), (1, 3) i (1, 1); pripadni iznosi funkcije pripadnosti po parovima su min(0.2, 0.2) = 0.2, min(0.7, 0.7) = 0.7, min(1.0, 1.0) = 1.0, min(0.7, 0.7) = 0.7, min(0.2, 0.2) = 0.2 i min(0.2, 0.2) = 0.2. Stoga element 2 neizrazitoj udaljenosti izmežu A i B pripada s mjerom max(0.2, 0.7, 1.0, 0.7, 0.2, 0.2) = 1.0. Udaljenost 3 dobit emo za sljede e parove (a A, b B): ( 3, 0), ( 2, 1), ( 1, 2) i (0, 3); pripadni iznosi funkcije pripadnosti po parovima su min(0.2, 0.7) = 0.2, min(0.7, 1.0) = 0.7, min(1.0, 0.7) = 0.7 i min(0.7, 0.2) = 0.2. Stoga element 3 neizrazitoj udaljenosti izmežu A i B pripada s mjerom max(0.2, 0.7, 0.7, 0.2) = 0.7. Udaljenost 4 dobit emo za sljede e parove (a A, b B): ( 3, 1), ( 2, 2) i ( 1, 3); pripadni iznosi funkcije pripadnosti po parovima su min(0.2, 1.0) = 0.2, min(0.7, 0.7) = 0.7 i min(1.0, 0.2) = 0.2. Stoga element 4 neizrazitoj udaljenosti izmežu A i B pripada s mjerom max(0.2, 0.7, 0.2) = 0.7. Udaljenost 5 dobit emo za sljede e parove (a A, b B): ( 3, 2) i ( 2, 3); pripadni iznosi funkcije pripadnosti po parovima su min(0.2, 0.7) = 0.2 i min(0.7, 0.2) = 0.2. Stoga element 5 neizrazitoj udaljenosti izmežu A i B pripada s mjerom max(0.2, 0.2) = 0.2. Udaljenost 6 dobit emo samo za jedan par (a A, b B): ( 3, 3); pripadni iznosi funkcije pripadnosti za taj par je min(0.2, 0.2) = 0.2. Stoga element 6 neizrazitoj udaljenosti izmežu A i B pripada s mjerom max(0.2) = 0.2. Time smo za udaljenost dobili sljede i neizraziti skup: { 0.7 d f (A, B) = }. 6 1 Broj oko -1 1 Broj oko Neizrazita udaljenost U slu aju da su neizrazite to ke denirane nad kontinuiranim univerzalnim skupovima (primjerice nad R), neizrazitu udaljenost trebalo bi ra unati

136 124POGLAVLJE 6. PRINCIP PRO IRENJA I NEIZRAZITA ARITMETIKA za beskona no mnogo vrijednosti. Tada bismo koristili izraz: δ R + µ df (A,B)(δ) = sup (x 1, x 2 ) X 2 d(x 1, x 2 ) = δ min{µ A (x 1 ), µ B (x 2 )}. 6.2 Neizrazita aritmetika Rije ima Lotja Zadeha, neizrazita aritmetika omogu ava nam ra unanje s rije ima. U osnovi neizrazite aritmetike nalazi se pojam neizrazitog broja. Taj pojam omogu ava nam modeliranje koncepata poput broj vrlo blizak broju 3, broj oko 5, broj manje-vi²e jednak broju 12 i sli no. Kako nam je pojam neizrazitog broja vrlo vaºan, ponovimo jo² jednom njegovu deniciju. Denicija 47 (Neizraziti broj). Neka je A = (R, µ A (x)) neizrazit skup de- niran nad univerzalnim skupom R. Takav neizraziti skup A naziva se neizraziti broj ako je A konveksan i normalan. Ponekad se od neizrazitog broja zahtjeva jo² i da ima po dijelovima neprekinutu funkciju pripadnosti, da za samo jedan element poprima visinu 1 te da je funkcija pripadnosti simetri na oko tog elementa. Iako poºeljna, ta svojstva nisu nuºna. Posljedica ovakve denije neizrazitog broja jest konveksnost i zatvorenost svih njegovih α-presjeka. Naime, α-presjek svakog neizrazitog broja bit e A α = [a α 1, aα 2 ]. Takožer, ako razmotrimo dva α-presjeka, konkretno A α 1 i A α2 te ako vrijedi α 1 < α 2, tada e vrijediti a α 1 1 a α 2 1 i a α 1 2 a α 2 2 ; posljedica toga je i sljede e svojstvo: A α2 A α Intervalna aritmetika Za potrebe pro²irenja aritmetike na neizrazitu aritmetiku, pogledajmo najprije kako bismo pro²irili aritmeti ke operacije ako na²u nesigurnost o vrijednosti broja modeliramo intervalom mogu ih vrijednosti koje taj broj moºe poprimiti. Denicija 48 (Intervalna aritmetika). Neka je nesigurnost u to nu vrijednost brojeva â i ˆb modelirana zatvorenim intervalima iz kojih ti brojevi mogu poprimiti vrijednost. Konkretno, neka je vrijednost broja â modelirana intervalom [a 1, a 2 ] a vrijednost broja ˆb modelirana intervalom [b 1, b 2 ], pri emu su a 1, a 2, b 1 i b 2 R. Operacije zbrajanja, oduzimanja, mnoºenja i dijeljenja tada moºemo denirati na sljede i na in. Nesigurnost u vrijednost zbroja brojeva â i ˆb tada modeliramo intervalom: â + ˆb = [a 1 + b 1, a 2 + b 2 ].

137 6.2. NEIZRAZITA ARITMETIKA 125 Nesigurnost u vrijednost razlike brojeva â i ˆb tada modeliramo intervalom: â ˆb = [a 1 b 2, a 2 b 1 ]. Nesigurnost u vrijednost umno²ka brojeva â i ˆb tada modeliramo intervalom: â ˆb = [min(a 1 b 1, a 1 b 2, a 2 b 1, a 2 b 2 ), max(a 1 b 1, a 1 b 2, a 2 b 1, a 2 b 2 )]. Nesigurnost u vrijednost kvocijenta brojeva â i ˆb tada modeliramo intervalom: [ â 1 = [a 1, a 2 ], 1 ] ˆb b 2 b 1 [ = min ( a1 b 1, a 1 b 2, a 2 b 1, a 2 b 2 ) ( a1, max, a 1, a 2, a )] 2 b 1 b 2 b 1 b 2 uz ograni enje da 0 ne smije biti u intervalu kojim modeliramo ˆb, tj. 0 / [b 1, b 2 ]. Lagano se je uvjeriti da ove denicije doista vrijede. Primjerice, ako za â znamo da je broj iz intervala [1, 3] i za ˆb znamo da je broj iz intervala [2, 4], suma ta dva broja bit e negdje u intervalu [3, 7]. Sada moºemo denirati etiri osnovne operacije nad neizrazitim brojevima oslanjaju i se upravo na intervalnu aritmetiku i teorem predstavljanja Neizrazita aritmetika denirana preko intervalne aritmetike Podsjetimo se, teorem predstavljanja nam govori da se svaki neizraziti skup moºe prikazati kao zbroj njegovih α-presjeka pomnoºenih s vrijedno² u svakog α, odnosno: A = α α A α. Uo imo pri tome da je kod neizrazitog broja svaki α-presjek po deniciji konveksan zatvoreni interval. Stoga se rezultat proizvoljne aritmeti ke operacije nad neizrazitim brojevima A i B, dakle, A B denira direktno nad intervalima koji odgovaraju α-presjecima neizrazitih brojeva A i B. Time se

138 126POGLAVLJE 6. PRINCIP PRO IRENJA I NEIZRAZITA ARITMETIKA denira: A B = α α A α α α B α = α α [a α 1, a α 2 ] α α [b α 1, b α 2 ] = α = α = α α ([a α 1, a α 2 ] [b α 1, b α 2 ]) α (A α B α ) α (A B) α. Pogledajmo to na slu aju dva neizrazita broja koja su denirana trokutastim funkcijama pripadnosti. Neka je neizraziti broj A deniran funkcijom FuzzyTrokut(a 1,a 2,a 3 ), odnosno: 0 x < a 1 x a 1 µ A (x) = a 2 a 1 a 1 x x < a 2 a 3 x a 3 a 2 a 2 x x < a 3 0 x a 3 Kako je α-presjek tog skupa zatvoreni interval, uvedimo za njega oznaku [a α L, aα D ] pri emu aα L ozna ava granicu s lijeve strane a aα R granicu s desne strane. S obzirom na deniciju trokutaste funkcije pripadnosti, za neku konkretnu vrijednost α granice moºemo dobiti iz sljede ih izraza: a α L a 1 a 2 a 1 = α iz ega dalje slijedi: a 3 a α R a 3 a 2 = α a α L = α(a 2 a 1 ) + a 1 a α R = α(a 2 a 3 ) + a 3. α-presjek neizrazitog broja s trokutastom funkcijom pripadnosti tada je klasi ni skup, odnosno interval, [α(a 2 a 1 ) + a 1, α(a 2 a 3 ) + a 3 ]. Ako je neizrazit broj B zadan funkcijom FuzzyTrokut(b 1,b 2,b 3 ), njegov α-presjek bit e, analogno, [α(b 2 b 1 ) + b 1, α(b 2 b 3 ) + b 3 ]. Sada moºemo koriste i teorem o predstavljanju denirati zbroj dvaju trokutastih neizrazitih brojeva. Prema prethodno napisanom izrazu za neki op eniti operator, mora vrijediti: A B = α α ([a α 1, a α 2 ] [b α 1, b α 2 ])

139 6.2. NEIZRAZITA ARITMETIKA 127 ²to uz pretpostavku da radimo operaciju zbrajanja te da su u prethodnom izrazu a α 1 = aα L, aα 2 = aα R, bα 1 = bα L i bα 2 = bα R daje: A + B = α = α = α = α = α = α = α α ([a α L, a α R] + [b α L, b α R]) α ([a α L + b α L, a α R + b α R]) α ([α(a 2 a 1 ) + a 1 + α(b 2 b 1 ) + b 1, α(a 2 a 3 ) + a 3 + α(b 2 b 3 ) + b 3 ]) α ([α(a 2 a 1 + b 2 b 1 ) + a 1 + b 1, α(a 2 a 3 + b 2 b 3 ) + a 3 + b 3 ]) α ([α((a 2 + b 2 ) (a 1 + b 1 )) + (a 1 + b 1 ), α((a 2 + b 2 ) (a 3 + b 3 )) + (a 3 + b 3 )]) α ([α(c 2 c 1 ) + c 1, α(c 2 c 3 ) + c 3 ]) α ([c α L, c α R]) = FuzzyTrokut(c 1,c 2,c 3 ) = FuzzyTrokut(a 1 + b 1,a 2 + b 2,a 3 + b 3 ) ime smo pokazali da je zbroj dvaju neizrazitih trokutastih brojeva opet neizraziti trokutasti broj. Na sli an se na in moºe provesti analiza i za ostale operacije ²to ostavljamo itatelju za vjeºbu. Kona ni rezultat za operaciju oduzimanja dan je u nastavku uz pretpostavku da su A i B zadani kao prethodno denirani trokutasti neizraziti brojevi. A B = FuzzyTrokut(a 1 b 3,a 2 b 2,a 3 b 1 ) Mnoºenje i dijeljenje trokutastih brojeva ne daje trokutaste brojeve Neizrazita aritmetika denirana preko principa pro²irenja Princip pro²irenja primijenjen na deniranje neizrazite aritmetike kaºe da za proizvoljan operator primijenjen nad neizrazitim brojevima deniranim nad R mora vrijediti: µ A B (z) = max z=x y min(µ A(x), µ B (y)). To zna i da redom vrijedi x, y, z R: µ A+B (z) = max z=x+y min(µ A(x), µ B (y)).

140 128POGLAVLJE 6. PRINCIP PRO IRENJA I NEIZRAZITA ARITMETIKA µ A B (z) = max z=x y min(µ A(x), µ B (y)). µ A B (z) = max z=x y min(µ A(x), µ B (y)). µ A B (z) = max min(µ A (x), µ B (y)). z= x y Primjenom ovog principa dolazi se do identi nih denicija kao i preko intervalne aritmetike i teorema o predstavljanju. ƒitatelju se ostavlja za vjeºbu da to pokaºe na primjeru operacije zbrajanja. Primjer: 28 Zadana su dva neizrazita broja: A(x) = 0, x < 1 ili x > 3, x+1, 1 x 1, 2 B(x) = 3 x 2, 1 x 3, 0, x < 1 ili x > 5, x 1 2, 1 x 3, 5 x 2, 3 x 5. Izra unajte njihov zbroj, razliku, umnoºak i kvocijent. Rje²enje: Izra unajmo najprije α-presjeke brojeva A i B. Vrijedi: A α = [a α L, aα R ] te Bα = [bα L, bα R ]. Vrijedi: α = aα L a α L = 2α 1 α = 3 aα R 2 a α R = 3 2α α = bα L 1 2 b α L = 2α + 1 α = 5 bα R 2 b α R = 5 2α Traºeni α-presjeci tada su: A α = [2α 1, 3 2α], B α = [2α + 1, 5 2α]. Neizraziti broj koji predstavlja sumu, prema teoremu predstavljanja i s obzirom na intervalnu aritmetiku, deniran je kao: A + B = α (A + B) α = α ([2α 1, 3 2α] + [2α + 1, 5 2α]) = α[4α, 8 4α] = 0, x < 0 ili x > 8, x 4, 0 x 4, 8 x 4, 4 x 8. = FuzzyTrokut(0, 4, 8).

141 6.2. NEIZRAZITA ARITMETIKA 129 Neizraziti broj koji predstavlja razliku, prema teoremu predstavljanja i s obzirom na intervalnu aritmetiku, deniran je kao: A B = α (A B) α = α ([2α 1, 3 2α] [2α + 1, 5 2α]) = α[4α 6, 2 4α] 0, x < 6 ili x > 2, x+6 =, 6 x 2, 4 2 x, 2 x 2. 4 = FuzzyTrokut(0, 4, 8). Neizraziti broj koji predstavlja umnoºak, prema teoremu predstavljanja i s obzirom na intervalnu aritmetiku, deniran je kao: A B = α (A B) α = α ([2α 1, 3 2α] [2α + 1, 5 2α]) Kako bismo razrije²ili interval koji odgovara umno²ku dobivenih intervala, ozna imo s S skup vrijednosti: Vrijedi: S = {(2α 1)(2α + 1), (2α 1)(5 2α), (3 2α)(2α + 1), (3 2α)(5 2α)}. A B = α[min(s), max(s)] Potrebno je odrediti vrijednost minimuma i maksimuma. Pri traºenju minimalne vrijednosti moºe se vidjeti da postoje dva podru ja. Za α [0, 0.5] vrijedi min(s) = (2α 1)(5 2α) = 4α α 5, dok je za α [0.5, 1] vrijedi min(s) = (2α 1)(2α + 1) = 4α 2 1. Maksimalna vrijednost denirana je samo jednim lanom za itavo legalno podru je od α, i to je max(s) = (3 2α)(5 2α) = 4α 2 16α Stoga je α-presjek umno²ka deniran po dijelovima: { [ 4α (A B) alpha = α 5, 4α 2 16α + 15 ] [ 0 α 0.5, 4α 2 1, 4α 2 16α + 15 ] 0.5 < α 1. Za α = 1 dobit emo jezgru neizrazitog skupa koji predstavlja umnoºak. Uvr²tavanjem dobivamo da je jezgra [3, 3]. Za α = 0 dobit emo potporu neizrazitog skupa koji predstavlja umnoºak. Uvr²tavanjem dobivamo da je potpora ( 5, 15). Za α = 0.5 donja granica intervala (koja je denirana po dijelovima) postaje = 0. To zna i da za donju granicu intervala u rasponu x [ 5, 0] vrijedi izraz x = 4α α 5 a u rasponu od x [0, 3] vrijedi izraz x = 4α 2 1; gornja granica intervala kre e se u intervalu [3, 15] i vrijedi x = 4α 2 16α+15. Iz x = 4α α 5 slijedi: α 1,2 = 12 ± (5 + x) 8 = 12 ± 4 9 (5 + x) 8 = 3 4 x 2 Kako na intervalu x [ 5, 0] vrijednost za α mora biti u intervalu [0, 1], pravo rje²enje je α 1 tj.: α = 3 4 x. 2 Iz x = 4α 2 1 slijedi: α 1,2 = ± x. Kako na intervalu x [0, 3] vrijednost za α mora biti u intervalu [0, 1], pravo rje²enje je α 1 tj.: α = x.

142 130POGLAVLJE 6. PRINCIP PRO IRENJA I NEIZRAZITA ARITMETIKA Iz x = 4α 2 16α + 15 slijedi: α 1,2 = 16 ± (15 x) 8 = 16 ± 4 16 (15 x) 8 = 4 ± 1 + x 2 Kako na intervalu x [3, 15] vrijednost za α mora biti u intervalu [0, 1], pravo rje²enje je α 2 tj.: α = x. 2 Sada kona ni rezultat moºemo raspisati po dijelovima: (A B)(x) = 1 0, x < 5 ili x > 15, 3 4 x, 5 x 0, x, 0 x 3, 4 1+x 2, 3 x 15. Uo imo da ova funkcija pripadnosti nije trokutasta funkcija umnoºak dvaju trokutastih brojeva vi²e nije trokutasti broj. Neizraziti broj koji predstavlja kvocijent, prema teoremu predstavljanja i s obzirom na intervalnu aritmetiku, deniran je kao: A B = α (A/B) α = α ([2α 1, 3 2α]/[2α + 1, 5 2α]) = ( [ ]) 1 α [2α 1, 3 2α] 5 2α, 1 2α + 1 Kako bismo razrije²ili interval koji odgovara umno²ku dobivenih intervala, ozna imo s T skup vrijednosti: { 2α 1 T = 5 2α, 2α 1 2α + 1, 3 2α 5 2α, 3 2α }. 2α + 1 Vrijedi: A/B = α[min(t ), max(t )] Nakon malo ra unanja dobiva se: (A B) alpha = [ ] 2α 1 2α+1, 3 2α [ 2α+1 ] 2α 1 5 2α, 3 2α 2α+1 0 α 0.5, 0.5 α 1. te nakon jo² pone²to ra una koji ostavljamo itatelju za vjeºbu slijedi: 0, x < 1 ili x > 3, x+1, 1 x 0, 2 2x (A/B)(x) = 5x+1 2x x, 0 x 1 3, 3 x 2x+2, 1 3 x 3. Uo imo da ova funkcija pripadnosti nije trokutasta funkcija kvocijent dvaju trokutastih brojeva vi²e nije trokutasti broj.

143 Dio II Umjetne neuronske mreºe 131

144

145 Poglavlje 7 Op enito o neuronskim mreºama Razvoj neurora unarstva zapo eo je sredinom 20. stolje a spojem niza biolo²kih spoznaja i njihovim modeliranjem prikladnim za ra unalnu obradu. Jo² davne Warren McCulloch i Walter Pitts u radu A Logical Calculus of Ideas Immanent in Nervous Activity denirali su model umjetnog neurona (tzv. TLU perceptron) i pokazali da se njime mogu ra unati logi ke funkcije I, ILI i NE. Uzev²i u obzir da se uporabom tih triju funkcija moºe izgraditi proizvoljna Booleova funkcija, slijedi da se izgradnjom (tj. prikladnom konstrukcijom) umjetnom neuronskom mreºom sastavljenom od TLU neurona moºe dobiti proizvoljna Booleova funkcija. Mežutim, problem koji ovdje valja jo² jednom istaknuti jest da se radi o rje²avanju problema konstrukcijom, a ne u enjem. Nekoliko godina kasnije, britanski biolog Donald Hebb u svojoj knjizi The Organization of Behavior iz godine objavljuje svoje spoznaje o radu i interakciji biolo²kih neurona. Konkretno, njegovo je zapaºanje da, ako dva neurona esto zajedno pale, tada dolazi do metaboli kih promjena kojima ekasnost kojom jedan neuron pobužuje drugoga s vremenom raste. Tom spoznajom stvoreni su svi preduvjeti za deniranje algoritma u enja TLU perceptrona, i to je upravo kroz izvje²taj The Perceptron: A Perceiving and Recognizing Automaton iz i knjigu Principles of Neurodynamics iz napravio Frank Rosenblatt deniraju i algoritam u enja TLU perceptrona, iskoristiv²i Hebbovu ideju da u iti zna i mijenjati jakost veza izmežu neurona. 7.1 Motivacija Razvoj umjetnih neuronskih mreºa zapo eo je kao poku²aj da se objasni inteligentno pona²anje ljudi i ºivotinja. Jedan od poku²aja obja²njavanja i postizanja inteligentnog pona²anja kod strojeva je poznati simboli ki pristup. 133

146 134 POGLAVLJE 7. OP ENITO O NEURONSKIM MREšAMA Mežutim, spoznaje o funkcioniranju biolo²kih organizama do danas nisu uspjele pokazati i dokazati da se u mozgovima odsnosno u ºiv anom sustavu odvija simboli ka obrada podataka i simboli ko zaklju ivanje. Umjesto toga, ini se da inteligentno pona²anje izranja iz velikog broja jednostavnih procesnih elemenata (neurona) koji podatke obražuju masovno paralelno i uz veliku redundanciju ²to je temelj pristupa danas poznatog pod nazivom konektivizam. Istraºivanja su pokazala da se u ljudskom mozgu nalazi poprilici neurona koji su mežusobno povezani s oko veza. To zna i da je svaki neuron povezan s u prosjeku 10 4 veza iz ega je jasno da je obrada podataka u ljudskom mozgu masovno paralelna. Dodatni argument tezi o masovno parelnoj obradi podataka slijedi i iz vrlo sporog rada neurona; naime, vrijeme paljenja neurona je poprilici 1 ms. Uzmemo li u obzir da ovjek moºe izuzetno kompleksnu obradu podataka rije²iti u vrlo kratkom vremenu (primjerice, vlastitu majku moºemo prepoznati sa slike u vremenu od 0.1 s), o ito je da se obrada ne moºe odvijati slijedno jer je broj koraka koje je u tako kratkom vremenu mogu e napraviti vrlo mali. S obzirom da se podru je umjetnih neuronskih mreºa razvija ve posljednjih sedamdesetak godina, do danas je napravljen niz uspje²nih primjena. Neuronske mreºe su se pokazale kao uspje²an model za aproksimaciju funkcija, klasikaciju podataka, predvižanje trendova i sli no. Zgodno je spomenuti i eksperimentalnu neuronsku mreºu Alvin razvijenu na sveu ili²tu Carnegie Mellon. Radi se o umjetnoj neuronskoj mreºi koja u i kako voziti automobil promatraju i kako to radi ovjek. Kroz napravljene eksperimente ta je mreºa uspje²no upravljala vozilom na dionici duljine 100 km voze i pri tome vr²nom brzinom od 110 km/h. S obzirom na niz dobrih svojstava neuronskih mreºa, poput njihove robusnosti na pogre²ke u podatcima, otpornosti na ²um, masovno paralelnu obradu podataka te mogu nost u enja, ova je paradigma i danas u fokusu istraºivanja i primjene. 7.2 Osnovni model neurona Upoznavanje s umjetnim neuronskim mreºama zapo et emo promatranjem jednog neurona. Pojednostavljeno, biolo²ki neuron sastoji se od dendrita, tijela neurona i aksona. U prosjeku, svaki je neuron povezan s 10 4 drugih neurona preko dendrita, i preko njih prikuplja elektri ke impulse koje akumulira u tijelu. Nakon ²to se akumulira odrežena koli ina naboja (ugrubo odrežena pragom), neuron pali akumulirani naboj ²alje kroz svoj akson prema drugim neuronima i time se prazni. U tom smislu, dendriti predstavljaju ulaze preko kojih neuron prikuplja informacije, tijelo stanice ih obražuje i na kraju generira rezultat koji se prenosi kroz akson izlaz neurona. Temeljem ovako pojednostavljenog opisa deniran je osnovni model neurona koji je prikazan na slici 7.1. Model se sastoji od ulaza x 1 do x n

147 7.2. OSNOVNI MODEL NEURONA 135 Slika 7.1: Osnovni model neurona ("dendriti"), teºina w 1 do w n koje odrežuju u kojoj mjeri svaki od ulaza pobužuje neuron, tijela neurona koje ra una ukupnu pobudu (koju emo esto ozna avati s net) te prijenosne funkcije f(net) ("akson" neurona) koja pobudu obražuje i prosliježuje na izlaz neurona. Ukupna pobuda net ra una se prema izrazu: net = w 1 x 1 + w 2 x w n x n θ pri emu θ predstavlja prag paljenja neurona. Kako se iznos praga ne bi morao posebno tretirati u izrazima za net, naj e² e se denira da neuron ima jo² jedan "ktivni" ulaz x 0 na koji je uvijek dovedena vrijednost 1, a prag θ tada se zamjenjuje teºinom w 0 ime se dobije kona ni izraz: net = w 0 x 0 + w 1 x 1 + w 2 x w n x n n = w i x i i=0 = w x pri emu je x = (1, x 1, x 2,..., x n ) (n + 1)-dimenzijski vektor koji predstavlja ulaz u neuron a w = (w 0,..., w n ) (n + 1)-dimenzijski vektor teºina. Prijenosna funkcija modelira pona²anje aksona i u praksi se koristi nekoliko tipi nih prijenosnih funkcija koje su prikazane na slici 7.2. Prijenosna funkcija prikazana na slici 7.2 (a) je funkcija skoka (engl. stepfunction). Ta je funkcija denirana na sljede i na in: { 0, net 0 f(net) = 1, ina e Ovu prijenosnu funkciju koristili su Warren McCulloch i Walter Pitts godine prilikom deniranja modela TLU perceptrona (engl. Threshold Logic Unit). Temelje i se na takvom modelu neurona pokazali su kako je njime mogu ra unati osnovne Booleove funkcije I, ILI i NE. Prijenosna funkcija prikazana na slici 7.2 (b) je linearna funkcija denirana izrazom: f(net) = k net + l

148 136 POGLAVLJE 7. OP ENITO O NEURONSKIM MREšAMA a) Funkcija skoka b) Linearna funkcija c) Po dijelovima linearna funkcija d) Sigmoidalna (logistička) funkcija Slika 7.2: Tipi ne prijenosne funkcije gdje su k i l konstante. Neuroni s ovakvim prijenosnim funkcijama esto se koriste u izlaznim slojevima neuronskih mreºa. Valja mežutim napomenuti da se samo ovakvim neuronima ne mogu graditi sloºene neuronske mreºe jer se od samo linearnih elemenata ne moºe dobiti ni²ta sloºenijega (odnosno, itava se mreºa opet pretvara u jedan linearni element). Kako bi se rije²io uo eni problem, umjesto linearne prijenosne funkcije moºe se koristiti funkcija prikazana na slici 7.2 (c): po dijelovima linearna funkcija koja je denirana izrazom: 0, net l net l f(net) = u l, l < net < u 1, net u Mežutim, uz sve navedene prijenosne funkcije nije se znalo kako denirati algoritam u enja sloºenijih neuronskih mreºa koje su sastavljene od takvih elemenata. Rje²enje u obliku algoritma Backpropagation pojavilo se tek uvoženjem derivabilnih prijenosnih funkcija iji je najpoznatiji predstavnik sigmoidalna (ili logisti ka) prijenosna funkcija koja je prikazana na slici 7.2 (d) i denirana izrazom: f(net) = e net Uz ovu funkciju zgodno je jo² i primijetiti da je derivacija te funkcije: df(net) = f(net) (1 f(net)) dnet ²to emo kasnije esto koristiti. Poku²ajte stoga to izvesti za vjeºbu.

149 7.3. OSNOVNI MODEL NEURONSKE MREšE 137 Slika 7.3: Tipi na graža neuronske mreºe 7.3 Osnovni model neuronske mreºe Izolirani neuron, kako smo vidjeli u prethodnom poglavlju, moºe obavljati samo jednostavnu obradu podataka. Stoga se vi²e neurona povezuje u razli ite strukture poznate pod op enitim nazivom umjetne neuronske mreºe. Jedan primjer takve mreºe prikazan je na slici 7.3. S lijeve strane mreºe nalaze se ulazni neuroni. To su neuroni na koje se dovodi informacija koju je potrebno obraditi. Ulazni neuroni pri tome ne obavljaju nikakvu obradu ve ulaz dovode do ostalih neurona u mreºi. Unutra²njost mreºe sastoji se od neurona koji se izvana ne vide i koji nemaju nikakvog doticaja niti s ulazom, niti s izlazom mreºe. Kona no, krajnje desno nalazi se izlazni sloj neurona koji rezultat obrade dostavljaju okolini. Mreºa prikazana u ovom primjeru je slojevita mreºa. Mežutim, op enito, mreºa ne mora biti takva. U op em slu aju mogu e je da bilo koji neuron bude povezan s bilo kojim drugim neuronom, ime se otvara mogu nost deniranja vrlo velikog broja razli itih arhitektura umjetnih neuronskih mreºa. Pri tome valja voditi ra una o tome da pona²anje neuronske mreºe kao i u enje, odnosno lako a u enja, ovisi velikim dijelom o samoj arhitekturi neuronske mreºe. Primjerice, slojevite neuronske mreºe uz ksan ulaz generirat e stabilan izlaz i u tom smislu odgovarat e funkcijskom preslikavanju. Dozvoli li se pak da u neuronskoj mreºi postoje cikli ki povezani neuroni, izlaz takve mreºe ak e i uz ksne ulaze biti vremenski promjenjiv jer e unura²njost mreºe tada mo i pohranjivati stanje. Algoritmi za u enje takvih mreºa bit e bitno kompleksniji (i neekasniji).

150 138 POGLAVLJE 7. OP ENITO O NEURONSKIM MREšAMA 7.4 Vrsta i podjela neuronskih mreºa Ovisno o graži i namjeni umjetnih neuronskih mreºa, do danas je razvijen itav niz razli itih vrsta umjetnih neuronskih mreºa, od kojih emo u nastavku nabrojiti samo neke. Meºe za u enje s u iteljem Unaprijedne Linearne Perceptron: Rosenblatt (1958), Minsky and Papert (1969/1988) Adaline: Widrow and Ho (1960) Vi²eslojni perceptron Backpropagation: Rumelhart, Hinton, and Williams (1986) RBF mreºe (mreºe s radijalnim baznim funkcijama) Mreºe s povratnim vezama Boltzmanov stroj Mreºe za vremenske serije (Backpropagation kroz vrijeme, Mreºe s vremenskim pomakom Time Delay NN) Mreºe s natjecanjem Counterpropagation mreºe Mreºe za u enje bez u itelja Mreºe s natjecanjem Mreºe za kvantizaciju vektora Samoorganiziraju e mreºe (npr. Kohonenov SOM)

151 Poglavlje 8 Unaprijedne neuronske mreºe Unaprijedna slojevita neuronska mreºa ( esto jo² poznata i pod nazivom vi²eslojni perceptron, odnosno engl. multilayer perceptron) je vrsta neuronske mreºe ija je struktura prikazana na slici u nastavku. Prikazana neuronska mreºa sastoji se od tri sloja. 1. sloj odnosno ulazni sloj sastoji se od neurona koji ne obavljaju nikakvu funkciju ve naprosto preslikavaju dovedene ulazne podatke i ine ih dostupnima ostatku mreºe. U tom smislu to su neuroni ija je prijenosna funkcija upravo funkcija identiteta. Mreºa prikazana na slici ima 4 neurona u ulaznom sloju pa radi s 4-dimenzijskim podatcima. Ulaz stoga moºemo zapisati kao x = (x 1, x 2, x 3, x 4 ). Za neurone ovog sloja vrijedi y (1) i = x i. 2. sloj odnosno skriveni sloj sastoji se od neurona koji na svoje ulaze dobivaju isklju ivo vrijednosti izlaza neurona 1. sloja. Pri tome izlaz neurona i iz 1. sloja na neuron j u 2. sloju utje e s teºinom w (1) ij. 139

152 140 POGLAVLJE 8. UNAPRIJEDNE NEURONSKE MREšE 3. sloj odnosno izlazni sloj sastoji se od neurona koji na svoje ulaze dobivaju isklju ivo vrijednosti izlaza neurona 2. sloja. Na prikazanoj slici neurona u izlaznom sloju ima 3 ²to zna i da prikazana neuronska mreºa generira 3-dimenzijske izlaze, odnosno y (3) = (y (3) 1, y(3) 2, y(3) 3 ). Prikazana neuronska mreºa, dakle, ostvaruje preslikavanje podataka iz 4-dimenzijskog prostora x u 3-dimenzijski prostor y (3). Za mreºu kaºemo da je slojevita ako u svakom sloju k vrijedi da se izlazi neurona tog sloja ra unaju samo i isklju ivo temeljem izlaza neurona sloja k 1. Kod slojevitih mreºa lateralne veze (veze izmežu neurona u istom sloju) nisu dozvoljene. Da bi mreºa bila unaprijedna, nije nuºno da bude slojevita: slojevite neuronske mreºe samo su jedan od posebnih oblika unaprijednih neuronskih mreºa. Da bi mreºa bila unaprijedna, nuºan i dovoljan uvjet je da nema ciklusa. Algoritam Backpropagation za u enje neuronskih mreºa koji je opisan u nastavku primjenjiv je na op enitu kategoriju unaprijednih neuronskih mreºa, iako emo ga izvesti na primjeru slojevite mreºe. 8.1 U enje gradijentnim spustom Prije no ²to obradimo najpoznatiji algoritam za u enje unaprijednih neuronskih mreºa, podsjetimo se osnovne ideje pronalaska minimuma funkcije koja se temelji na uporabi derivacije funkcije odnosno op enitije na uporabi gradijenta. Neka je dana funkcija f(x) = 1 5 (x 4)2 + 2 koja je prikazana na slici u nastavku f(x) Zadatak je prona i onu vrijednost varijable x za koju funkcija poprima minimalnu vrijednost. Sa slike je jasno da je x = 4. Ideja gradijentnog x

153 8.1. UƒENJE GRADIJENTNIM SPUSTOM 141 spusta je krenuti od neke po etne slu ajno odabrane vrijednosti za x i potom tu vrijednost umanjivati ili uve avati ovisno o iznosu derivacije funkcije u toj to ki. Gra ko je to prikazano na slici u nastavku. Za zadanu funkciju derivaciju je trivijalno odrediti: f (x) = df(x) dx = 2 (x 4). 5 Pretpostavimo da smo za po etnu vrijednost varijable x odabrali x 0 = 1. Vrijednost derivacije funkcije u toj to ki je df(x) dx x=x 0 = 2. Kako je predznak derivacije negativan a sa slike je jasno da je x potrebno uve ati, pomak koji je potrebno napraviti bit e proporcionalan negativnoj vrijednosti derivacije. Koristit emo sljede i izraz: x i+1 = x i ψ df(x) dx x=x i

154 142 POGLAVLJE 8. UNAPRIJEDNE NEURONSKE MREšE pri emu uobi ajeno mala pozitivna konstanta ψ kontrolira veli inu korekcije. Prvih nekoliko iteracije uzvrijednost ψ = 4 daju: x 0 = 1 (slu ajno odabrano) x 1 = x 0 ψ df(x) dx x=x 0 = 1 4 df(x) dx x= 1 = 1 4 ( 2) = 7 x 2 = x 1 ψ df(x) dx x=x 1 = 7 4 df(x) dx x=7 = = 2.2 x 3 = x 2 ψ df(x) dx x=x 2 = df(x) dx x=2.2 = ( 0.72) = 5.08 x 4 = x 3 ψ df(x) dx x=x 3 =... Za prikazani primjer, postupak e u kona nici konvergirati prema x. Op enito, postoje tri situacije koje se mogu pojaviti prilikom provoženja gradijentnog spusta. 1. Monotona konvergencija. Ako je faktor ψ dovoljno mali, vrijednosti za x bi se monotono pribliºavale prema x. U primjeru koji smo proveli to nije bio slu aj. No da je, primjerice, ψ bio postavljen na vrijednost 1, dobili bismo slijed x-eva: -1, 1, 2.2, 2.92, 3.352, , , , , , , , ,... koji polako teºi prema vrijednosti x = 4. Ovaj hod x-eva u na²em primjeru odgovarao bi spustu po lijevom dijelu parabole prema minimumu. 2. Alterniraju a konvergencija. Ako je faktor ψ umjereno velik, vrijednosti za x vi²e se ne bi monotono pribliºavale prema x ve bi alternirale oko njega (svaki puta sve bliºe i bliºe). To je upravo slu aj u primjeru koji smo proveli gdje je ψ = 4. Uz malo vi²e napravljenih koraka, slijed x-eva koji se dobiva je: -1, 7, 2.2, 5.08, 3.352, , , , , , , , ,.... Taj niz opet polako teºi prema vrijednosti x = 4 ali uo ite kako su svaka dva susjedna elementa niza sa suprotnih strana optimalne vrijednosti za x. 3. Divergencija. Ako je faktor ψ prevelik, vrijednosti za x vi²e se uop e ne bi pribliºavale optimalnoj vrijednosti x-a ve bi alternirale i svaki puta na sve ve im udaljenostima. Primjerice, uz ψ = 8, slijed x-eva koji se dobiva je: -1, 11, -5.8, 17.72, , , , , , , , , ,.... U zadanom primjeru grani ni slu aj uz koji jo² uvijek nema divergencije je ψ = 5 uz koji postupak niti konvergira niti divergira ve oscilira; uz x 0 = 1 dobiva se slijed -1, 9, -1, 9, -1, 9,.... Treba napomenuti da je ova vrijednost karakteristi na upravo za ovaj konkretan primjer: uz druge funkcije grani na e vrijednost biti druga ija.

155 8.2. ALGORITAM BACKPROPAGATION 143 Ako znamo algebarski oblik funkcije koju optimirano i ako je on dovoljno jednostavan, prethodna tri slu aja moºemo izvesti i formalno. Evo samo ideje ukratko. 1. Ograda divergencije. Pretpostavimo da je ψ takav da iz koraka u korak rje²enja alterniraju. Sustav jo² uvijek ne e divergirati ako vrijedi: x 1 = x 0 ψ df(x) dx x=x 0 x 2 = x 1 ψ df(x) dx x=x 1 = x 0 odnosno ako se po povratku na po etnu stranu vratimo u to ku iz koje smo krenuli (a ne dalje od nje). Uvr²tavanjem izraza za x 1 u izraz za x 2 i izjedna avanjem tog izraza s x 0 te uz zadanu funkciju f s kojom smo radili i ija je derivacija 2 5 (x 4) direktno slijedi da je grani na vrijednost ψ gr = 5 (probajte to za vjeºbu). 2. Ograda monotonosti. Promotrimo ²to se dogaža kada ψ postupno smanjujemo od ψ gr na niºe. Postupak e alternirati sa sve manjom i manjom amplitudom sve do trenutka kada korekcija ne e biti dovoljno velika da x i koji se nalazi s jedne strane x prebaci na njegovu drugu stranu slu aj od interesa je dakle situacija koja x i promijeni to no toliko da postane jednak x. No sada je lagano. Moºemo pisati: x 1 = x 0 ψ df(x) dx x=x 0 = x ²to u slu aju na²e zadane funkcije (i uz x = 4) direktno daje iznos ψ alt = 2.5 (napravite taj izvod za vjeºbu). Uz ovako odrežene vrijednosti sada moºemo opisati pona²anje gradijentnog spusta za zadanu funkciju: 1. Uz ψ ψ alt konvergencija je monotona. 2. Uz ψ alt < ψ < ψ gr konvergencija je alterniraju a. 3. Uz ψ = ψ gr postupak oscilira (niti konvergira niti divergira). 4. Uz ψ > ψ gr postupak divergira. 8.2 Algoritam Backpropagation Najpoznatiji algoritam za u enje unaprijednih neuronskih mreºa izvest emo krenuv²i od op enite slojevite unaprijedne neuronske mreºe koja ima d ulaza, m izlaza i za ije nam je u enje na raspolaganju N parova ( x i, t i ) gdje je x i d-dimenzijski vektor koji predstavlja i-ti ulazni uzorak a t i m-dimenzijski

156 144 POGLAVLJE 8. UNAPRIJEDNE NEURONSKE MREšE vektor koji predstavlja ºeljeni odziv mreºe za promatrani i-ti ulazni uzorak. Takožer, pretpostavka e biti da svi neuroni imaju sigmoidalnu prijenosnu funkciju, tj. da vrijedi: 1 y = 1 + e net, gdje je net teºinska suma za pronatrani neuron. Promatrat emo neuronsku mreºu koja ima k +1 sloj: 1. sloj je ulazni sloj, 2. sloj do k-ti sloj su skriveni slojevi i k + 1-vi sloj je izlazni sloj. Neurone u svakom sloju emo numerirati pa emo tako oznakom y (k) i ozna avati izlaz i-tog neurona u k-tom sloju. Za potrebe deniranja postupka u enja moramo denirati kriterijsku funkciju koja mjeri kvalitetu neuronske mreºe. U ovom slu aju denirat emo da je kriterijska funkcija jednaka polovici srednjeg kvadratnog odstupanja izmežu svakog ºeljenog izlaza mreºe i stvarne vrijednosti koju mreºa generira na izlazu i to kumulativno za sve raspoloºive uzorke. Kako je izlazni sloj promatrane mreºe k + 1-vi sloj, moºemo pisati: E = 1 2N N s=1 o=1 m ( t s,o y s,o (k+1) pri emu indeks s ide po svim uzorcima za u enje a indeks o ide po svim izlaznim neuronima. Oznaka t s,o tada predstavlja o-tu dimenziju ºeljenog izlaza koji je pridruºen s-tom uzorku za u enje a oznaka y s,o (k+1) predstavlja izlaz o-tog neurona izlaznog sloja (dakle k + 1-vog sloja) koji je mreºa generirala kada joj je na ulaz doveden upravo s-ti uzorak za u enje. Denirana funkcija E funkcija je od zadanog skupa uzoraka (koji je za postupak u enja nepromjenjiv) te vrijednosti teºinskih faktora, uz pretpostavku da je struktura mreºe takožer nepromjenjiva. U tom slu aju na iznos funkcije E moºemo utjecati samo promjenom vrijednosti teºinskih faktora. Stoga e zada a postupka u enja biti prona i takve vrijednosti teºinskih faktora uz koje e iznos funkcije E biti minimalan. U skladu s prethodno poja²njenom idejom gradijentnog spusta, to zna i da je potrebno izra unati gradijent od E kojeg ine redom parcijalne derivacije od E po svakom od teºinskih faktora, tj. ºelimo izra unati: E w (k) ij Tada emo, u skladu s pravilom gradijentnog spusta, mo i aºurirati teºinu na sljede i na in: w (k) ij. ) 2 w (k) ij w (k) ij ψ E w (k) ij (8.1) gdje e ψ biti mala pozitivna konstanta.

157 8.2. ALGORITAM BACKPROPAGATION Slu aj 1: izlazni sloj Najprije emo razmotriti slu aj u kojem teºinski faktor pripada neuronu izlaznog sloja. Takva situacija prikazana je na sljede oj slici. Potrebno je izra unati E w (k) ij E w (k) ij [ = 1 w (k) 2N ij = 1 N m 2N = 1 N s=1 o=1 N s=1 o=1. Moºemo pisati: ] N m ( ) 2 t s,o y s,o (k+1) s=1 o=1 ( 2 m ( t s,o y (k+1) s,o t s,o y (k+1) s,o ) ) ( 1) y(k+1) s,o w (k) ij (8.2) (8.3) y(k+1) s,o w (k). (8.4) ij Kako je teºina w (k) ij teºina koja spaja i-ti neuron u k-tom sloju i j-ti neuron u k + 1-vom sloju, on utje e samo na izlaz neurona j u k + 1-vom sloju. Stoga parcijalne derivacije y(k+1) s,o w (k) ij vrijedi: tako da moºemo pisati: m o=1 y (k+1) s,o w (k) ij za slu aj da je o j i² ezavaju te = y(k+1) s,j w (k) ij E w (k) ij = 1 N N ( t s,j y (k+1) s,j s=1 ) y(k+1) s,j w (k). (8.5) ij

158 146 POGLAVLJE 8. UNAPRIJEDNE NEURONSKE MREšE Za izra un preostale parcijalne derivacije posluºit emo se pravilom ulan avanja derivacija pa moºemo pisati: y (k+1) s,j w (k) ij = y(k+1) s,j net (k+1) s,j net(k+1) s,j w (k) ij (8.6) Uo imo da za sigmoidalnu prijenosnu funkciju vrijedi: y (k+1) s,j net (k+1) s,j = y (k+1) s,j (1 y (k+1) s,j ). Takožer, uo imo da je net (k+1) s,j odnosno da se ra una kao: teºinska suma za neuron k + 1-vog sloja, net (k+1) s,j = w (k) 1,j y(k) s,1 + w(k) 2,j y(k) s,2 + + w(k) i,j y(k) s,i + Uo imo sada da, zbog svojstva slojevitosti mreºe (nema cikli kih i lateralnih veza) niti jedan od izlaza y (k) s,1, y(k) s,2,... temeljem kojih se ra una net(k+1) s,j ne ovise o teºini w (k) i,j ve su s obzirom na nju konstante. Tada je traºena parcijalna derivacija jednaka: net (k+1) s,j w (k) ij = y (k) s,i. Slijedi da je: y (k+1) s,j w (k) ij = y (k+1) s,j (1 y (k+1) s,j ) y (k) s,i ²to uvr²tavanjem u izraz (8.5) daje: E w (k) ij = 1 N = 1 N N s=1 N s=1 ( y (k+1) s,j δ (k+1) s,j 1 y (k+1) s,j ) ( t s,j y (k+1) s,j ) y (k) s,i (8.7) y (k) s,i (8.8) pri emu je: δ (k+1) s,j ( = y (k+1) s,j 1 y (k+1) s,j ) ( t s,j y (k+1) s,j ).

159 8.2. ALGORITAM BACKPROPAGATION 147 Veli ina δ (k+1) s,j predstavlja pogre²ku j-tog izlaznog neurona za s-ti uzorak za u enje. Pravilo za aºuriranje teºine w (k) ij tada glasi: w (k) ij w (k) ij ψ w (k) ij ψ w (k) ij + η E w (k) ij ( 1 N ( N s=1 N s=1 δ (k+1) s,j δ (k+1) s,j y (k) s,i y (k) s,i ) ) (8.9) (8.10) (8.11) gdje smo umjesto umno²ka konstanti ψ 1 N uveli novu konstantu η Slu aj 2: teºina pripada skrivenom sloju Ovaj slu aj razmotrit emo na primjeru teºine koja se nalazi u zadnjem skrivenom sloju i potom napraviti poop enje na proizvoljni sloj. Ovaj slu aj prikazan je na sljede oj slici. Potrebno je izra unati parcijalnu derivaciju kriterijske funkcije po promatranoj teºini w (k 1) ij.

160 148 POGLAVLJE 8. UNAPRIJEDNE NEURONSKE MREšE E w (k 1) ij = w (k 1) ij = 1 2N = 1 N = 1 N N [ 1 N m ( 2N s=1 o=1 N m ( 2 m ( s=1 o=1 N m ( s=1 o=1 s=1 o=1 t s,o y (k+1) s,o t s,o y (k+1) s,o t s,o y (k+1) s,o t s,o y (k+1) s,o ) ) ) ) 2 ] ( 1) y(k+1) s,o w (k 1) ij y(k+1) s,o w (k 1) ij y (k+1) s,o net (k+1) s,o net(k+1) s,o w (k 1) ij (8.12) (8.13) (8.14) (8.15) (8.16) Raspi²imo svaku od prikaznih parcijalnih derivacija. Prva je derivacija sigmoidalne prijenosne funkcije ²to je trivijalno: y (k+1) s,o net (k+1) s,o = y (k+1) s,o (1 y (k+1) s,o ). Da bismo razrije²ili preostalu parcijalnu derivaciju, ksirajmo na trenutak o i pogledajmo kako se ra una net (k+1) s,o. Vrijedi: net (k+1) s,o = w 1o y (k) s,1 + w 2o y (k) s,2 + w jo y (k) s,j + Zbog toga ²to je mreºa slojevita, teºina w (k 1) ij koja se nalazi u teºinskoj sumi j-tog neurona u k-tom sloju utje e samo na njegov izlaz, odnosno na y (k) y s,j. Stoga o j vrijedi (k) s,o w (k 1) ij utjecaja na te izlaze. Slijedi da je samo = 0 jer promjena te teºine nema nikakvog y(k) s,j w (k 1) ij 0, pa je: net (k+1) s,o w (k 1) ij = w (k 1) ij = w 1o = w jo ( w 1o y (k) s,1 + w 2o y (k) s,2 + w jo y (k) s,j + ) y (k) s,1 w (k 1) + w 2o ij y (k) s,j w (k 1) ij. y (k) s,2 w (k 1) + w jo ij y (k) s,j w (k 1) + ij

161 8.2. ALGORITAM BACKPROPAGATION 149 Kombiniranjem ovih rezultata slijedi: E w (k 1) ij = 1 N = 1 N = 1 N N m s=1 o=1 N s=1 N s=1 [ ( ) t s,o y s,o (k+1) y s,o (k+1) (1 y s,o (k+1) ) w jo [ y (k) s,j m ( w (k 1) ij o=1 [ y (k) s,j w (k 1) ij m o=1 t s,o y (k+1) s,o ] δ s,o (k+1) w jo y (k) ] s,j w (k 1) ij ] ) y s,o (k+1) (1 y s,o (k+1) ) w jo Kona no, preostalu parcijalnu derivaciju y(k) s,j w (k 1) ij sada je trivijalno razrije²iti jer je teºina w (k 1) ij upravo teºina neurona iji je izlaz y (k) s,j. Koriste i pravilo ulan avanja moºemo pisati: Uvr²tavanjem slijedi: y (k) s,j w (k 1) ij = y(k) s,j net (k) s,j = y (k) s,j net(k) s,j w (k 1) ij (1 y(k) s,j ) y(k 1) s,i E w (k 1) ij = 1 N = 1 N = 1 N [ N s=1 y (k) s,j [ N y (k 1) s,i s=1 N s=1 [ y (k 1) s,i (1 y(k) s,j ) y(k 1) s,i { y (k) s,j ] δ (k) s,j m o=1 m (1 y(k) s,j ) o=1 ] δ s,o (k+1) w jo }] δ s,o (k+1) w jo pri emu je pogre²ka skrivenog neurona j u sloju k za uzorak s denirana kao derivacija njegove prijenosne funkcije pomnoºena teºinskom sumom pogre²aka neurona sljede eg sloja, odnosno: Aºuriranje teºine w (k 1) ij δ (k) s,j = y(k) s,j (1 y(k) s,j ) m o=1 δ (k+1) s,o w jo. tada se obavlja na sljede i na in:

162 150 POGLAVLJE 8. UNAPRIJEDNE NEURONSKE MREšE w (k 1) ij w (k 1) ij ψ w (k 1) ij ψ w (k 1) ij + η E w (k 1) ij ( 1 N ( N s=1 N s=1 (8.17) [ ]) y (k 1) s,i δ (k) s,j (8.18) [ ] ) δ (k) s,j y(k 1) s,i (8.19) gdje smo umjesto umno²ka konstanti ψ 1 N uveli novu konstantu η. Razmotrimo li umjesto neurona iz zadnjeg skrivenog sloja neki od neurona iz prethodnih slojeva, dolazi se do strukturno istih formula: za svaki neuron iz skrivenog sloja l pogre²ka se ra una kao derivacija njegove prijenosne funkcije pomnoºena teºinskom sumom pogre²aka neurona sljede eg sloja na koje je promatrani neuron direktno spojen Op i slu aj Analizom neurona izlaznog sloja dobili smo izraz za aºuriranje teºina: w (k) ij w (k) ij + η ( N a analizom neurona skrivenog sloja izraz: w (k 1) ij w (k 1) ij + η s=1 ( N δ (k+1) s,j s=1 y (k) s,i ) δ (k) s,j y(k 1) s,i Pravilo aºuriranja je dakle isto razlika je samo u na inu kako se ra una pogre²ka. Za neurone izlaznog sloja pogre²ku je mogu e izra unati direktno: ona je jednaka derivaciji prijenosne funkcije pomnoºenoj s razlikom izmežu o ekivane vrijednosti izlaza i dobivene vrijednosti izlaza. Pogre²ke neurona skrivenih slojeva potom se ra unaju na opisani na in temeljem pogre²aka izlaznih neurona. Teºinski faktore koje do sada nismo razmatrali su slobodni teºinski faktori (odnosno ono ²to u net-u odgovara teºini w 0 ). Napravimo li i taj izvod (ostavljamo itatelju za vjeºbu), dobit e se izrazi koji odgovaraju prethodno izvedenima uz postavljanje y (k) s,i = 1 odnosno y (k 1) s,i = 1; drugim rije ima, moºemo se praviti da su te teºine spojene izmežu ksnih neurona koji stalno na izlazu generiraju vrijednost 1. )

163 8.3. INAƒICE ALGORITMA BACKPROPAGATION Ina ice algoritma Backpropagation Direktnom primjenom metode gradijentnog spusta na minimizaciju srednje kvadratne pogre²ke nad cjelokupnim skupom uzoraka za u enje dobili smo sljede i izraz za aºuriranje teºinskih faktora: ( N ) w (k) ij w (k) ij + η δ (k+1) s,j y (k) s,i. U tom izrazu suma: N s=1 δ (k+1) s,j s=1 y (k) s,i dolazi iz izraza za to nu vrijednost gradijenta kriterijske funkcije u to ki koja je odrežena trenutnim vrijednostima teºinskih faktora. Algoritam u enja ostvaren na ovaj na in spada u porodicu algoritama grupnog u enja (engl. batch learning algorithm) kod kojih se u enje dogaža tek po predo enju svih uzoraka za u enje. U tom smislu, jedna je epoha jednaka jednoj iteraciji ovako izvedenog algoritma. S obzirom da ovako izvedeni algoritam u svakoj to ki ra una to an iznos gradijenta, algoritam garantira da se nakon svakog koraka ukupna pogre²ka (uz dovoljno malu konstantu η) ne e pove avati: ili e stagnirati, ili e se smanjivati. Problem ove izvedbe, mežutim, leºi u tome ²to je funkcija koja se minimizira visoko multimodalana te gradijent u svakoj to ki uvijek pokazuje u smjeru najbliºeg lokalnog optimuma a ne globalnog. Stoga ovakva izvedba algoritma u enja pokazuje vrlo malu otpornost na zaglavljivanje u lokalnim optimumima. Kako bi se rije²io ovaj problem, mogu e je napraviti modikaciju algoritma koja umjesto prave vrijednosti gradijenta u svakoj to ki radi procjenu gradijenta samo na temelju jednog uzorka i zatim odmah radi korekciju te- ºina temeljem te procjene takva izvedba poznata je pod nazivom stohasti ki Backpropagation. To se postiºe tako da se umjesto sume: N s=1 δ (k+1) s,j y (k) s,i u s-toj iteraciji koristi aproksimacija gradijenta: δ (k+1) s,j y (k) s,i i korekcija radi samo temeljem te aproksimacije: Za svaki s iz [1,..., N] w (k) ij w (k) ij + η δ (k+1) s,j y (k) s,i. Time se postiºe da algoritam u i nakon svakog predo enog uzorka. Takva varijanta algoritma pripada porodici algoritama pojedina nog u enja (engl.

164 152 POGLAVLJE 8. UNAPRIJEDNE NEURONSKE MREšE online learning algorithm). Kod ove izvedbe algoritma jednu iteraciju ini predo avanje to no jednog uzorka i korigiranje teºina dok se slijed od N iteracija u kojima se redom mreºi predo e svi uzorci naziva jednom epohom. Faktor η koji se ovdje koristi moºe biti N puta ve i od faktora koji se koristi kod klasi nog algoritma Backpropagation (razmislite za²to?). Za razliku od klasi nog algoritma Backpropagation, stohasti ki Backpropagation pokazuje pove anu otpornost na zapinjanje u lokalnim optimumima i time je algoritam koji se naj e² e bira Dodavanje inercije Jo² jedan od na ina kako pospje²iti otpornost na lokalne optimume jest u izraz za aºuriranje teºine dodati novi lan koji e trenutnoj korekciji dodati odrežen iznos korekcije iz prethodnog koraka. Time se simulira utjecaj inercije koji moºe pospije²iti prolazak kroz lokalni optimum. Izraz koji se tada koristi opisan je u nastavku, na primjeru stohasti kog algoritma Backpropagation. Prikaºimo izvedeno pravilo aºuriranja teºina na malo druga iji na in: w (k) ij w (k) ij + w (k) ij pri emu smo uveli posebnu oznaku za iznos promjene: w (k) ij = η δ (k+1) s,j y (k) s,i. Novo pravilo aºuriranja koje ima inercijski lan tada glasi: w (k) ij = η δ (k+1) s,j y (k) s,i + α w(k) ij gdje je s w (k) ij ozna ena vrijednost korekcije iz prethodnog koraka. Varijanta pravila koje dodaje moment takožer je: w (k) ij = (1 α) η δ (k+1) s,j y (k) s,i + α w(k) ij. Kod ove varijante odabirom razli itih vrijednosti parametra α moºe se direktno podesiti u kojoj mjeri aºuriranje teºinskih faktora uzima u obzir trenutnu vrijednost gradijenta pogre²ke a u kojoj mjeri aºuriranje iz prethodnog koraka. 8.4 Dodatne napomene Kriteriji zaustavljanja postupka u enja Prilikom postupka u enja treba odlu iti u kojem je trenutku najbolje prekinuti postupak u enja. Tih kriterija moºe biti nekoliko.

165 8.4. DODATNE NAPOMENE Kriterij maksimalne pogre²ke. Za svaki se uzorak s i za svaki izlaz o provjerava je li zadovoljeno: t s,o y (k+1) ɛ s,o gdje je ɛ unaprijed zadan mali pozitivni broj. Time se postupak prekida tek kada je i najve a pogre²ka na bilo kojem od izlaza manja ili jednaka zadanoj ogradi ɛ. 2. Kriterij ukupne kvadratne pogre²ke. Zahtjevamo da je: N m ( ) 2 t s,o y s,o (k+1) ɛ s=1 o=1 odnosno postupak se zaustavlja im ukupna kvadratna pogre²ka postane manja ili jednaka danoj ogradi ɛ. U ovom slu aju mogu e je da mreºa neke uzorke nau i jako lo²e a druge jako dobro jer jedini kriterij koji se koristi je provjera zdruºene pogre²ke. 3. Uporaba unakrsne validacije. Dostupan skup uzoraka veli ine M temeljem kojih bismo htjeli obaviti u enje podijeli se u dva skupa: skup za u enje, obi no veli ine M i skup za validaciju, obi no veli ine 10 M. Mreºa se u i samo temeljem skupa za u enje, a pona²anje mreºe na skupu za validaciju se periodi ki provjerava. Inicijalno, kako mreºa u i, pogre²ka na oba skupa e padati. Mežutim, u jednom trenutku mreºa e se po eti jako dobro prilagožavati uzorcima skupa za u enje i po et e gubiti sposobnost generalizacije. To emo primjetiti na skupu za validaciju jer e tada pogre²ka na tom skupu po eti rasti. Postupak u enja stoga treba prekinuti u trenutku kada pogre²ka na skupu na validaciju dosegne svoj minimum nakon toga mreºa postaje pretrenirana Ubrzavanje postupka u enja Po etne vrijednosti koje se dodjeljuju teºinskim faktorima biraju se sasvim slu ajno. Mežutim, to moºe imati zna ajne posljedice na brzinu kojom mreºa po inje u iti. Pogledajmo to na primjeru jednostavnog sigmoidalnog neurona s 5 ulaza. Njegov je izlaz deniran izrazom: y = f(net), net = 5 w i x i + w 0, f(net) = i=1 Prisjetimo se takožer kako je denirana korekcija teºine: w (k) ij = η δ (k+1) s,j = η y (k+1) s,j y (k) s,i ( 1 y (k+1) s,j ) ( t s,j y (k+1) s,j e net. ) y (k) s,i

166 154 POGLAVLJE 8. UNAPRIJEDNE NEURONSKE MREšE Primijetimo da se korekcija ( mnoºi ) s derivacijom sigmoidalne funkcije odnosno lanom y (k+1) s,j 1 y (k+1) s,j. Raspi²emo li to kao funkciju od net, imamo: f (net) = ( ) e net e net ²to je gra ki prikazano na slici u nastavku f (net) net Ta funkcija ve i za relativno male vrijednosti net-a poprima vrlo mali iznos kojim prigu²uje ukupnu korekciju i time zna ajno usporava postupak u enja. Stoga se preporu a po etne vrijednosti za teºinske faktore birati slu- ajno iz intervala koji e garantirati da inicijalna vrijednost net-a ne bude prevelika. Primjerice, za net = 2.4 vrijednost umno²ka je ne²to manja od 0.1. Postavimo li stoga kao uvjet net <= 2.4 i uzev²i u obzir da u na²em primjeru s 5-ulaznim neuronom ulaze generiraju opet drugi neuroni iji je

167 8.4. DODATNE NAPOMENE 155 izlaz ograni en s +1, imamo: net w i x i + w i=1 5 w i + w i=1 6 w 2.4 w w 0.4 iz ega slijedi da bi svaku teºinu inicijalno trebali postaviti na slu ajni broj iz intervala [ 0.4, +0.4]. Osim prikladnog odabira po etnih vrijednosti za teºinske faktore, treba obratiti paºnju na jo² nekoliko pojedinosti. Razli iti uzorci za mreºu mogu biti razli ito zahtjevni za nau iti. Stoga umjesto da se uzorci mreºi prikazuju slijedno i svaki u trajanju od jedne iteracije, algoritam se moºe modicirati na na in da se za svaki uzorak u i tako dugo dok se ne nau i pa se tek potom krene na sljede i uzorak. Takav se postupak potom ponavlja iz epohe u epohu. Parametri η i α mogu se dinami ki mijenjati. U literaturi je za tu svrhu opisano nekoliko mogu nosti koje mogu doprinijeti ubrzanju postupka u enja. Korekcija teºinskog faktora moºe se skalirati faktorom e ρ cos(φ) gdje je ρ 0.2 a φ kut izmežu trenutnog vektora gradijenta i vektora gradijenta iz prethodnog koraka. Ideja je sljede a: ako je taj kut 0 ili vrlo mali, korekcije idu u istom smjeru pa se isplati pomak i dodatno pove ati u tom smjeru jer je za o ekivati da bi i sljede a korekcija tada mogla biti u istom smjeru. S druge pak strane, ²to je taj kut ve i (ili ak ve i od 90 ) iznos faktora pada ime se korekcija prigu²uje jer smo o ito u podru u gdje se gradijent jako mijenja pa treba raditi male korake Primjeri u enja unaprijedne slojevite neuronske mreºe Primjer u enja pokazat emo na primjeru u enja funkcije: f(x) = 0.2sin(x) + 0.2sin(4x + π 7 )

168 156 POGLAVLJE 8. UNAPRIJEDNE NEURONSKE MREšE Za potrebe pripreme podataka funkcija f uzorkovana je na intervalu [0, 2π] u 200 to aka. Time je prikupljen skup od 200 uzoraka za u enje. Taj je skup potom podijeljen (slu ajno) u 100 uzoraka koji ine skup za u enje te 100 uzoraka koji ine skup za validaciju. Prilikom postupka u enja, neuronska mreºa teºinske faktore mijenja isklju ivo temeljem skupa za u enje. Tijek u enja provedenog postupkom Backpropagation prikazan je na slici u nastavku. Postupak u enja je proveden kroz epoha. Kako se radi o klasi nom postupku Backpropagation, svaka se epoha sastoji od predo avanja svih 100 uzoraka iz skupa za u enje neuronskoj mreºi i akumuliranja korekcija za svaki uzorak. Tek na kraju epohe kada je za svaku teºinu poznata kona na kumulativna korekcija mijenjaju se teºinski faktori. Prisjetimo se, ovo je potrebno kako bi se u trenutku korekcije znao pravi iznos gradijenta i kako bi pomak bio u suprotnom smjeru od smjera pravog gradijenta. Tijekom postupka u enja, teºine su, dakle, promijenjene puta. Na slici u nastavku prikazan su stanja (smjer itanja je s lijeva u desno pa odozgo prema dolje): stanje s nasumi no odabranim teºinama, stanje nakon 500 epoha, 1000 epoha, 1500 epoha, 2000 epoha, 5000 epoha, epoha, epoha, epoha, epoha, epoha, epoha, epoha, epoha, epoha i kona no stanje nakon epoha Pogre²ke na skupovima za u enje i validaciju prikazane su na slici u nastavku.

169 8.4. DODATNE NAPOMENE Greska na skupu za ucenje Greska na skupu za validaciju S obzirom da se radi o u enju klasi nim algoritmom Backpropagation, pogre²ka na skupu za u enje o ekivano relativno monotono pada (razmislite za²to nemamo garanciju da e gre²ka doista monotono padati?). Postupak u enja stohasti kom izvedbom algoritma Backpropagation prikazan je na slikama u nastavku.

170 158 POGLAVLJE 8. UNAPRIJEDNE NEURONSKE MREšE Greska na skupu za ucenje Greska na skupu za validaciju Kona no, postupak u enja stohasti kom izvedbom algoritma Backpropagation uz dodatno u enje svakog pojedinog uzorka dok gre²ka na njemu nije dovoljno mala (ili dok se ne dože do zadanog broja poku²aja) prikazan je na slikama u nastavku.

171 8.5. PREGLED ALGORITAMA UƒENJA Greska na skupu za ucenje Greska na skupu za validaciju Pregled algoritama u enja Najve i dio ovog poglavlja bio je fokusiran na, s povijesnog stajali²ta gledano, osnovni algoritam za u enje vi²eslojnih unaprijednih neuronskih mreºa: al-

172 160 POGLAVLJE 8. UNAPRIJEDNE NEURONSKE MREšE goritam Backpropagation [Rumelhart et al.(1986)rumelhart, Hinton, and Williams]. U ovom podpoglavlju dat emo pregled sli nih metoda koje se koriste za ovaj zadatak i koje su nastale kako bi pobolj²ale ekasnost tog algoritma. Algoritam Backpropagation razvijen je kao rje²enje problema Credit Assignment: to je algoritam koji je omogu io u enje vi²eslojnih unaprijednih neuronskih mreºa. Mežutim, praksa je pokazala da je upravo to zadatak na kojem ovaj algoritam zakazuje: umjesto da smo sada u stanju u iti neuronske mreºe s pet, ²est ili vi²e slojeva, na takvim arhitekturama mreºa algoritam ne radi dobro. Osnovni razlog tome leºi u injenici da se gradijent koji se vra a iz kasnijeg sloja u raniji konzistentno i eksponencijalno smanjuje od izlaznog sloja gdje ima maksimalnu vrijednost. To nije pretjeran problem ako mreºa ima samo jedan skriveni sloj, ali ako mreºa ima primjerice 5 skrivenih slojeva, vrijednosti gradijenta koje dolaze do prvog sloja prakti ki su zanemarive. Stoga ovaj algoritam naj e² e zakazuje upravo na ovakvim zadatcima. Stoga je razvijen niz algoritama (od kojih emo ovdje spomenuti samo neke) koji na razli ite na ine poku²avaju popraviti odrežena svojstva algoritma Backpropagation. Osnovna ideja svih tih algoritama jest na odrežen na in utjecati na iznos stope u enja koja se koristi u svakom koraku. Jednostavna podjela ovakvih algoritama prikazana je na slici 8.1. Adaptivni pristupi Indirektni pristupi Dodavanje momenta Direktni pristupi Globalni Lokalni Metoda hrabrog vozača (Bold Driver Method) Metoda najstrmijeg spusta (Steepest Descent Method) Metoda konjugiranih gradijenata (Conjugate Gradient Method) Metoda Levenberg-Marquarta Delta-Bar-Delta SuperSAB irprop + Rprop + Rprop QuickProp Slika 8.1: Pristupi pode²avanja stope u enja. Indirektni pristupi su pristupi koji stopu u enja ne mijenjaju direktno ve nekim drugim mehanizmima postiºu da se u enje pona²a kao da je stopa u enja modicirana. Primjer takvog pristupa je prethodno opisan postupak dodavanja inercije pravilu u enja. Stopa u enja η se tijekom u enja ne

173 8.5. PREGLED ALGORITAMA UƒENJA 161 mijenja. Mežutim, ako u dva uzastopna koraka gradijenti pogre²ke pokazuju u istom smjeru, prilikom druge korekcije teºina ukupna korekcija bit e jednaka trenutno izra unatoj zbog stope u enja uve anoj za isti takav iznos iz prethodnog koraka ime se algoritam pona²a kao da radi korekciju efektivnom stopom u enja koja je ve a od η. S druge pak strane, ako smo u prethodnom koraku bili s jedne strane minimuma a u trenutnom smo s druge strane, gradijenti u te dvije to ke bit e suprotni pa e ukupna korekcija biti napravljena za iznos koji je manji od onoga koji denira η. Direktne pristupe moºemo podijeliti na globalne i lokalne. Globalni pristupi su pristupi koji koriste jednu (globalnu) stopu u enja i nju direktno modiciraju. Lokalni pristupi su pristupi koji za svaku teºinu uvode zasebnu stopu u enja i informacije o promjenama pojedine stope u enja tipi no donose na temelju samo lokalno dostupnih informacija (primjerice, prethodne korekcije pripadne teºine ili pak iznosa parcijalne derivacije funkcije pogre²ke s obzirom na pripadnu teºinu) Algoritam najstrmijeg spusta Algoritam najstrmijeg spusta (engl. Steepest Descent Algorithm) je klasi ni algoritam matemati ke optimizacije primijenjen na traºenje optimalnih parametara neuronske mreºe. U svakom koraku algoritam ponavlja sljede e korake. 1. Izra unaj vrijednost gradijenta funkcije pogre²ke E(k). 2. Klasi ni Backpropagation teºine bi aºurirao prema izrazu w(k + 1) = w(k) η E(k) rade i korekciju uz ksni korak η E(k). Algoritam najstrmijeg spusta umjesto toga zahtjeva da se pronaže η koji minimizira funkciju E( w(k) η E(k)) i da se potom napravi aºuriranje: w(k + 1) = w(k) η E(k). Pojasnimo malo detaljnije drugi korak. U koraku k teºine su postavljene na vrijednost w(k). Uz te teºine i sve uzorke za u enje moºemo utvrditi iznos funkcije pogre²ke E(k) kao i njezin gradijent E(k) u to ki w(k). Taj gradijent je vektor koji pokazuje u smjeru najve eg porasta funkcije pogre²ke. Moºemo stoga denirati vektor d(k) = E(k) kao vektor koji pokazuje kako treba mijenjati teºine gledano iz to ke w(k) a da bi funkcija imala maksimalni pad vrijednost. Potom moºemo denirati pomo nu skalarnu funkciju: Ψ(η) = E( w(k) + η d(k)). S obzirom da su w(k) i d(k) ksirani vektori, ono ²to zapravo radimo jest argument funkcije E mijenjamo krenuv²i od to ke w(k) po pravcu koji je

174 162 POGLAVLJE 8. UNAPRIJEDNE NEURONSKE MREšE odrežen vektorom d(k); koliko se pomi emo po tom ksiranom pravcu odreženo je parametrom η. Za pretpostaviti je da, kako η raste, iznos funkcije Ψ(η) e najprije padati (u okolici to ke w(k) to nam garantira injenica da kretanje radimo u smjeru negativnog gradijenta) a potom rasti. šelimo stoga prona i onaj η (ozna it emo ga s η ) za koji je funkcije Ψ(η ) minimalna. Jednostavan algoritam za pronalazak η bismo mogli implementirati na sljede i na in. Krenemo s nekim malim η izra unamo vrijednost funkcije E( w(k) + η d(k)) u tako dobivenoj to ki. Ako je vrijednost funkcije manja, pove amo η (primjerice, pomnoºimo ga s 1.5) i izra unamo vrijednost funkcije E u tako dobivenoj to ki; postupak ponavljamo sve dok vrijednosti funkcije E padaju. Prvi puta kada vrijednost funkcije E poraste, kao η uzmemo η iz posljednjeg koraka prije porasta. Treba uo iti da algoritam koji pronalazi optimalan η zahtjeva izra un funkcije E u razli itim to kama u prostoru teºina: to mežutim zna i da za svaki izra un funkcije E moramo na ulaz mreºe dovesti sve uzorke za u enje i izra unati ukupnu pogre²ku ²to moºe biti skupo. Stoga je prikladnije posegnuti za nekim boljim algoritmom za pronalazak optimalnog η koji traºi ²to je mogu e manje razli itih to aka u kojima treba ra unati funkciju E ( itatelj se upu uje na porodicu algoritama poznatu pod nazivom line-search algorithms). Jednom kada je pronažen optimalan η, radi se korekcija teºina. S obzirom da je η optimalan, u smjeru vektora d(k) pogre²ku vi²e sigurno nije mogu e smanjiti. Lako je stoga pokazati da e sljede a korekcija teºina koja e biti provedena u sljede em koraku biti napravljena u smjeru vektora d(k + 1) koji je okomit na prethodni vektor d(k) Algoritam hrabrog voza a Algoritam hrabrog voza a (engl. Bold Driver Method) aºuriranje teºina radi prema uobi ajenom pravilu: w ij (k + 1) = w ij (k) η E w ij (k) gdje je E w ij (k) pravi iznos parcijalne derivacije dobiven temeljem svih raspoloºivih uzoraka za u enje. Po etnu stopu u enja η 0 denira korisnik (primjerice, η 0 = 0.1). Prilikom u enja, u svakom se koraku k promatra pona²anje funkcije pogre²ke E. Ako je nakon promjene teºina iznos funkcije pogre²ke u sljede em koraku smanjen, stopa u enja se pove ava mnoºenjem s konstantom ρ > 1. Ovo e osigurati da se pomicanje u podprostoru funkcije pogre²ke u kojem je vrijednost gradijenta mala ubrza. Ako se iznos funkcije pogre²ke u sljede em koraku pove a, pretpostavka je da je stopa u enja bila prevelika. Stoga se poduzimaju sljede e akcije.

175 8.5. PREGLED ALGORITAMA UƒENJA Posljednja napravljena korekcija teºina (koja je dovela do pove anja pogre²ke) se otkazuje. Teºine se postavljaju na one koje su bile prije te korekcije (treba dakle pamtiti teºinske faktore iz prethodnog koraka). 2. Stopa u enja se smanjuje mnoºenjem s faktorom 0 < σ < Radi se korekcija teºina prema novoj stopi. Ako se pogre²ka smanji, nova stopa se prihva a; ako pogre²ka i dalje raste, stopa se ponovno smanjuje mnoºenjem s faktorom σ i provjerava se funkcija pogre²ke postupak se ponavlja sve dok funkcije pogre²ke ne po ne padati. Predloºene vrijednosti za koecijente su ρ = 1.1 i σ = 0.5 [Battiti(1989)] Algoritam Delta-Bar-Delta Algoritam Delta-Bar-Delta [Jacobs(1988)] pripada u porodicu lokalnih algoritama. Svaka teºina w ij ima svoju stopu u enja η ij. Za svaku teºinu algoritam promatra pona²anje parcijalne derivacije funkcije pogre²ke s obzirom na tu teºinu. Prisjetimo se, parcijalna derivacija funkcije s obzirom na veku varijablu govori kako e se funkcija promijeniti ako se promatrana varijabla pove a. Stoga je ideja algoritma sljede a: ako se u dva uzastopna koraka predznak parcijalne derivacije funkcije pogre²ke s obzirom na promatranu teºinu ne mijenja, tada se stopa u enja pridruºena toj teºini moºe pove ati kako bismo ubrzali promjenu teºine; algoritam propisuje pove anje za ksni iznos κ + > 0. Ako se pak predznak parcijalne derivacije funkcije pogre²ke s obzirom na promatranu teºinu promijeni iz prethodnog koraka u trenutni korak, to zna i da je teºina upravo presko ila optimalnu vrijednost (prethodni korak je bio prevelik); stoga se stopa u enja eksponencijalno smanjuje mnoºenjem trenutne stope s faktorom 0 < κ < 1. Postupak je opisan u nastavku. κ + + η ij (k 1), η ij (k) = κ η ij (k 1), η ij (k 1), ako je E E w ij (k 1) w ij (k) > 0, ako je E E w ij (k 1) w ij (k) < 0, ina e. Pri tome mora vrijediti 0 < κ < 1. η ij (k) ozna ava vrijednost stope u enja E teºine w ij u trenutku k; w ij (k 1) odnosno E w ij (k) su vrijednosti parcijalne derivacije funkcije pogre²ke s obzirom na teºinu w ij u trenutcima k 1 i k. Aºuriranje teºina obavlja se prema izrazima: w ij (k) = η ij (k) E w ij (k) + α w ij (k 1), w ij (k + 1) = w ij (k) + w ij (k).

176 164 POGLAVLJE 8. UNAPRIJEDNE NEURONSKE MREšE Algoritam SuperSAB Algoritam SuperSAB [Tollenaere(1990)] takožer pripada u porodicu lokalnih algoritama gdje svaka teºina ima svoju stopu u enja. Algoritam je sli an algoritmu Delta-Bar-Delta ali uz dvije modikacije: pove anje stope u enja je takožer eksponencijalno a u slu aju preskakanja optimuma poni²tava se prethodni korak aºuriranja teºine. Postupak je opisan u nastavku. κ + η ij (k 1), η ij (k) = κ η ij (k 1), η ij (k 1), ako je E E w ij (k 1) w ij (k) > 0, ako je E E w ij (k 1) w ij (k) < 0, ina e. Pri tome mora vrijediti 0 < κ < 1 < κ +. Primjerice, parametri se mogu postaviti na sljede i na in κ = 0.5, κ + = 1.1. U slu aju da je nastupio E E slu aj w ij (k 1) w ij (k) < 0 (postoji razlika u predznaku derivacije u prethodnom i trenutnom koraku), vrijednost teºine w ij se restaurira na onu iz prethodnog koraka. U ostalim slu ajevima radi se aºuriranje prema izrazima: w ij (k) = η ij (k) Algoritam Quickprop E w ij (k) + α w ij (k 1), w ij (k + 1) = w ij (k) + w ij (k). Algoritam QuickProp [Fahlman(1988a), Fahlman(1988b)] jo² je jedan od algoritama koji pripadaju u porodicu lokalnih algoritama gdje svaka teºina ima svoju stopu u enja. Mežutim, po na inu rada bitno se razlikuje od prethodno opisanih algoritama. Pretpostavka ovog algoritma je da je u okolici teºine w ij funkcija pogre²ke kvadratnog karaktera s obzirom na tu teºinu (i to je pretpostavka koja vrijedi za svaku teºinu u mreºi). Algoritam stoga funkciju pogre²ke kada razmatra teºinu w ij aproksimira Taylorovim razvojem drugog reda: E(w ij + w ij ) = E(w ij ) + E(w ij) w ij E(w ij ) w ij 2 wij 2 ( w ij ) 2 Shvatimo li ovdje w ij kao slobodnu varijablu, funkcija E(w ij + w ij ) za razli ite vrijednosti varijable w ij poprima razli ite iznose. Mi traºimo onu vrijednost w ij za koju funkcija postaje minimalna: ra unamo stoga derivaciju te funkcije s obzirom na w ij i tu derivaciju izjedna avamo s 0 (uo ite da su u prethodnom izrazu parcijalne derivacije i E(w ij ) konstante s obzirom na w ij pa se tako i tretiraju): de(w ij + w ij ) d( w ij ) = E(w ij) + 2 E(w ij ) w ij wij 2 w ij = 0

177 8.5. PREGLED ALGORITAMA UƒENJA 165 Slijedi da je traºeni korak jednak: w ij = E(w ij ) w ij 2 E(w ij ) wij 2 Drugu parcijalnu derivaciju aproksimirat emo omjerom variranja prve parcijalne derivacije u trenutnom i prethodnom koraku i variranja teºine u trenutnom i prethodnom koraku: 2 E(w ij ) w 2 ij = E(w ij ) w ij (k) E(w ij) w ij (k 1) = w ij (k) w ij (k 1). E(w ij ) w ij (k) E(w ij) w ij (k 1) w ij (k 1) Uvr²tavanjem ovog izraza u prethodno dobiveni izraz za w ij dobivamo pravilo: w ij (k) = E(w ij ) w ij (k) E(w ij ) w ij (k) E(w ij) w ij (k 1) w ij(k 1). Kako izraz u nazivniku moºe postati vrlo malen, promjena teºine bi mogla ispasti vrlo velika pa se uvodi ograda γ koja odrežuje koliko puta korekcija w ij (k) smije biti ve a od korekcije w ij (k 1). Kona ni izraz koji se koristi korekciju jo² skalira stopom u enja η pa imamo kona an izraz: w ij (k) = η E(w ij ) w ij (k) E(w ij ) w ij (k) E(w ij) w ij (k 1) w ij(k 1). Kod prethodno opisanih algoritama koji dinami ki aºuriraju stopu u enja (bilo globalno, bilo lokalno), moºe se pojaviti problem ilustriran na slici 8.2. Pretpostavimo da je po etna vrijednost teºine na lijevoj strani grafa. Kako je u tom dijelu funkcija pogre²ke vrlo malog nagiba, algoritmi koji dinami ki modiciraju stopu u enja na tom dijelu stopu e dosta pove ati; mežutim, koraci e ostati relativno mali jer je gradijent u tom podru ju vrlo malen (prisjetite se: promjena teºine proporcionalna je umno²ku negativnog gradijenta i stope u enja). Pretpostavite sada da je pretraga pomaknula teºinu na ulaz minimuma prikazanog u desnom dijelu slike. Sada imamo situaciju da je stopa u enja vrlo velika i gradijent je istovremeno postao vrlo velik (jer je oko prikazanog optimuma funkcija dosta strma): njihov umnoºak bit e stoga vrlo velik i algoritam koji napravi promjenu teºine s trenutne na sljede u uz takvu korekciju moºe izletiti daleko izvan podru ja ovog optimuma. Rje²enje ovog problema nude algoritmi koji samostalno upravljaju kompletnim iznosom korekcije: korekcija se vi²e ne e ra unati kao umnoºak ne- ega ²to algoritam drºi pod kontrolom i ne ega nad im algoritam nema kontrolu. Takav algoritam je Rprop koji je razvijen u nekoliko ina ica. Osnovna ina ica opisana je u nastavku.

178 166 POGLAVLJE 8. UNAPRIJEDNE NEURONSKE MREšE f(x) Slika 8.2: Jedan od problema adaptivnih pristupa. x Algoritam Rprop Algoritam Rprop (engl. Resiliant Backpropagation) [Riedmiller and Braun(1993)] pripada u porodicu lokalnih algoritama gdje svaka teºina ima svoju stopu u enja. Algoritam u potpunosti upravlja stopom u enja i parcijalne derivacije (odnosno gradijent) koristi samo za indikaciju ide li u dobrom smjeru ili ne gleda se samo predznak dok je iznos nebitan. Amplitudu korekcije teºine w ij ozna it emo s ij ; to je broj koji je nenegativan. Amplituda korekcije iz koraka u korak se korigira na sljede i na in: κ + ij (k 1), ij (k) = κ ij (k 1), ij (k 1), ako je E E w ij (k 1) w ij (k) > 0, ako je E E w ij (k 1) w ij (k) < 0, ina e. uz 0 < κ < 1 < κ +. Razmi²ljanje iza ovog pravila bi trebalo biti jasno: ako se preznak derivacije ne mijenja, amplitudu korekcije moºemo pove ati; ako se mijenja, amplitudu moramo smanjiti. Inicijalno, svi se ij postavljaju na vrijednost 0 (npr. 0.1). Uvodi se gornja ograda max koja ograni ava maksimalni iznos koji ij (k) moºe poprimiti (npr. max = 50) a mogu e je uvesti i donju ogradu min. Kao vrijednosti parametara mogu se koristiti primjerice κ = 0.5 i κ + = 1.2. Jednom kada je utvržena amplituda korekcije, odrežuje se i iznos korekcije prema pravilu: ij (k), ako je E w ij (k) > 0, w ij (k) = ij (k), ako je E w ij (k) < 0, 0, ina e. Ovo pravilo je direktna implementacija algoritma koji slu²a gradijent: ako

179 8.5. PREGLED ALGORITAMA UƒENJA 167 je u to ki gradijent pozitivan, varijablu treba umanjiti; ako je negativan, varijablu treba pove ati Algoritam Rprop + Algoritam Rprop + [Igel and Hüsken(2000)] dodatno je pobolj²anje algoritma Rprop. Razlika u odnosu na algoritam je Rprop je pona²anje u slu aju kada se detektira promjena predznaka derivacije. U tom slu aju algoritam Rprop + poni²tava prethodnu korekciju doti ne teºine na na in da postavlja w ij (k) = w ij (k 1) te zabranjuje promjenu ij u sljede em koraku algoritma. Ovo se programski moºe posti i tako da se za teºinu w ij postavi w ij (k) = w ij (k 1) i da se E w ij (k) postavi na nulu. Time e u sljede em koraku pravilo za aºuriranje ij (k) zavr²iti u ina e grani koja ne mijenja vrijednost. Isto se, naravno, moºe posti i uvoženjem po jedne zastavice za svaku teºinu i upravljanja njome Algoritam irprop + Kona no, posljednja modikacija algoritma Rprop + je algoritam irprop + [Igel and Hüsken(2000)] u nekim slu ajevima dodatno popravlja svojstva algoritma, a radi se o kombiniranju lokalne informacije s globalnom informacijom. Konkretno, algoritam Rprop + uvodi poni²tavanje prethodne korekcije teºine ako njezina parcijalna derivacija promijeni predznak, ne uzimaju i u obzir ²to se dogaža s globalnim iznosom funkcije pogre²ke. Algoritam irprop + zahtjeva da se uz iznos funkcije pogre²ke E(k) pamti i iznos funkcije pogre²ke u prethodnom koraku E(k 1) (²to je samo jedan broj vi²e koji treba zapamtiti). Potom se poni²tavanje prethodne korekcije (odnosno E postavljanje w ij (k) = w ij (k 1) i w ij (k) = 0) radi samo u slu aju da je do²lo do promjene predznaka derivacije i da je istovremeno do²lo i do pove anja funkcije pogre²ke, tj. da je E(k) > E(k 1); u suprotnom se korekcija ra una na uobi ajeni na in.

180

181 Poglavlje 9 Samoorganiziraju e neuronske mreºe Neuronske mreºe koje smo do sada obradili bile su prikladne za u enje s u iteljem: temeljem poznatog ulaza i ºeljenog izlaza korigirani su teºinski faktori kako bi stvarni izlaz mreºe bio bliºi ºeljenom izlazu. Samoorganiziraju e neuronske mreºe predstavnik su mreºa koje u e bez u itelja: takvim neuronskim mreºama daje se samo niz podataka; neuronska mreºa potom korigira teºinske faktore kako bi postigla neko ºeljeno pona²anje. Ovo je ilustrirano na slici 9.1. Za razliku od mreºa koje u e s u iteljem i koje obavljaju klasikaciju podataka ili regresiju funkcije, mreºe koje u e bez u itelja uobi- ajeno obavljaju zadatak grupiranja podataka te su u tom smislu jednake po funkciji kao razli iti algoritmi za grupiranje poput k-srednjih vrijednosti i sli nih. 9.1 Natjecanje Kod samoorganiziraju ih neuronskih mreºa centralni je pojam natjecanje. Kao ²to je poznato i iz biologije, priroda esto poseºe za ovim mehanizmom u svrhu optimizacije: prisjetimo se samo Darwinovih spoznaja o evoluciji Slika 9.1: Vrste u enja, primjeri mreºa i zadatci koje rje²avaju 169

182 170 POGLAVLJE 9. SAMOORGANIZIRAJU E NEURONSKE MREšE vrsta evoluciji koja je direktno potaknuta borbom za razmnoºavanje i pre- ºivljavanje u zadanom okoli²u. Mehanizam natjecanja vodi do optimizacije direktno na lokalnoj razini, bez ikakve potrebe za globalnom kontrolom. Stoga je primjena ovog mehanizma vrlo interesantna, posebice u raspodijeljenim sustavima. Kod samoorganiziraju ih neuronskih mreºa natjecanje e se odvijati direktno izmežu procesnih elemenata (odnosno, neurona). Mehanizam natjecanja se pri tome moºe ostvariti na dva na ina: 1. lateralnim vezama ili 2. formulacijom principa u enja. Kod neuronskih mreºa koje mehanizam natjecanja implementiraju lateralnim vezama, ideja je sljede a. Svaki procesni element direktno dobiva ulazni podatak. Izlaz neurona ra una se kao teºinska suma dovedenog ulaznog podatka i izlaza svih preostalih neurona pri emu su teºine na vezama prema preostalim neuronima (tzv. lateralne veze) negativne. Time e svaki od neurona to vi²e gu²iti izlaz drugih neurona ²to je njegov vlastiti izlaz ve i. Primjer ovakve arhitekture je mreºa Winner-takes-all koju emo obraditi u nastavku. Natjecanje formulacijom principa u enja uobi ajeno se pak izvodi na algoritamskoj razini i naj e² e podrazumijeva da u sustavu postoji globalni nadzornik koji promatra odziv mreºe za svaku ulaznu pobudu i denira koji se procesni elementi smiju prilagoditi i u kolikoj mjeri kako bi njihov odziv na trenutnu pobudu postao jo² ve i. Primjeri ovakvih mreºa bit e mreºe INSTAR te Kohonenov SOM koje emo takožer obraditi u nastavku Zahtjevi na samoorganiziraju e neuronske mreºe Da bismo neuronsku mreºu zvali samoorganiziraju om, uobi ajeno se o ekuje da takva mreºa zadovoljava sljede a etiri zahtjeva. 1. Teºinski faktori u procesnim elementima trebaju biti predstavnici grupa ulaznih podataka. Time se kod ovakvih sustava uobi ajeno odstupa od semantike teºine kao broja s kojim se ulaz mnoºi. Umjesto toga, procesni elementi e preko teºina pamtiti primjerke ulaznih podataka ili predstavnike grupa ulaznih podataka. Time automatski svaki neuron postaje, u odreženom smislu, predstavnik jednog od razreda ulaznih podataka. 2. Nema skrivenih neurona. Ulazni podatak dovodi se do svih neurona i svaki je neuron ujedno i izlazni. Vrijednost izlaza pri tome je, u odreženom smislu, mjera sli nosti izmežu uzorka dovedenog na ulaz mreºe i predstavnika razreda pohranjenog u teºinama neurona.

183 9.2. MREšA WINNER-TAKES-ALL Koristi se strategija u enja koja se temelji na mehanizmu natjecanja (engl. competitive learning strategy) koja odabire neuron s najve im izlazom. 4. Da bi itav algoritam funkcionirao, postoje metode poticanja najve eg izlaza, odnosno postupak prilagodbe teºina provodi se upravo na na in da neuron tim promjenama poku²ava do i do stanja u kojem mu vrijednost izlaza raste, kako bi, potencijalno, ²to e² e postajao pobjednik u natjecanju. Prilikom implementacije mehanizma natjecanja koriste se dva tipa natjecanja: vrsto natjecanje i meko natjecanje. ƒvrsto natjecanje (engl. hard competition) je vrsta natjecanja kod koje uvijek postoji samo jedan pobjednik i samo je njemu dopu²teno da u i, odnosno da prilagodi svoje teºinske faktore kako bi dodatno pove ao vrijednost svojeg izlaza. Meko natjecanje (engl. soft competition) je vrsta natjecanja kod koje uvijek postoji samo jedan pobjednik no u enje se dopu²ta njemu i u manjoj mjeri njegovoj bliskoj okolini. Na taj na in pobjednik i njegova okolina u razli im mjerama smiju prilagoditi svoje teºinske faktore kako bi im se dodatno pove ala vrijednost njihovog izlaza. Kako se to no denira okolina i na koji se na in denira mjera u kojoj se smije raditi prilagodba ovisit e o svakoj pojedinoj vrsti samoorganiziraju e neuronske mreºe koja koristi ovakav oblik natjecanja. 9.2 Mreºa Winner-Takes-All Prva od samoorganiziraju ih neuronskih mreºa koju emo obraditi je mreºa Winner-Takes-All koja je prikazana na slici 9.2. To je mreºa koja dobiva n- dimenzijski ulazni vektor podataka i ima upravo n neurona. Svaki neuron pri tome ima prema sebi samome povratnu vezu s pozitivnom teºinom (iznosa ne²to ve eg od +1, primjerice +1.05) te prema svim drugim neuronima ima veze ali s negativnim teºinama. Iznosi tih teºina uobi ajeno su mali negativni brojevi (u prikazanom primjeru oznaka ɛ, gdje je 0 < ɛ < 1 N ). Zada a koju obavlja ovakva mreºa jest pronalazak neurona na koji je doveden ulazni podatak s najve im iznosom. Primjerice, zamislimo da imamo mreºu koja radi s 4-dimenzijskim vektorima. Takva e mreºa za ulaz (0.1, 0.5, 0.3, 0.8) generirati izlaz (0.0, 0.0, 0.0, 1.0) dok e ulaz (0.1, 0.5, 0.3, 0.4) generirati izlaz (0.0, 1.0, 0.0, 0.0); dakle, samo e onaj neuron na koji je dovoden najve i podatak na svojem izlazu generirati vrijednost 1.0 dok e svi ostali neuroni na svojim izlazima generirati vrijednost 0.0. Ova mreºa to e posti i bez postojanja centralnog nadzornika. Evo kako.

184 172 POGLAVLJE 9. SAMOORGANIZIRAJU E NEURONSKE MREšE y 1 y 2 y n ε +1 ε ε ε x 1 x 2 x n Slika 9.2: Mreºa Winner-Takes-All Rad mreºe Izlaz i-tog neurona ra una se prema izrazu: y i 1.05 y i ɛ N j=1,j i y j uz ogradu 0 y i 1. Mežutim, mreºa Winner-Takes-All s obzirom na postojanje povratnih veza ispoljava vremenski-ovisan odziv, pa se odziv (odnosno izlazi) ra unaju po koracima sve do postizanja stabilnog stanja. U trenutku t = 0 izlazi svih neurona postavljaju se na vrijednost 0 i na ulaz mreºe se dovodi ulazni vektor. Svaki neuron po prvi puta ra una svoj izlaz koji e biti upravo jednak dovedenom podatku s obzirom da su dotada²nji izlazi svih neurona jednaki 0.0 pa nema gu²enja. Tako izra unate vrijednosti upisuju se na izlaze neurona i s ulaza se uklanja ulazni vektor podataka (tj. na sve se ulaze dalje postavlja vrijednost 0.0). U sljede em koraku, svaki od neurona opet ra una svoj izlaz. Pozitivni doprinos izra unatom iznosu pri tome dobiva samo od svojeg vlastitog izlaza uve anog za mali postotak dok izlazi svih ostalih neurona umanjuju izra unatu vrijednost jer se mnoºe negativnom teºinom ɛ. Nakon ²to su svi neuroni izra unali novu vrijednost, ta se vrijednost postavlja na izlaze neurona i postupak se ponavlja. Primjer odziva troulazne mreºe Winner-Takes-All uz ulaz (0.4, 0.8, 0.5), teºinu pozitivne povratne veze i vrijednost ɛ = 1 6 prikazan je na slici 9.3. U prvih nekoliko koraka jasno je vidljivo da svaki neuron svojim izlazom gu²i sve preostale neurone, pa izlazi svih neurona postaju sve manji i manji. Mežutim, jednom kada izlaz pojedinog neurona postane dovoljno malen, gu- ²enje postaje zanemarivo i pobjedni ki neuron vrlo brzo postiºe maksimalnu vrijednost izlaza.

185 9.3. MREšA INSTAR 173 a) izlaz y 1 b) izlaz y 2 c) izlaz y Slika 9.3: Odziv mreºe Winner-Takes-All uz zadanu pobudu (a) Po etna situacija (b) šeljeno krajnje stanje Slika 9.4: Zadatak kvantizacije vektora 9.3 Mreºa INSTAR Mreºa INSTAR primjer je mreºe kod koje se neuroni specijaliziraju kako bi postali predstavnici razreda ulaznih uzoraka. Primjer je prikazan na slici 9.4. Pretpostavka je da e podatci koji se dovode kao ulaz neuronske mreºe biti u prostoru grupirani u 3 grupe (razreda). U istom primjeru radi se s mreºom INSTAR koja ima tri neurona (svaki je prikazan crvenom bojom). U tom primjeru pretpostavka je da teºine neurona predstavljaju pozicije reprezentanata svakog od razreda, i te su pozicije inicijalno odabrane sasvim slu ajno (slika 9.4a). Kroz postupak u enja ove mreºe kona no e stanje odgovarati onome prikazanome na slici 9.4b gdje e svaki od tri neurona postati reprezentant jednog od razreda. Primjer op enite mreºe INSTAR prikazan je na slici 9.5. Prikazana mreºa radi s n-dimenzijskim uzorcima, odnosno ulaz je vektor X = (x 1, x 2,..., x n ). Mreºa na slici sastoji se od m neurona. Svaki neuron i ima n teºina kojima je povezan sa svakim od ulaza, i ra una net i na uobi ajen na in: W T i X. Izlaz neurona y i trebao bi odgovarati mjeri sli nosti izmežu pohranjenog teºinskog vektora W i i predo enog ulaznog vektora X. Prisjetimo se da je skalarni produkt dvaju vektora zapravo jednak umo²ku njihovih normi i

186 174 POGLAVLJE 9. SAMOORGANIZIRAJU E NEURONSKE MREšE n m m m Slika 9.5: Mreºa INSTAR ϕ x r w r i Slika 9.6: Mjera bliskosti temeljena na kutu izmežu vektora kosinusa kuta koji ti vektori zatvaraju: W i X = W i X cos(φ) gdje je φ kut koji ti vektori zatvaraju. Ako pretpostavimo da su vektori W i i X normirani, tada je njihov skalarni produkt upravo jednak kosinusu kuta. Kako je kosinus upravo funkcija koja za manje kuteve (sli nije vektore) daje ve u vrijednost, skalarni produkt normiranih vektora moºe se koristiti kao traºena mjera sli nosti (slika 9.6). Pretpostavimo sada da su ulazni podatci normirani. Postavljanjem podatka na ulaz mreºe, taj se podatak dovodi do svakog neurona, i svaki neuron ra una vrijednost skalarnog produkta. Ta e vrijednost, s obzirom na normiranost ulaza i teºina biti broj iz intervala [ 1, 1]. net svakog neurona potom se vodi na mreºu Winner-Takes-All koja generira kona ni izlaz. Mreºa Winner-Takes-All odabrat e kao pobjednika onaj neuron j koji je spojen na neuron koji je generirao najve i iznos skalarnog produkta. Nakon ²to je utvržen pobjednik, samo se njemu dopu²ta u enje: taj neuron obavlja aºuriranje teºinskog vektora u skladu s Kohonenovim pravilom u enja: W j W j + η( X W j )y j

187 9.3. MREšA INSTAR 175 x r r r x w i r r η x w ) ( i w r i Slika 9.7: Mehanizam u enja kod mreºe INSTAR pri emu je y j = 1 jer se radi o pobjedniku. Raspisano po komponentama, imamo: w ij (k + 1) w ij (k) + η(x i w ij )y j. Ideja u enja na ovakav na in prikazana je na slici 9.7: nakon u enja, dobiveni novi teºinski vektor sli niji je ulaznom uzorku (zatvara s njime manji kut) i time e ovaj neuron sljede i puta kada vidi taj uzorak na svojem izlazu dati jo² ve u vrijednost izlaza. Nakon aºuriranja teºinskog vektora, potrebno je jo² provesti njegovu normalizaciju. Umjesto uporabe skalarnog produkta, funkciju neurona u mreºi INSTAR moºemo redenirati tako da svaki neuron umjesto skalarnog produkta uzorka i teºinskog vektora ra una korijen skalarnog produkta izmežu razlike ovih dvaju vektora ime se na izlazu dobije euklidska udaljenost tih vektora: d( X, W i ) = ( X W i ) ( X W i ). U tom slu aju kao pobjednika treba izabrati neuron koji daje najmanji izlaz, i prilikom postupka u enja ulazni podatci kao niti teºinski vektori ne trebaju biti normalizirani. Upravo je ovakva mreºa pretpostavljena u po etnom primjeru prikazanom na slici Problemi pri u enju mreºe INSTAR Kako se po etne vrijednosti teºinskih faktora biraju slu ajno, mogu e je da taj odabir bude nepovoljan. Scenarij je prikazan na slici 9.8. Neuron ije su teºine takve da ga u primjeru na slici 9.8a smje²taju u 3. kvadrant niti za jedan ulazni uzorak ne e biti pobjednik natjecanja i nikada ne e aºurirati svoje teºine; takav se neuron nikada ne e pomaknuti sa svoje pozicije. Takvi neuroni su mrtvi neuroni. Postupak u enja u tom e slu aju uzrokovati da jedan neuron bude odrežen kao predstavnik vi²e od jednog razreda; situacija je prikazana na slici 9.8b.

188 176 POGLAVLJE 9. SAMOORGANIZIRAJU E NEURONSKE MREšE (a) Po etna situacija (b) Krajnje stanje Slika 9.8: Nepovoljan odabir po etnih teºina Kako bi se rije²io ovaj problem, postoji nekoliko rje²enja od kojih emo spomenuti dva. Najjednostavnije rje²enje jest dopustiti svakom od neurona da obavi aºuriranje teºinskih faktora. Pri tome se kod pobjednika (neuron j) korekcija mnoºi s faktorom η i obavlja prema uobi ajenom izrazu: W j W j + η( X W j )y j dok se kod svih ostalih neurona ( i j) korekcija obavlja koriste i faktor λ << η: W i W i + λ( X W i )y i. Ovakva modikacija uzrokovat e da i mrtvi neuroni malo po malo izažu iz podru ja u kojem nikada nisu pobjednici i po nu povremeno pobježivati ime e im se omogu iti specijalizacija za odrežen dio ulaznog prostora. Drugo predloºeno rje²enje zasniva se na uvoženju savjesti. Ideja je sljede a. Svaki neuron procjenjuje postotak slu ajeva u kojima je pobjednik. to je taj iznos ve i, kod neurona se javlja griºnja savjesti i zbog toga mu se udaljenosti do uzoraka koji se dovode na ulaz mreºe prividno pove avaju te ih on doºivljava ve ima no ²to stvarno jesu. S druge pak strane, neuroni koji malo pobježuju, ºele pobježivati vi²e pa im se udaljenosti do uzoraka koji se dovode na ulaz mreºe prividno smanjuju. Ovo e dovesti do toga da nakon odreženog vremena do tada mrtvi neuron po ne pobježivati jer e njegova prividno umanjena udaljenost do ulaznog uzorka postati manja od prividno uve anih udaljenosti do svih ostalih neurona, i takav e neuron po eti korigirati svoje teºinske faktore. Formalno, ovo moºemo opisati na sljede i na in. Neka je d( W i, X) udaljenost izmežu neurona i i ulaznog uzorka X. Ta se udaljenost mijenja prema izrazu: d( W i, X) d( W i, X) b i gdje je b i promjena duljine uslijed djelovanja savjesti za i-ti neuron. Iznos b i pri tome se ra una temeljem procjene (oznaka c i ) postotka slu ajeva u

189 9.4. MREšA OUTSTAR 177 kojima je i-ti neuron pobjednik. Naime, ako imamo N neurona, o ekivali bismo da u provednoj situaciji svaki neuron pobježuje u 1 N posto slu ajeva, odnosno da je c i = 1 N. Stoga se duljina uslijed savjesti ra una preko razlike o ekivanog postotka pobjeda i procjene postotka pobjeda prema izrazu: ( ) 1 b i = γ N c i gdje γ odrežuje maksimalni iznos promjene stvarne duljine uslijed savjesti pa time ovisi o skali prostora iz kojeg se podatci uzimaju. Primjerice, ako se uzorci po svim dimenzijama uzimaju iz raspona [-20,20], mogli bismo raditi s γ = 10 ili ak γ = 20. Nakon ²to za sve neurone izra unamo prividne udaljenosti, na uobi ajen se na in dalje bira pobjednik i radi korekcija. Nakon ²to je odabran pobjednik, jo² je potrebno korigirati aktualnu procjenu postotka pobjeda za svaki neuron. Izraz koji se koristi je: c i c i + β(y i c i ) gdje je β mala pozitivna konstanta (npr ). Uo imo: samo e neuron koji je pobjednik na svojem izlazu imati vrijednost y i = 1 ime e iznos y i c i biti pozitivan i procjena postotka pobjeda e se malo pove ati (to je razlog za razumno malu vrijednost za β). S druge pak strane, svi ostali neuroni koji nisu pobjednici imat e izlaz y i = 0 ime e iznos y i c i biti negativan i procjena postotka pobjeda e se malo smanjiti. 9.4 Mreºa OUTSTAR Mreºa OUTSTAR radi upravo suprotno od mreºe INSTAR. Dok je mreºa INSTAR na ulaz mogla dobiti proizvoljan podatak a na izlazu je generirala na samo jednom neuronu vrijednosti 1 (svi ostali izlazi su bili 0), mreºa OUTSTAR sluºi za repliciranje pohranjenih uzoraka: ulaz mora biti takav da ima na samo jednom mjestu vrijednost 1 a na izlaz se ne postavljaju ograni enja. Ideja mreºe je sljede a: mreºa s m neurona mo i e zapamtiti m proizvoljnih uzoraka (u odreženom smislu vrsta memorije) i jedinicom na ulazu nekog neurona odredit emo koji e se od m pohranjenih uzoraka pojaviti na izlazu mreºe. Postupak u enja ove mreºe je takav da teºinski faktori postaju sli ni zahtjevanim izlazima mreºe a ne ulaznim uzorcima. Primjer ovakve mreºe prikazan je na slici 9.9. Izlaz svakog neurona jednak je klasi nom skalarnom produktu ulaza i teºina neurona, odnosno moºemo pisati: y j = w 1j x 1 + w 2j x w nj x n. Mežutim, uzev²i u obzir da se na ulazu mreºe, dakle u (x 1,..., x n ) samo na jednom mjestu smije pojaviti vrijednost 1 (ozna imo poziciju tog ulaza s

190 178 POGLAVLJE 9. SAMOORGANIZIRAJU E NEURONSKE MREšE n m m m Slika 9.9: Mreºa OUTSTAR t) dok svi ostali moraju biti 0, izlaz j-tog neurona e biti jednak: y j = w tj x t = w tj. Uz jedinicu na uzlazu t izlaz mreºe tada e dakle bili jednak (w t1, w t2,..., w tm ). Ozna imo s (y 1, y 2,..., y m ) ºeljeni izlaz mreºe za taj slu aj. Sada je evidentno ²to bi pravilo u enja trebalo posti i: teºina w t1 bi trebala postati sli nija ºeljenom izlazu y 1, w t2 bi trebala postati sli nija ºeljenom izlazu y 2, itd. Pravilo u enja koje se primjenjuje je tzv. Grossbergovo u enje i ono radi upravo opisano: w ij w ij + η (y j w ij ) x i pri emu je j broj neurona, i indeks ulaza a η stopa u enja. Uo imo: za i t teºine se ne mijenjaju jer su pripadni x i jednaki 0. Za i = t slobodni indeks je samo j koji ide po svim neuronima, i u svakom se promijeni samo teºina kojom je neuron spojen s ulazom t i to tako da postane sli nija zadanom izlazu tog neurona uz tu pobudu. 9.5 Mreºa Counterpropagation Najjednostavnija ina ica mreºe Counterpropagation je direktni spoj mreºa INSTAR i OUTSTAR, kako je to prikazano na slici Ovakva mreºa moºe imati vrlo interesantnu primjenu. Prvi dio mreºe, odnosno mreºa INSTAR iz ²umovitih podataka prepoznaje o kojem se razredu radi i na izlazu daje jedinicu samo kod neurona koji je predstavnik tog razreda. Mreºa OUTSTAR temeljem koda koji dobije na ulazu, na izlazu rekonstruira idealnog predstavnika tog razreda i postavlja bilo koji ºeljeni podatak vezan uz taj razred.

191 9.6. MREšA SOM 179 I N S T A R m r e ž a O U T S T A R m r e ž a x 1 x 2 PE 1 net 1 PE 1 net 1 y 1 x n PE 2 net 2 Winner-take-all PE 2 net 2 y 2 PE m net m PE m net m y m Slika 9.10: Mreºa Counterpropagation 9.6 Mreºa SOM Samoorganiziraju e mape, odnosno punim nazivom Kohonenove samoorganiziraju e mape, jo² su jedan primjer samoorganiziraju ih neuronskih mreºa. Za razliku od prethodno spomenutih samoorganiziraju ih mreºa, rad Kohonenove samoorganiziraju e mape zasniva se na uporabi mekog natjecanja. Temeljna ideja mekog natjecanja je omogu iti u enje pobjedniku te u manjoj mjeri i njegovom bliskom susjedstvu. Ovo je temeljna razlika naspram vrstom natjecanju gdje u i samo i isklju ivo pobjednik. Kako bismo mogli provoditi meko natjecanje, najprije je potrebno denirati pojam susjedstva, odnosno topologiju mreºe. Naj e² e topologije koje se koriste su: jednodimenzijska, pri emu su neuroni mežusobno povezani u lanac pa svaki neuron osim krajnjih ima dva direktna susjeda (jednog lijevo i jednog desno) te dvodimenzijska re²etka, pri emu svaki neuron osim rubnih ima etiri direktna susjeda (jednog iznad, jednog ispod, jednog lijevo i jednog desno). Primjer dvodimenzijske re²etke prikazan je na slici 9.11 pri emu je mreºa dimenzija 4 4. Kohonenove samoorganiziraju e mape iskazuju sljede a svojstva: 1. o uvanje distribucije primjera za u enje pretpostavimo da primjeri za u enje dolaze iz dva razreda te da primjera koji pripadaju prvom razredu ima dvostruko vi²e; tada e i neurona koji predstavljaju reprezentante prvog razreda biti dvostruko vi²e u odnosu na broj neurona koji e postati reprezentanti drugog razreda te

192 180 POGLAVLJE 9. SAMOORGANIZIRAJU E NEURONSKE MREšE PE 1,1 PE 1,2 PE 1,3 PE 1,4 PE 2,1 PE 2,2 PE 2,3 PE 2,4 PE 3,1 PE 3,2 PE 3,3 PE 3,4 PE 4,1 PE 4,2 PE 4,3 PE 4,4 Slika 9.11: Mreºa SOM 2. topolo²ko preslikavanje neuroni koji su u samoorganiziraju oj mapi mežusobno blizu bit e predstavnici primjera koji su u ulaznom prostoru mežusobno blizu (obrnuto ne mora vrijediti; mogu e je da postoje primjeri koji su u ulaznom prostoru mežusobno blizu a da neuroni koji ih predstavljaju u mapi budu mežusobno daleko). Susjedstvo se kod samoorganiziraju e mape uobi ajeno denira funkcijom Λ i,j koja poprima vrijednost 1 ako su neuroni i i j "maksimalno" susjedni te pada prema nuli ²to su neuroni i i j u manjoj mjeri susjedi. Uobi ajeno je funkciju susjednosti temeljiti na udaljenosti d i,j neurona i i j u mapi kojoj pripadaju. Primjerice, ako su neuroni razmje²teni po dvodimenzijskoj re- ²etci, tada svakom neuronu k moºemo pridruºiti njegove (x k, y k ) koordinate u toj re²etci. Udaljenost izmežu dva neurona tada se naj e² e denira kao: Manhattan udaljenost, odnosno d i,j = x i x j + y i y j ili pak Euklidsku udaljenost, odnosno d i,j = (x i x j ) 2 + (y i y j ) 2 ²to je e² i slu aj. Naglasimo jo² jednom kako se udaljenost izmežu neurona za potrebe izra una funkcije d i,j ne promatra u ulaznom prostoru odnosno ne ra una kao udaljenost izmežu primjera koje ti neuroni predstavljaju udaljenost se ra una u prostoru same mape. Funkcija susjednosti uz ovako deniranu udaljenost uobi ajeno se ra una prema izrazu: Λ i,j (n) = e d 2 i,j 2σ 2 (n)

193 9.6. MREšA SOM 181 gdje je s n ozna ena iteracija odnosno korak algoritma. irina susjedstva odrežena je parametrom σ(n) koji je funkcija od n prilikom u enja samoorganiziraju e mape taj e se parametar mijenjati ovisno o iteraciji ime e se i vrijednost funkcije susjednosti mijenjati. Pravilo aºuriranja teºina koje se koristi kod samoorganiziraju e mape glasi: w i w i + η(n) Λ i,i (n) ( X w i ) gdje je w i vektor teºina i-tog neurona, η(n) iznos stope u enja u n-toj iteraciji, X ulazni primjer za u enje, i indeks neurona pobjednika (dakle neurona koji je najbliºi ulaznom uzorku za u enje) te Λ i,i (n) iznos vrijednosti funkcije susjednosti izmežu neurona i i pobjedni kog neurona i u n-toj iteraciji. Algoritam u enja Kohonenove samoorganiziraju e mape sastoji se od dvije faze. 1. faza odnosno inicijalna faza osigurava grubo pode²avanje samoorganiziraju e mape sluºi za stvaranje grubog razmje²taja neurona po prostoru primjera za u enje. U toj fazi kre e se od relativno velikog susjedstva (primjerice pola ²irine mape ili vi²e) te se susjedstvo postupno smanjuje prema malom susjedstvu od sveka nekoliko (ili ak jednog) neurona. Stopa u enja takožer treba krenuti s relativno velikim iznosom i potom se postupno smanjivati (primjerice od 0.5 do 0.01). Ako za ovu fazu predvidimo izvoženje N 0 iteracija, za podežavanje stope u enja moºe se koristiti izraz: ) n η(n) = η 0 (1 N 0 + K gdje je n iteracija, η 0 po etni iznos stope u enja, N 0 broj iteracija koje e se obaviti tijekom inicijalne faze te K konstanta koja omogu ava pode²avanje kona nog iznosa stope u enja kada n postane jednak N 0. Susjedstvo se takožer smanjuje u skladu s izrazom: ( σ(n) = σ 0 1 n ). N 0 2. faza odnosno faza nog pode²avanja koja se izvodi u N 1 koraka pri emu je N 1 >> N 0 (tipi no 10 do 100 puta ili ak i vi²e). Tijekom ove faze susjedstvo se drºi na vrlo malom (ili se ak ograni ava na samog pobjednika) a stopa u enja je mala i jo² se smanjuje.

194

195 Dio III Evolucijsko ra unanje 183

196

197 Poglavlje 10 Evolucijsko ra unanje to je to evolucijsko ra unanje? Na ovo naizgled jednostavno pitanje u dana²nje doba vi²e nije ba² jednostavno odgovoriti. Jedan kompromisni odgovor mogao bi glasiti ovako: evolucijsko ra unanje je podru je ra unarske znanosti koje razmatra algoritme koji simuliraju evolucijski razvoj vrsta, ºivot i pona²anje jedinke u dru²tvu ili pak simuliraju razli ite aspekte umjetnog ºivota. U pravilu, svi ovi algoritmi su populacijski algoritmi, iako se ponekad zna dogoditi i da populacija spadne na samo jednu jedinku. Takožer, najve i dio algoritama evolucijskog ra unanja nastao je modeliranjem procesa koji su opaºeni u prirodi, tj. imaju jaku biolo²ku motivaciju; dakako, niti ovo nije pravilo postoje algoritmi koji nemaju analogiju s procesima u prirodi. Zajedni ka obiljeºja ve ine algoritama ovog podru ja je prikladnost za rje²avanje optimizacijskih problema. Uporabom prikladnih algoritama evolucijskog ra unanja mogu e je napasti vrlo te²ke optimizacijske probleme koje je u praksi nemogu e rje²iti iscrpnom pretragom. Pri tome su razli iti algoritmi u razli itoj mjeri prikladni za pojedine vrste optimizacijskih problema: neki je mogu e direktno primjeniti samo na kombinatorne optimizacijske probleme, neke na probleme optimizacije nad kontinuiranim domenama a neke na obje vrste problema. Razvoj ovog podru ja zapo eo je ²ezdesetih godina pro²log stolje a. Podru je evolucijskog ra unanja kako ga znamo danas dijeli se u tri velike skupine, kako to prikazuje slika Podru ja su redom: evolucijski algoritmi, algoritmi rojeva te ostali algoritmi. U okviru ovog pregleda pobliºe emo opisati samo granu evolucijskih algoritama. Evolucijske strategije [Rechenberg(1971), Schwefel(1974)] dominantni operator za generiranje potomstva je operator mutacije. Najjednostavnija izvedba, tzv. (1+1)-ES uvijek radi samo s jednim roditeljem; njegovom mutacijom nastaje to no jedno dijete. Ako je dijete lo²ije od roditelja, odbacuje se a u suprotnom dijete postaje roditelj za sljede u generaciju (a stari roditelj se odbacuje). Kod druge varijante evolucijskih strategija, tzv. (1+λ)-ES, iz jednog se roditelja operatorom mutacije stvara λ djece koja se natje u s 185

198 186 POGLAVLJE 10. EVOLUCIJSKO RAƒUNANJE Slika 10.1: Pregled podru ja evolucijskog ra unanja roditeljem za preºivljavanje. Najbolja jedinka (bilo roditelj, bilo neko od stvorene djece) prenosi se u sljede u generaciju i postaje roditelj. Kod evolucijske strategije (1,λ)-ES iz jednog roditelja operatorom mutacije stvara se λ djece i najbolje dijete ( ak ako je i lo²ije od trenutnog roditelja) prenosi se u sljede u generaciju gdje postaje roditelj (stari se roditelj uvijek odbacuje). Osim navedenih, razvijen je jo² niz drugih podvrsta. Evolucijsko programiranje [Fogel et al.(1966)fogel, Owens, and Walsh] dominantni operator za generiranje potomstva je operator mutacije; izvorno se koristila reprezentacija rje²enja u obliku ksnog stabla za koje su se traºili samo optimalni parametri; u dana²nje doba stablo vi²e ne mora biti ksne strukture. Genetski algoritam [Holland(1975)] u odreženom je smislu poop enje evolucijskih strategija. Naime, iako postoji vi²e izvedbi genetskih algoritama, svima je zajedni ko da rade s populacijama roditelja, koriste razli ite operatore selekcije za odabir jedinki koje e generirati djecu te osim operatora mutacije koriste i operator kriºanja kojim se genetski materijal roditelja mežusobno kombinira kako bi nastalo djete koje dio genetskog materijala dobiva od svakog roditelja. Genetsko programiranje [Koza(1990),Koza(1992),Koza(1994),Koza et al.(1999)koza, Andre, Bennett, and Keane] vrlo je sli no genetskom algoritmu i predstavlja poop enje evolucijskog programiranja. Genetsko programiranje za prikaz rje²enja uobi ajeno koristi stabla koja predstavljaju matemati ke izraze (ako se evoluiraju funkcije) ili pak ra unalne programe. Genetsko programiranje pri tome koristi i operator mutacije i operator kriºanja. U e i sustavi klasikacije [Holland(1976)] predstavljaju kombinaciju genetskih algoritama i podrºanog u enja. Ideja je izgraditi sustav koji e za svaki ulaz odabrati tj. izvr²iti onu akciju za koju e primiti maksimalnu nagradu. Zbog toga su jedinke s kojima rade ovakvi algoritmi upravo pravila. Danas su se uvrijeºile dvije vrste ovih sustava: sustavi tipa Pittsburgh i sustavi tipa Michigan. Kod sustava tipa Pittsburgh, svaka je jedinka genetskog algoritma skup pravila; operator kriºanja tada kombinira dva skupa pravila

199 187 i stvara novi rezultantni skup pravila koji postaje novo dijete. Kod sustava tipa Michigan u populaciji postoji samo jedan skup pravila; zada a genetskog algoritma u takvom okruºenju je odabrati podskup pravila na na in da se dobije najbolja klasikacija. Zajedni ka svojstva algoritama zasnovanih na evolucijskom ra unanju navedena su u nastavku. Algoritmi su zasnovani na populaciji rje²enja. Uobi ajeno je da se algoritam inicijalizira tako da se slu ajno generira po etna populacija rje²enja. U po etnu populaciju se mogu usaditi i rje²enja dobivena nekim drugim algoritmom kako bi se ubrzala konvergencija algoritma. Tijekom evolucijskog procesa broj jedinki u populaciji (veli ina populacije) moºe se mijenjati, ali se naj e² e ne mijenja, odnosno veli ina populacije je konstantna. Jedinke su mežusobno usporedive prema dobroti. Jedinka predstavlja to ku u prostoru rje²enja, odnosno predstavlja mogu e rje²enje problema. Primjerice, traºimo li maksimum funkcije f (x), gdje je x [dg, gg] tada jedinku predstavlja bilo koji broj izmežu donje (dg) i gornje ranice (gg) i za svaka dva broja x 1, x 2 [dg, gg] se moºe odrediti je li f (x 1 ) manji, ve i ili jednak f (x 2 ). Treba napomenuti da ovo svojstvo imaju algoritmi evolucijskog ra unanja primijenjeni na probleme jednokriterijske optimizacije; kod vi²ekriterijskih optimizacijskih problema ovo svojstvo op enito ne vrijedi. Populacija jedinki se s vremenom mijenja, evoluira jer se provodi postupak selekcije jedinki. U procesu selekcije bolje jedinke imaju ve u vjerojatnost preºivljavanja od onih lo²ijih. Pogre²no bi bilo re i da se selkcijom eliminiraju lo²e jedinke! Svojstva jedinki se prenose s roditelja na djecu. U stvaranju nove jedinke (novog rje²enja) sudjeluju izabrane (u pravilu bolje) jedinke iz pro²le populacije. Re i emo da nad jedinkama djeluju operatori u stvaranju nove populacije. Prema tome, prostor rje²enja se usmjereno pretraºuje na temelju ve postignutih rje²enja kao primjerice u slu aju operatora kriºanja kod genetskih algoritama. Prostor rje²enja se pretraºuje osim usmjerenim pretraºivanjem i slu ajnim procesom. Evolucijski proces u velikoj mjeri stohasti ke prirode. Jedinke se slu ajno odabiru, samo neke s ve om, a neke s manjom vjerojatno² u. Tako i promjene koje unose operatori mogu biti slu ajne kao u slu aju mutacije kod genetskog algoritma. U ovom poglavlju nije namjera opisati i razraditi sve algorime zasnovane na evolucijskom ra unanju, ve je cilj dati upute kako pobolj²ati njihovo pona- ²anje. šelimo odabrati takav algoritam da on s odreženim parametrima uz

200 188 POGLAVLJE 10. EVOLUCIJSKO RAƒUNANJE prihvatljivo trajanje izvoženja postigne dovoljno dobro rje²enje. Postupak pode²avanja ili optimiranja algoritma zasnovanog na evolucijskom ra unanju bit e opisan na primjeru genetskog algoritma jer genetski algoritam, osim ²to je u povijesti bio prvi predstavljen, je najrasprostranjeniji, odnosno primjenjuje se na ²irokom spektru optimizacijskih problema Osvrt na genetske algoritme Genetski algoritam je heuristi ka metoda slu ajnog i usmjerenog pretraºivanja prostora rje²enja koja imitira prirodni evolucijski proces. Genetski algoritam, kao uostalom i svi algoritmi zasnovani na evolucijskom ra unanju, sluºi za rje²avanje teºih optimizacijskih problema, za koje ne postoji egzaktna matemati ka metoda rje²avanja ili su NP-te²ki pa se za ve i broj nepoznanica ne mogu rije²iti u zadanom vremenu. Posao koji obavlja genetski algoritam moºe se opisati jednom re enicom: nakon ²to se generira po etna populacija, genetski algoritam cikli ki obavlja selekciju boljih jedinki koje potom sudjeluju u reprodukciji, sve dok nije zadovoljen uvjet zavr²etka evolucijskog procesa (slika 10.2). Reprodukcija stvara nove jedinke uz pomo genetskih operatora kriºanja i mutacije. Kri- ºanje prenosi svojstva roditelja na djecu, a mutacija slu ajno mijenja svojstva jedinke. Genetski algoritam ne specicira kako se kriºanjem prenose svojstva roditelja na djecu, kako se slu ajno mijenjaju svojstva jedinki, kako se selektiraju bolje jedinke za reprodukciju, niti kako se generira po etna populacija. Upravo je ta sloboda u odabiru vrste kriºanja, mutacije, selekcije i inicijalizacije oteºavaju a okolnost u procesu izgradnje genetskog algoritma za rje²avanje speci nog optimizacijskog problema. Naime, pokazalo se da ne postoji takav skup genetskih operatora za koji bi GA, ako se primijeni za rje²avanje proizvoljnog skupa optimizacijskih problema, davao superiorne rezultate u odnosu na GA s nekim drugim operatorima [Fogel(1999),Macready and Wolpert(1996), Wolpert and Macready(1996), Wolpert(1996)]. 1 Genetski_ algoritam ( ) { 2 generiraj_pocetnu_populaciju ( ) ; 3 dok ( nije_zadovoljen_uvjet_zavrsetka_evolucijskog_procesa ){ 4 s e l e k t i r a j _ b o l j e _ j e d i n k e _ z a _ r e p r o d u k c i j u ( ) ; 5 reprodukcijom_ generiraj_ novu_ populaciju ( ) ; 6 } 7 } Slika 10.2: Genetski algoritam Genetski algoritam obavlja genetske operatore nad populacijom jedinki Ji J, gdje je J skup svih mogu ih rje²enja. Primjerice, za binarni prikaz, gdje se jedinke sastoje od b binarnih znamenaka, kardinalni broj skupa J je

201 10.1. OSVRT NA GENETSKE ALGORITME 189 broj svih mogu ih rje²enja i iznosi #J = 2 b. Jedinke se nazivaju jo² i potencijalna rje²enja, jer genetski algoritam manipuliraju i genetskim materijalom jedinki, postiºe rje²enje [Blickle and Thiele(1995)]. U ra unalnom ºargonu, jedinka je nekakva struktura podataka koja se sastoji od kromosoma i vrijednosti funkcije cilja. Jedinka ili kromosom se sastoji od gena koji opisuju svojstva jedinke. Populacija P = {J 1, J 2,..., J i,..., J N } J N se sastoji od N jedinki. Po etna populacija se naj e² e generira potpuno slu ajno, ali moºe biti i uniformna (sve jedinke su jednake) ili se moºe sastojati od usaženih rje- ²enja dobivenih nekim drugim optimizacijskim postupkom [Corcoran and Wainwright(1992)]. Po etna populacija P(0) se s vremenom (iz generaciju u generaciju) mijenja i u trenutku (generaciji) t ima oznaku P(t). Obi no je uvjet zavr²etka evolucijskog procesa unaprijed zadan broj iteracija I. Selekcijom se odabiru bolje jedinke za reprodukciju. Kvaliteta jedinki mjeri se s pomo u funkcije cilja f : J R. Neki postupci selekcije zahtijevaju da funkcija cilja ne moºe biti negativna, a niti je poºeljno da funkcija cilja poprima samo velike, pribliºno jednake vrijednosti. Stoga se obi no u svakom koraku obavlja translacija funkcije cilja, tj. u svakoj iteraciji oduzima se najmanja vrijednost funkcije cilja u cijeloj populaciji. Rezultat je funkcija dobrote f : J R + koja se ra una prema izrazu: d = f f min (t) (10.1) gdje je f min (t) najmanja vrijednost funkcije cilja u generaciji t. Jedinka J i je bolja od jedinke J k ako je d i > d k. Postupci skaliranja i translacije funkcije cilja navedeni su u [Golub(2004a)]. Genetski operatori: selekcija, kriºanje i mutacija u svakoj iteraciji modi- ciraju populaciju P. Stoga se moºe re i da GA pretraºuje prostor rje²enja mijenjaju i populaciju u svakoj iteraciji uz pomo nekakve sloºene funkcije g : J N J N. Mutacija i kriºanje pretraºuju prostor rje²enja, a selekcija koristi samo informaciju unutar populacije, odnosno ne traºi nova rje²enja, ve favorizira bolje jedinke. Prostor rje²enja J N naziva se jo² i prostorom pretraºivanja. Danas jo² nije poznat postupak uz pomo kojeg bi se za zadani problem automatski odredili genetski operatori i prikaz rje²enja. Postupak izgradnje genetskog algoritma temelji se na vlastitom i tužem iskustvu (obi no iz literature) te na temelju eksperimentiranja i pode²avanjprvom dijelu ovog radaa raznih kombinacija genetskih operatora (ve inom se to obavlja metodom poku²aja i pogre²aka). Postupak izgradnje genetskog algoritma moºe se u grubo razloºiti u sljede ih nekoliko koraka: stvarni problem postaviti kao optimizacijski problem (primjerice, problem rasporeda se svodi na minimizaciju broja pogre²aka u rasporedu);

202 190 POGLAVLJE 10. EVOLUCIJSKO RAƒUNANJE odrediti prikaz i funkciju dobrote; odrediti pojedine genetske operatore; eksperimentalno podesiti parametre na jednostavnijem problemu za koji je poznato rje²enje; eksperimentalno obaviti no pode²avanje parametara na stvarnom problemu; ukoliko postupak optimiranja stvarnog problema traje predugo, odabrati najpogodniji paralelni model GA i eksperimentalno podesiti dodatne parametre. Detaljniji pregled svih genetskih operatora nalazi se u [Golub(2004b), Golub(2004a), ƒupi (2012)] Primjer generacijskog genetskog algoritma U ovom poglavlju razradit emo konkretan primjer genetskog algoritma iji e zadatak biti prona i x R N koji maksimizira funkciju f( x) = N i=1 e (x i i)2 0.1, pri emu je oznaka x i kori²tena za i-tu komponentu vektora x. Lako je vidjeti da je za proizvoljan N 1 vektor x upravo jednak [ N] i da je tada f( x ) = N. Stoga emo tijekom rada genetskog algoritma uvijek znati koliko smo blizu (odnosno daleko) od optimalnog rje²enja. Prostor pretraºivanja bit e podskup R N takav da je vrijednost koju svaka pojedina na komponenta moºe poprimiti iz intervala [ 50, 50]. Eksperimente opisane u ovom poglavlju radit emo uz n = 4 pa je u tom slu aju x 4-dimenzijski vektor a funkcija postiºe maksimum u x = [ ] iznosa 4. Populacija genetskog algoritma sastojat e se od VelPop jedinki pri emu e svaka jedinka biti slijed of M tot bitova. U tom nizu prva etvrtina bitova kodirat e prvu komponentu rje²enja, druga etvrtina bitova drugu komponentu rje²enja i tako dalje. Ovo je prikazano na slici Za svakoj komponenti rje²enja pripada M bitova pa je ukupna duljina binarnog niza jednaka M tot = 4 M. Rje²enja optimizacijskog problema koji trenutno rje²avamo nisu binarni nizovi rje²enja su vektori realnih brojeva. Stoga trebamo denirati na in na koji emo svaki binarni uzorak preslikati u jedan vektor realnih brojeva: trebamo proceduru za dekodiranje rje²enja. Jedan od najjednostavnijih na ina dekodiranja jest uporabom prirodnog binarnog koda. Ako je jedna komponenta predstavljena kao binarni uzorak

203 10.2. PRIMJER GENERACIJSKOG GENETSKOG ALGORITMA } } M bitova 1. komponente M bitova 2. komponente } } M bitova 3. komponente M bitova 4. komponente Slika 10.3: Kromosom kao niz bitova od M bitova, taj binarni uzorak moºemo tretirati kao cijeli broj prikazan prirodnim binarnim kodom. U tom slu aju binarni uzorak predstavlja broj 0, binarni uzorak predstavlja broj 1, i tako redom sve do binarnog uzorka koji predstavlja broj 2 M 1. Ove cijele brojeve moºemo iskoristiti za linearnu interpolaciju raspona decimalnih brojeva koji pretraºujemo (odnosno za uniformno uzorkovanje tog intervala). Neka je zadan neki niz bitova i neka taj niz bitova, kada ga se promatra kao cijeli broj kodiran prirodnim binarnim kodom, odgovara cijelom broju m {0,..., 2 M 1}. Ako algoritam pretraºuje interval [x min, x max ], tada je decimalni broj koji odgovara danom binarnom nizu odnosno cijelom broju m dan izrazom: x = m 2 M 1 (x max x min ) + x min. (10.2) Ako je rje²enje vektor decimalnih brojeva, tada se izraz (10.2) primjenjuje na svaku pojedina nu komponentu odnosno podniz binarnog uzorka koji odgovara promatranoj komponenti rje²enja. Evo u nastavku primjera koji to ilustrira. Primjer: 29 Genetski algoritam za prikaz rje²enja koristi niz od M tot = 16 bitova pri emu se dekodiranje radi uporabom prirodnog binarnog koda. Problem koji se rje²ava je optimizacija nad 4-dimenzijskim podprostorom decimalnih brojeva koji je po dimenzijama ogražen na [ 50, 50]. Neka je jedan od kromosoma jednak O kojem se rje²enju radi? Rje²enje: Kako su rje²enja 4-dimenzijski vektori realnih brojeva, svakoj od 4 komponente pripada M = M tot = 16 = 4 bita. Stoga emo kromosom razdijeliti u 4 grupe, po ev od lijeve strane: 1101, , 1010 i Svaki od ova etiri binarna uzorka predstavlja jedan cijeli broj ako uzorke promatramo kao cijele brojeve zapisane prirodnim binarnim kodom. Ti brojevi su redom m 1 = = 13 10, m 2 = = 1 10, m 3 = = te m 4 = = Ako ozna imo rje²enje x = [x 1 x 2 x 3 x 4 ], svaki x i dobit emo iz m i uporabom izraza (10.2) pri emu je x min = 50 a x max = 50. Slijedi: x 1 = m 1 2 M 1 (xmax x min) + x min = = , 15 x 2 = m 2 2 M 1 (xmax x min) + x min = = , 15 x 3 = m 3 2 M 1 (xmax x min) + x min = = te 15 x 4 = m 4 2 M 1 (xmax x min) + x min = =

204 192 POGLAVLJE 10. EVOLUCIJSKO RAƒUNANJE Pripadno rje²enje tada je x = [ ]. Uo imo da algoritam koji koristi binarni kromosom iz prethodnog primjera ne moºe raditi ba² precizno pretraºivanje. Svakoj komponenti u tom primjeru pripada jedan binarni uzorak duljine 4 bita. Taj binarni uzorak moºe poprimiti samo 2 4 = 16 razli itih kombinacija ²to zna i da interval [ 50, 50] moºe uzorkovati u samo 16 to aka: dva uzorka su rubovi intervala i jo² se 14 uzoraka uzima uniformno iz unutra²njosti intervala. šelimo li nije pretraºivanje, potrebno je pove ati broj bitova koji se koristi za svaku komponentu rje²enja. Denirajmo stoga preciznost pretraºivanja kao udaljenost izmežu dva susjedna rje²enja promatrane komponente. Ta je udaljenost dana izrazom: = ( m M 1 (x max x min ) + x min ) ( ) m 2 M 1 (x max x min ) + x min (10.3) = x max x min 2 M. (10.4) 1 Ako je pretraºivanje potrebno obaviti uz zadanu preciznost, potreban broj bitova moºe se dobiti direktno iz izraza (10.4) i odrežen je izrazom: ( ) xmax x min M = ld + 1 (10.5) gdje je ld oznaka za dualni logaritam (tj. logaritam po bazi 2). Primjer: 30 Pretraºivanje opisano u prethodnom primjeru potrebno je obaviti uz preciznost bitova trebamo za svaku komponentu i kolika e biti ukupna veli ina kromosoma? Koliko Rje²enje: Koriste i izraz (10.5) ra unamo: ( ) ( ) xmax x min 100 M = ld + 1 = ld = ld ( ) Slijedi da je potrebno uzeti M = 20 bitova po komponenti odnosno ukupno M tot = 4 M = 80 bitova za 4-dimenzijski vektor realnih brojeva i traºenu preciznost. Ovime je deniran prostor pretraºivanja od 2 80 unutar kojeg je potrebno prona i onaj jedan binarni uzorak koji predstavlja optimalno rje²enje. Za implementaciju genetskog algoritma potrebni su nam jo² i operator kriºanja koji uzima dva rje²enja (roditelje) i temeljem njih generira novo rje²enje (dijete) koje sadrºi dio genetskog materijala svakog od roditelja te operator mutacije koji e na rje²enju napraviti nasumi nu promjenu. Za kriºanje emo koristiti operator uniformnog kriºanja koji binarni niz djeteta konstruira tako da svaki bit sa vjerojatno² u od 50% preuzme od prvog roditelja odnosno s vjerojatno² u od 50% od drugog roditelja. Implementacija ovog operatora prikazana je u nastavku.

205 10.2. PRIMJER GENERACIJSKOG GENETSKOG ALGORITMA 193 Ispis 10.1: Uniformno kriºanje. 1 public s t a t i c B i t v e c t o r S o l u t i o n uniformcrossover ( 2 B i t v e c t o r S o l u t i o n parent1, B i t v e c t o r S o l u t i o n parent2, 3 Random rand ) { 4 5 B i t v e c t o r S o l u t i o n c h i l d = parent1. newlikethis ( ) ; 6 for ( int i = 0 ; i < c h i l d. b i t s. length ; i++) { 7 i f ( parent1. b i t s [ i ]==parent2. b i t s [ i ] ) { 8 c h i l d. b i t s [ i ] = parent1. b i t s [ i ] ; 9 } e l s e { 10 c h i l d. b i t s [ i ] = rand. nextfloat ( ) < 0. 5? 11 parent1. b i t s [ i ] : parent2. b i t s [ i ] ; 12 } 13 } 14 return c h i l d ; } Operator mutacije izvest emo na sljede i na in. Kako koristimo niz bitova, operator mutacije invertirat e pojedine bitove. Neka je p m vjerojatnost promjene bita. Tada svaki od bitova binarnog uzorka invertiramo s tom vjerojatno² u. To pak zna i da je mogu e da mutacija ne promijeni ni²ta, promjeni nekoliko bitova ili ih promjeni sve; u prosjeku, ako mutaciju primjenjujemo nad binarnim uzorkom duljine M tot, bit e invertirano p m M tot. Izvedba ovakve mutacije dana je u nastavku. Ispis 10.2: Izvedba mutacije. 1 public s t a t i c void binarymutate ( 2 B i t v e c t o r S o l u t i o n s o l u t i o n, Random rand, double pm) { 3 4 f l o a t fpm = ( f l o a t )pm; 5 for ( int i = 0 ; i < s o l u t i o n. b i t s. length ; i++) { 6 i f ( rand. nextfloat ()<fpm ) { 7 s o l u t i o n. b i t s [ i ] = ( byte ) ( 1 s o l u t i o n. b i t s [ i ] ) ; 8 } 9 } } Jo² je potrebno objasniti kako emo birati roditelje koji sudjeluju u kri- ºanju. Koristit emo proporcionalnu selekciju koja roditelja bira slu ajno iz populacije ali na na in da je vjerojatnost odabira jedinke proporcionalna njezinoj dobroti. Ako s f i ozna imo dobrotu i-te jedinke, s p i vjerojatnost odabira i-te jedinke te s popsize broj jedinki u populaciji, tada treba vrijediti: p 1 = k f i... p popsize = k f popsize

206 194 POGLAVLJE 10. EVOLUCIJSKO RAƒUNANJE gdje je k normalizacijska konstanta. Istovremeno, kako se radi o vjerojatnostima, mora biti zadovoljeno: Slijedi: ²to daje: popsize i=1 popsize i=1 p i = 1. popsize (k f i ) = k k = i=1 1 popsize. i=1 f i Stoga je vjerojatnost odabira i-te jedinke jednaka: p i = f i popsize. i=1 f i f i = 1 Jednostavna i poprili no neekasna implementacija ovakve selekcije dana je u nastavku. Ispis 10.3: Proporcionalna selekcija. 1 public s t a t i c <T extends S i n g l e O b j e c t i v e S o l u t i o n > T [ ] 2 proportionalsimplechoose ( 3 T [ ] population, Random rand, int howmany) { 4 ( " unchecked " ) 6 T [ ] parents = (T [ ] ) Array. newinstance ( 7 population. g e t C l a s s ( ). getcomponenttype ( ), 8 howmany ) ; 9 10 // I z r a c u n a j sumu s v i h d o b r o t a : 11 double sum = 0 ; 12 for ( int i = 0 ; i < population. length ; i++) { 13 sum += population [ i ]. f i t n e s s ; 14 } // O n o l i k o p u t a k o l i k o biramo r o d i t e l j e p o n a v l j a j : 17 for ( int parentindex = 0 ; parentindex < howmany ; parentindex++) { 18 // G e n e r i r a j s l u c a j n i b r o j i z [ 0, sum ] : 19 double r = rand. nextdouble ( ) ; 20 double l i m i t = r sum ; 21 // Nadi j e d i n k u k o j u smo time p o g o d i l i : 22 int chosen = 0 ; 23 double upperlimit = population [ chosen ]. f i t n e s s ; 24 while ( l i m i t > upperlimit && chosen < population. length 1) { 25 chosen++; 26 upperlimit += population [ chosen ]. f i t n e s s ; 27 }

207 10.2. PRIMJER GENERACIJSKOG GENETSKOG ALGORITMA parents [ parentindex ] = population [ chosen ] ; 29 } 30 return parents ; } Prkazani kod kao argument dobiva populaciju iz koje se biraju roditelji te broj roditelja koje treba odabrati. Cjeloviti generacijski genetski algoritam napisan uporabom opisanih metoda (koje su izdvojene u novi razred) prikazan je u nastavku. Ispis 10.4: Generacijski genetski algoritam. 1 private s t a t i c double [ ] galoop ( IFunction f, 2 BitvectorDecoder decoder, int popsize, double pm, 3 Random rand, int generationlimit ) { 4 5 B i t v e c t o r S o l u t i o n [ ] population = 6 EvoUtil. i n i t i a l i z e P o p u l a t i o n ( popsize, rand, decoder ) ; 7 8 for ( int i = 0 ; i < population. length ; i++) { 9 population [ i ]. f i t n e s s = f. valueat ( 10 decoder. decode ( population [ i ] ) 11 ) ; 12 } // P o n a v l j a j z a d a n i b r o j g e n e r a c i j a : 15 for ( int g e n e r a t i o n = 1 ; g e n e r a t i o n <= generationlimit ; 16 g e n e r a t i o n++) { // P o l j e n o v i h r j e s e n j a : 19 B i t v e c t o r S o l u t i o n [ ] nextpopulation = 20 new B i t v e c t o r S o l u t i o n [ popsize ] ; // U novu p o p u l a c i j u p r e n e s i t r e n u t n o 23 // n a j b o l j e r j e s e n j e ( e l i t i z a m ) : 24 B i t v e c t o r S o l u t i o n best = EvoUtil. f i n d B e s t ( population ) ; 25 nextpopulation [ 0 ] = best ; // P r e o s t a l i h p o p S i z e 1 r j e s e n j a g e n e r i r a j o p e r a t o r i m a 28 for ( int i = 1 ; i < po psi ze ; i ++) { 29 B i t v e c t o r S o l u t i o n [ ] parents = 30 EvoUtil. proportionalsimplechoose ( population, rand, 2 ) ; 31 B i t v e c t o r S o l u t i o n c h i l d = 32 EvoUtil. uniformcrossover ( parents [ 0 ], parents [ 1 ], rand ) ; 33 EvoUtil. binarymutate ( child, rand, pm) ; 34 c h i l d. f i t n e s s = f. valueat ( decoder. decode ( c h i l d ) ) ; 35 nextpopulation [ i ] = c h i l d ; 36 } // U c i n i novu p o p u l a c i j u trenutnom 39 population = nextpopulation ; 40 } 41

208 196 POGLAVLJE 10. EVOLUCIJSKO RAƒUNANJE 42 return decoder. decode ( EvoUtil. f i n d B e s t ( population ) ) ; 43 } Algoritam kao parametar o ekuje referencu na objekt koji radi dekodiranje rje²enja, pa je u tom smislu neovisan o to nom na inu dekodiranja koje se ºeli koristiti. U prvom skupu eksperimenata koji e ovdje biti prikazanim kao dekoder emo koristiti objekt koji radi dekodiranje kod kojeg se niz bitova tuma i kao cijeli broj zapisan u prirodnom binarnom kodu. Njegova metoda decode prima binarni uzorak a vra a polje decimalnih brojeva (tj. vektor koji predstavlja rje²enje). Funkcija koja se optimira modelirana je su eljem IFunction koje denira metodu double valueat(double[] x); koja prima vektor x i vra a vrijednost funkcije u toj to ki. Tipi an tijek optimizacije prikazan je na slici Graf prikazuje funkciju dobrote najboljeg rje²enja kroz generacije, pri emu je dobrota poistovje ena s iznosom funkcije koju se optimira, budu i da je njezin minimum 0 i da radimo maksimizaciju. Rezultati prikazani na grafu dobiveni su uz sljede e parametre: veli ina populacije iznosi 50, vjerojatnost mutacije bita iznosi 0.05, broj generacija je 1000, broj bitova po komponenti je 20 ime se prostor uz raspon od [ 50 50] pretraºuje s precizno² u od Svaki kromosom sastavljen je od 80 bitova. Dobrota Generacija Slika 10.4: Kretanje dobrote najboljeg rje²enja kroz generacije Kako je po etna generacija sastavljena od 50 nasumi no generiranih binarnih nizova, njezina dobrota je bila oko Potom, iz generacije u generaciju, dobrota najboljeg rje²enja se malo po malo popravlja. Pri tome nije netipi no vidjeti da se u vi²e uzastopnih generacija dobrota ne mijenja da bi

209 10.2. PRIMJER GENERACIJSKOG GENETSKOG ALGORITMA 197 se potom skokovito promijenila, potom kroz nekoliko generacija popravljala i potom opet jedno vrijeme stagnirala. Pogledate li malo bolje na kojim to dobrotama dolazi do stagnacije, uo it ete da su to upravo situacije u kojima je algoritam prona²ao jednu ispravnu komponenta rje²enja, potom jo² jednu ispravnu komponentu rje²enja i tako sve do optimalnog rje²enja u kojem su pronažene sve etiri komponente. Pokrenemo li vi²e puta genetski algoritam, ne emo svaki puta dobiti kretanje dobrote koje je identi no onome prikazanome na slici Razlog tome leºi u stohasti koj naravi genetskog algoritma. Stoga je prirodno zapitati se kako izgleda distribucija najboljih rje²enja koja se dobivaju ako se algoritam pokre e vi²e puta? Na pitanje emo odgovoriti eksperimentom. Genetski algoritam pokrenut emo 200 puta uz sljede e parametre: veli ina populacije iznosi 20, vjerojatnost mutacije bita iznosi 0.05, broj generacija je Najbolje rje²enje dobiveno nakon svakog pokretanja emo pohraniti, ime emo zavr²iti s 200 rje²enja. Njihova distribucija prikazana je na slici Postotak Dobrota Slika 10.5: Distribucija najboljih rje²enja Prikazani histogram dobiven je podjelom 200 najboljih rje²enja u grupe prema dobroti (prvu grupu ine rje²enja dobrote od 2 do 2.125, drugu grupu ine rje²enja dobrote od do 2.25 i tako dalje sve do zadnje grupe koju ine rje²enja dobrote od do 4). Potom je izra unato koliko posto rje- ²enja se nalazi u kojoj grupi i to je prikazano na grakonu. Kako moºemo vidjeti, razdioba rje²enja nije normalna niti simetri na. U preko 50% pokretanja dobiveno je rje²enje koje se nalazi u grupi U ne²to vi²e

210 198 POGLAVLJE 10. EVOLUCIJSKO RAƒUNANJE od 25% slu ajeva rje²enja su u prvoj lo²ijoj grupi. Takve grupe nema s desne strane najbolje grupe ²to je i jasno: nemogu e je da postoje bolja rje²enja od optimalnih. Ovo je pak vaºan detalj jer kada krenemo govoriti o prosje nom pona²anju optimizacijskog algoritma, vaºno je razumjeti koji se statisti ki pokazatelj koristi i za²to. Primjerice, nakon napravljenih 200 pokretanja algoritma mogli bismo izra unati prosje nu dobrotu rje²enja i istaknuti prosjek. Ovo mežutim ne e biti dobar pokazatelj: distribucija rje- ²enja nije normalna, nije simetri na i ima (ponekad i duga ak) rep prema lijevoj strani. Taj e rep prosjek povu i u lijevu stranu i stoga e biti manji no ²to bismo htjeli. Bolji statisti ki pokazatelj u ovom je slu aju medijan: medijan niza brojeva je onaj broj od kojeg u nizu ima jednak broj manjih i ve ih brojeva. Ili druga ije, ako 200 dobivenih dobrota sortiramo i potom uzmemo onu koja se nalazi to no na polovici sortiranog niza, to je medijan. U slu aju optimizacijskih algoritama, medijan je puno realnija mjera: to je broj koji nam kaºe da emo u pola slu ajeva dobiti rje²enje barem takve dobrote a mogu e i bolje. Pogledajmo sada nekoliko tipi nih eksperimenata: ima li veli ina populacije, vjerojatnost mutacije ili pak broj generacija utjecaja na najbolje pronaženo rje²enje? Ima li na in prikaza rje²enja utjecaja na najbolje pronaženo rje²enje? Da bismo odgovorili na ova pitanja, napravljene su jo² dvije ina ice opisanog genetskog algoritma: prva ina ica umjesto dekodiranja prirodnim binarnim kodom pretpostavlja da su cijeli brojevi u binarne uzorke kodirani Grayevim kodom pa tako radi i dekodiranje. Druga ina ica u cijelosti mijenja prikaz rje²enja: umjesto da radi s nizom bitova, rje²enje predstavlja direktno kao polje od 4 decimalna broja koje izravno predstavlja vektor x. U tom slu aju mutacija je izvedena tako da u 50% slu ajeva odabere jednu komponentu rje²enja i doda joj slu ajno generirani broj izvu en iz normalne distribucije b N (0, 1) pa potom skaliran s 2 a u 50% slu ajeva odabere jednu komponentu i potpuno je slu ajno generira prema uniformnoj distribuciji U( 50, 50). U ovoj implementaciji mutacija nikada ne mijenja vi²e od jedne komponente rje²enja. Kriºanje je izvedeno tako da u 50% slu- ajeva emulira uniformno kriºanje (dijete svaku od 4 komponente rje²enja slu ajno bira ili iz jednog roditelja ili iz drugog) a u 50% slu ajeva svaku od komponenti rje²enje djeteta postavi na aritmeti ku sredinu odgovaraju ih komponenti roditelja. Prva serija eksperimenata ima zada u istraºiti ²to se dogaža s najboljim rje²enjima kako variramo veli inu populacije. Eksperiment je proveden na sljede i na in. Vjerojatnost mutacije bita postavljena je na 0.05, broj generacija je 1000, broj bitova po komponenti je 20 ime se prostor uz raspon od [ 50 50] pretraºuje s precizno² u od Svaki kromosom sastavljen je od 80 bitova. Veli ine populacije varirane su od 5 do 100 i za svaku ksiranu veli inu populacije genetski je algoritam pokrenut 200 puta. Slika 10.6 kao statisti ki pokazatelj koristi medijan. Za svaku ksiranu

211 10.2. PRIMJER GENERACIJSKOG GENETSKOG ALGORITMA 199 Dobrota Veličina populacije Slika 10.6: Ovisnost medijana najboljeg rje²enja o veli ini populacije. Gornji dio prikazuje statistiku najboljih rje²enja a donji dio statistiku prosje nih rje- ²enja. Crveno: prirodni binarni kod, zeleno: Grayev kod, plavo: decimalna reprezentacija. veli inu populacije genetski algoritam je pokrenut 200 puta i za svako pokretanje je pohranjena dobrota najboljeg rje²enja te prosje na dobrota kona ne populacije. Potom su izra unati medijan dobrota najboljih rje²enja te medijan prosje nih dobrota populacije. To je zatim ponovljeno za niz drugih veli ina populacija i naravno za tri vrste prikaza. to moºemo zaklju iti sa slike? Na ovom konkretnom primjeru ak i s vrlo malim populacijama (najmanja isprobana populacija bila je veli ine 5 jedinki) genetski algoritam uspjeva u 1000 generacija u barem pola pokretanja prona i optimalno rje²enje (medijan je 4 neovisno o veli ini populacije). Ina ica koja direktno radi s decimalnim brojevima s manjim populacijama ne uspjeva nedijan natjerati na 4; mežutim, s porastom veli ine populacije medijan brzo deseºe vrijednost 4. Zanimljivo je pogledati donji dio grafa koji prikazuje medijan dobrota prosje nih rje²enja 1000-te (tj. zadnje) populacije. Kada su populacije vrlo male, u 1000 generacija i prosje na dobrota populacije postaje relativno visoka. Naime, im se pronaže bolje rje²enje, kako je populacija mala, velika je vjerojatnost da e to rje²enje imati direktan utjecaj i na preostale jedinke i da e se populacija brzo prilagoditi. Kako veli ina populacije raste, promjene u populaciji postaju sve sporije i utjecaj najboljeg rje²enja pada; to za posljedicu ima da proje na dobrota populacije sporije raste pa uz ograni en broj generacija medijan prikazan na slici pada.

212 200 POGLAVLJE 10. EVOLUCIJSKO RAƒUNANJE Dobrota Veličina populacije Slika 10.7: Ovisnost prosjeka najboljih rje²enja o veli ini populacije. Gornji dio prikazuje statistiku najboljih rje²enja a donji dio statistiku prosje nih rje- ²enja. Crveno: prirodni binarni kod, zeleno: Grayev kod, plavo: decimalna reprezentacija. Iz prethodne analize itatelj bi mogao zaklju iti da je odli no mjesto upravo po etak grafa: tamo gdje su veli ine populacije najmanje prosje na veli ina populacije je najve a. To je, mežutim, vrlo opasno mjesto mjesto gdje populacija lagano zaglavi u lokalnom optimumu iz kojeg se te²ko moºe izvu i. Ovo je najbolje vidljivo na slu aju algoritma koji koristi polje decimalnih brojeva: uz veli inu populacije od 5 jedinki, medijan najboljih rje- ²enja je 3. To zna i da je algoritam uspio prona i optimalne vrijednosti za 3 od 4 komponente, ali u populaciji nije bilo dovoljno genetske raznolikosti da bi se operatorima kriºanja omogu ilo da "napipaju" optimalnu vrijednost i preostale etvrte komponente. S pove anjem veli ine populacije medijan prosje nih dobrota populacije pada ali raste genetska raznolikost: ve uz populaciju od 30 jedinki algoritam uspjeva konstruirati optimalne vrijednosti za sve etiri komponente i medijan se penje na 4. Kako bismo jo² jednom istaknuli razliku izmežu medijana i prosje ne vrijednosti, rezultati istog eksperimenta obraženi su koriste i prosjek a ne medijan kao statisti ki pokazatelj. Rezultat ove analize dan je na slici Pogledajte prosje ne vrijednosti dobrota najboljih rje²enja i usporedite ih s medijanima dobrota najboljih rje²enja prikazanih na slici Za veli inu populacije od 5 jedinki prosje na dobrota najboljih rje²enja je u svim slu ajevima manja o 4; to se moºe zahvaliti velikom broju slu ajeva u kojima je

213 10.2. PRIMJER GENERACIJSKOG GENETSKOG ALGORITMA 201 algoritam zaglavio na nekom od nepovoljnijih lokalnih optimuma pa je taj rep prosjek povukao prema niºim vrijednostima. Sljede e ²to emo istraºiti jest utjecaj vjerojatnosti mutacije bita na medijan najboljih rje²enja; eksperimente emo stoga napraviti za ina ice koje koriste prirodni binarni kod i Grayev kod. Svi ostali parametri bit e ksirani (veli ina populacije 30, 1000 generacija). Dobrota Vjerojatnost mutacije bita Slika 10.8: Ovisnost medijana najboljih rje²enja o vjerojatnosti mutacije bita kod ina ice koja koristi prirodni binarni kod. Gornji dio prikazuje statistiku najboljih rje²enja a donji dio statistiku prosje nih rje²enja. Slika 10.8 prikazuje kretanje medijana kod ina ice koja koristi prirodni binarni kod dok slika 10.9 prikazuje kretanje medijana kod ina ice koja koristi Grayev kod. Moºemo uo iti da razlike postoje ali i pravilnosti. Uz premalu vjerojatnost mutacije bita dominantni mehanizam koji koristi genetski algoritam je kriºanje. Operator kriºanja je operator koji agregira populaciju fokusira je na jedno podru je i radi pretraºivanje bliske okolice tog podru ja. Samo pod djelovanjem operatora kriºanja populacija e brzo izgubiti genetsku raznolikost i postupak pretraºivanja e zaglaviti. To se na slici jasno vidi za vrlo male vjerojatnosti. Potom, kako vjerojatnost mutacije bita raste, dolazimo u podru je u kojem je uspostavljen balans izmežu sila uslijed kojih dolazi do saºimanja populacije te sila koje uzrokuju ²irenje prostora pretraºivanja (za ovo posljednje u na²em je slu aju zasluºan upravo operator mutacije). To je podru je u kojem operator mutacije maksimalno doprinosi pronalasku dobrog rje²enja. Daljnjim porastom vjerojatnosti mutacije bita efekti mutacije postaju

214 202 POGLAVLJE 10. EVOLUCIJSKO RAƒUNANJE Dobrota Vjerojatnost mutacije bita Slika 10.9: Ovisnost medijana najboljih rje²enja o vjerojatnosti mutacije bita. Kod ina ice koja koristi Grayev kod. Gornji dio prikazuje statistiku najboljih rje²enja a donji dio statistiku prosje nih rje²enja. prejaki i kvaliteta rje²enja polagano degradira. Uz velik iznos vjerojatnosti mutacije bita svi ostali mehanizmi pretraºivanja koje koristi genetski algoritam bivaju potisnuti prevelikom koli inom nasumi nih promjena koje radi mutacija; u krajnosti postupak pretraºivanja svodi na nasumi no generiranje novih binarnih nizova i njihovo vrednovanje, ²to nije ekasan na in pretra- ºivanja. Kona no, moºemo pogledati i kakav je utjecaj broja generacija koje smo spremni ekati i medijana dobrote najboljih rje²enja koji moºemo o ekivati. Eksperimenti su raženi uz veli inu populacije od 30 jedinki i vjerojatnost mutacije bita od Rezultati eksperiment dani su na slici i to za sve tri ina ice algoritma. O ekivano, ²to se vi²e generacija dopusti, algoritam se vi²e pribliºava podru ju u kojem medijan postaje jednak 4. Prethodni eksperimenti trebali su posluºiti tome da dobijete predodºbu kako genetski algoritam "di²e". S obzirom da smo ustanovili da razli ite vrijednosti parametara itekako imaju utjecaj na rezultate koje algoritam daje, pitanje je: kako do i do optimalnih parametara? Pri tome treba uo iti da smo sve eksperimente radili tako da smo ksirali sve parametre osim onog jednog koji smo istraºivali. Naºalost, promjena bilo kojeg od parametara automatski mijenja i dobivene krivulje tako da ovaj odabir nije jednostavan, i o njemu e vi²e rije i biti u sljede em poglavlju.

215 10.2. PRIMJER GENERACIJSKOG GENETSKOG ALGORITMA 203 Dobrota Broj generacija Slika 10.10: Ovisnost medijana najboljih rje²enja o broju generacija. Gornji dio prikazuje statistiku najboljih rje²enja a donji dio statistiku prosje nih rje- ²enja. Crveno: prirodni binarni kod, zeleno: Grayev kod, plavo: decimalna reprezentacija.

216

217 Poglavlje 11 Na ini pobolj²anja djelotvornosti genetskih algoritama 11.1 Uvod Genetski algoritam je recept koji kazuje ²to treba raditi s genetskim materijalom kako bi se s odreženom vjerojatno² u nakon odreženog vremena postiglo zadovoljavaju e rje²enje zadanog optimizacijskog problema. Genetski materijal je skup svojstava koji opisuju neku jedinku. Genetski algoritam ne odrežuje na koji na in je genetski materijal pohranjen u radni spremnik, niti kako treba manipulirati genetskim materijalom, ve samo kaºe da se genetski materijal treba razmjenjivati, slu ajno mijenjati, a bolje jedinke trebaju s ve om vjerojatno² u preºivljavati selekciju. Kako e se bolje jedinke selektirati za reprodukciju, te kako e se i s kolikim vjerojatnostima obaviti kriºanje i mutacija, odrežuje se na temelju iskustva i eksperimentalno, tj. heuristi ki. Stoga postoji velika sloboda u izradi genetskih algoritama. Cijena te slobode su lo²i ili nikakvi rezultati koji se naj e² e dobivaju s genetskim algoritmom koji nema pode²ene parametre ili nema genetske operatore prilagožene problemu. U ovom poglavlju bavit emo se upravo optimiranjem samog genetskog algoritma. Genetski algoritam je vremenski zahtjevan i tro²i najvi²e procesorskog vremena od bilo koje druge metode optimiranja. Cilj pode²avanja, odnosno optimizacije genetskog algoritma je prona i genetski algoritam koji u ²to je mogu e kra em roku pronalazi zadovoljavaju a rje²enja. Jedan od mogu nosti na ina ubrzanja genetskog algortma je, naravno, njegova paralelizacija. Mi se u ovom poglavlju ne emo baviti paralelizacijom genetskog algoritma, ve emo se baviti pobolj²avanju djelotvornosti sekvencijskog genetskog algoritma. tovi²e, kada podesimo sekvencijski genetski algoritam, njega je mogu e paralelizirati i time posti i jo² bolje rezultate. 205

218 206 POGLAVLJE 11. POBOLJ ANJE DJELOTVORNOSTI GA CILJEVI NAƒINI Pove anje vjerojatnosti postizanja dobrih rje²enja Pove anje kvalitete dobivenih rje- Pode²avanje parametara ²enja Skra enje trajanja izvoženja programa: - pove anje brzine konvergencije i smanjenje broj iteracija - skra enje trajanje izvoženja Optimiranje izvornog teksta programa jedne iteracije - paralelizacija Paralelno izvoženje genetskih operacija Tablica 11.1: Ciljevi i na ini pobolj²anja djelotvornosti genetskih algoritama Pode²avanjem (optimiranjem) parametara genetskog algoritma mogu se posti i zadovoljavaju i rezultati. Mežutim, sâm postupak pode²avanja je dugotrajan proces. Primjerice, u postupku pode²avanja samo tri parametra genetskog algoritma opisanog u ovom poglavlju trebalo je nekoliko tisu a puta pokrenuti genetski algoritam. Cijeli postupak trajao je oko 100 sati na dana²njim PC ra unalima, unato tome ²to je jedan evolucijski proces trajao svega nekoliko minuta. Drugim rije ima, postupak pode²avanja parametara je vremenski vrlo zahtjevan. Sre om, postoje i neke pravilnosti u pona²anju genetskog algoritma koje se mogu iskoristiti za skra ivnje pretrage za optimalnim parametrima algoritma. Djelotvornost genetskog algoritma se moºe pobolj²ati na tri na ina: pove anjem vjerojatnosti postizanja dobrih rje²enja, pove anjem kvalitete dobivenih rje²enja i skra enjem trajanja izvoženja. Trajanje izvoženja se moºe skratiti takožer na tri na ina: pove anjem brzine konvergencije ime se smanjuje broj iteracija, smanjenjem trajanja izvoženja jedne iteracije i paralelnim izvoženjem cijelog genetskog algoritma ili samo pojedinih genetskih operatora. Navedeni ciljevi mogu se ostvariti pode²avanjem parametara, optimiranjem izvornog teksta programa i paralelizacijom genetskog algoritma (tablica 11.1). Pove anje vjerojatnosti postizanja dobrih rje²enja, pove anje kvalitete rje²enja i smanjenje broja iteracija moºe se posti i pode²avanjem parametara genetskog algoritma. Pode²avanje parametara je dugotrajan posao, jer se obavlja isklju ivo eksperimentalno. Mnogi autori se bave tom problematikom, pa se u literaturi mogu prona i neki skupovi parametara, koji su pode²eni za odreženi genetski algoritam primijenjen za rje²avanje odreženog optimizacijskog problema. Ta tuža iskustva mogu posluºiti kao dobre smjernice ili po etne vrijednosti prilikom eksperimentalnog pode²avanja pa-

219 11.2. ODABIR PRIKLADNOG PRIKAZA RJE ENJA 207 rametara za speci an genetski algoritam i speci an optimizacijski problem. S obzirom da je proces pode²avanja parametara dugotrajan, prilikom izgradnje genetskog algoritma treba voditi ra una da broj parametara bude ²to je mogu e manji. Trajanje izvoženja jedne iteracije moºe se skratiti optimiranjem izvornog koda. Time su iscrpljene sve mogu nosti skra enja trajanja izvoženja sekvencijskog GA, odnosno genetskog algoritma koji se izvodi na jednoprocesorskom ra unalu. Paraleliziranjem algoritma dodatno se skra uje trajanje izvoženja. Paralelizirati se mogu svi ili samo neki genetski operatori. Ako se ve ne obavljaju svi genetski operatori paralelno, poºeljno je da se paralelno obavljaju oni operatori, koji tro²e najvi²e procesorskog vremena Odabir prikladnog prikaza rje²enja Za genetski algoritam jedinke su potencijalna rje²enja, a okolinu predstavlja funkcija cilja. šeli li se implementirati genetski algoritam kao metoda optimiranja, potrebno je denirati proces dekodiranja i preslikavanja podataka zapisanih u kromosomu te odrediti funkciju dobrote. U kona nici svaka e jedinka, ije su osobine zapisane u kromosomu, biti u ra unalu zapisana kao niz jeinica i nula. Mežutim, ono ²to predstavljaju te jedinice i nule naziva se prikazom rje²enja. Tako primjerice postoje sljede i na ini prikaza rje²enja: binarni prikaz, prikaz brojevima s pomi nom to kom, permutirani niz cijelih brojeva, niz brojeva, matrica, program, stablo te drugi. Nisu svi genetski operatori primijenjivi za sve vrste prikaza rje²enja. Zapravo, genetski operatori su prilagoženi upravo vrsti prikaza rje²enja. Primjerice, primijeni li se kriºanje s jednom to kom prekida na dva permutirana niza cijelih brojeva dobit e se niz koji najvjerojatnije sadrºi vi²e istih cjelobrojnih vrijednosti. Radi se o nemogu em rje²enju, odnosno rezultat kriºanja je niz cijelih brojeva, ali nije permutirani niz cijelih brojeva.

220 208 POGLAVLJE 11. POBOLJ ANJE DJELOTVORNOSTI GA 11.3 Vrednovanje jedinki Postupak vrednovanja jedinki, odnosno postupak evaluacije provodi se izra- unavanjem vrijednosti funkcije dobrote, odnosno funkcije kazne (ovisno o tome koristi li se generacijska ili eliminacijska selekcija, tj, izabire li se jedinka za reprodukciju u idu oj generaciji ili za brisanje iz populacije). Pravilnim izborom funkcije dobrote (ili kazne) uvelike se moºe utjecati na djelotvornost genetskog algoritma. Funkcija dobrote mora dobro oslikavati optimizacijski problem. Funkcija dobrote mora biti ²to je mogu e jednostavnija, jer se u praksi pokazalo na mno²tvu primjera da genetski algoritam tro²i najvi²e vremena upravo za evaluaciju Selekcije Podjela Genetski algoritmi koriste selekcijski mehanizam za odabir jedinki koje e sudjelovati u reprodukciji. Selekcijom se omogu ava preno²enje boljeg genetskog materijala iz generacije u generaciju. Zajedni ko svojstvo svih vrsta selekcija je ve a vjerojatnost odabira boljih jedinki za reprodukciju. Postupci selekcije se mežusobno razlikuju po na inu odabira boljih jedinki. Prema na inu preno²enja genetskog materijala boljih jedinki u sljede u iteraciju postupci selekcije se dijele na (slika 11.1): generacijske selekcije - selekcijom se direktno biraju bolje jedinke iji e se genetski materijal prenijeti u sljede u iteraciju i eliminacijske selekcije - biraju se lo²e jedinke za eliminaciju, a bolje jedinke preºive postupak selekcije. Generacijskom selekcijom se odabiru bolje jedinke koje e sudjelovati u reprodukciji. Izmežu jedinki iz populacije iz prethodnog koraka biraju se bolje jedinke i kopiraju u novu populaciju. Ta nova populacija, koja sudjeluje u reprodukciji, naziva se mežupopulacijom. Na taj na in se priprema nova generacija jedinki za postupak reprodukcije. To je ujedno prvi nedostatak generacijskih selekcija, jer se u radnom spremniku odjednom nalaze dvije populacije jedinki. Broj jedinki koje preºive selekciju je manji od veli ine populacije. Naj e² e se ta razlika u broju preºivjelih jedinki i veli ine populacije popunjava duplikatima preºivjelih jedinki. Pojava duplikata u sljede- oj iteraciji je drugi nedostatak generacijskih selekcija, jer duplikati nikako ne doprinose kvaliteti dobivenog rje²enja, ve samo usporavaju evolucijski proces. Generacijska selekcija postavlja granice mežu generacijama. Svaka jedinka egzistira to no samo jednu generaciju. Izuzetak su jedino najbolje jedinke koje ºive duºe od jedne generacije i to samo ako se primijeni elitizam.

221 11.4. SELEKCIJE 209 Pi Generacijske selekcije Pi' Eliminacijske selekcije Pi X 4 X X 7 Slika 11.1: Podjela postupaka selekcije prema na inu preno²enja genetskog materijala boljih jedinki u novu iteraciju Kod eliminacijskih selekcija bolje jedinke preºivljavaju mnoge iteracije pa stroge granice izmežu generacija nema, kao ²to je to slu aj kod generacijskih selekcija. Eliminacijska selekcija bri²e M jedinki. Parametar M naziva se mortalitetom ili generacijskim jazom. Izbrisane jedinke bivaju nadomje- ²tene jedinkama koje se dobivaju reprodukcijom. Eliminacijskom selekcijom se otklanjaju oba nedostatka generacijske selekcije: nema dvije populacije u istoj iteraciji i u postupku selekcije se ne stvaraju duplikati. Na prvi pogled je uvoženje novog parametra M nedostatak eliminacijske selekcije, jer se svakim dodatnim parametrom zna ajno produºava postupak pode²avanja algoritma. Mežutim, uvoženjem novog parametra, nestaje parametar vjerojatnost kriºanja, jer kriºanje treba obaviti to no onoliko puta koliko je potrebno da se nadopuni populacija do po etne veli ine N. to je ve a vjerojatnost kriºanja, treba biti ve i mortalitet i obrnuto. Primjerice, ako se koristi uniformno kriºanje, koje producira jednu novu jedinku, tada se to no M puta treba ponoviti kriºanje kako bi se nadopunila populacija, odnosno zamijenile eliminirane jedinke. Selekcijom se osigurava preno²enje boljeg genetskog materijala s ve om vjerojatno² u u sljede u iteraciju. Ovisno o metodi odabira boljih jedinki kod generacijskih selekcija, odnosno lo²ih jedinki kod eliminacijskih selekcija, postupci selekcije se dijele na proporcionalne i rangiraju e. Vaºno je napomenuti da je zajedni ko obiljeºje svim selekcijama ve a vjerojatnost preºivljavanja bolje jedinke od bilo koje druge lo²ije jedinke. Selekcije se razlikuju prema na inu odreživanja vrijednosti vjerojatnosti selekcije odrežene jedinke. Proporcionalne selekcije odabiru jedinke s vjerojatno² u koja je proporcionalna dobroti jedinke, odnosno vjerojatnost selekcije ovisi o kvocijentu dobrote jedinke i prosje ne dobrote populacije. Broj jedinki s odreženim svojstvom u sljede oj iteraciji je proporcionalan

222 210 POGLAVLJE 11. POBOLJ ANJE DJELOTVORNOSTI GA kvocijentu prosje ne dobrote tih jedinki i prosje ne dobrote populacije. Tako glasi dio teorema sheme koji se odnosi na selekciju. Rangiraju e selekcije odabiru jedinke s vjerojatno² u koja ovisi o polo- ºaju jedinke u poretku jedinki sortiranih po dobroti. Rangiraju e selekcije se dijele na sortiraju e i turnirske selekcije. Sortiraju e sbilaelekcije su: linearno sortiraju a selekcija, µ λ selekcije i krnja selekcija. Turnirske selekcije se dijele prema broju jedinki koje sudjeluju u turniru. Na slici 11.2 prikazana je podjela selekcija na proporcionalne i rangiraju e, te na njihove podvrste. Vrste selekcija Proporcionalne selekcije Rangirajuće selekcije Jednostavna proporcionalna selekcija Stohastička univerzalna selekcija Selekcije najboljih Sortirajuće selekcije Linearno sortirajuća selekcija Turnirske selekcije (µ,λ) selekcija (µ+λ) selekcija Krnja selekcija k-turnirska selekcija Jednostavna turnirska selekcija Slika 11.2: Vrste selekcija Genetski algoritam eksplicitno ne denira genetske operatore (slika 10.2), tj. genetski algoritam ne kaºe na koji na in, odnosno kako genetski operatori obavljaju svoj posao, ve ²to trebaju u initi. Selekcija odabire bolje jedinke za reprodukciju. Kriºanjem se svojstva roditelja prenose na djecu, a mutacijom se slu ajno mijenja genetski materijal. Kako e kriºanje osigurati preno²enje genetskog materijala na djecu i kako e mutacija izmijeniti genetski materijal, ovisi o samom problemu koji se rje²ava i o vrsti prikaza rje²enja. Tako, primjerice, kriºanje s jednom to kom prekida nije pogodno za rje²avanje problema trgova kog putnika, ali se zato moºe primijeniti za optimiranje funkcija realne varijable i binarni prikaz. Jednako tako nije vaºno kako e selekcija odabrati bolje jedinke za reprodukciju, ve je vaºno da bolje jedinke imaju ve u vjerojatnost preºivljavanja od lo²ijih. Osim toga, vaºno je i koliko ve u vjerojatnost odabira imaju bolje jedinke od lo²ijih.

223 11.4. SELEKCIJE Selekcijski pritisak Selekcijski pritisak je odnos vjerojatnosti preºivljavanja dobrih i lo²ih jedinki. Drugim rije ima, selekcijski pritisak je sposobnost preºivljavanja jedinki. Neka vjerojatnosti selekcije dvije jedinke s oznakama i i j iznose p(i) i p(j) respektivno. Neka je jedinka s oznakom i bolja od one s oznakom j, tj. neka je d(i) > d(j), odnosno p(i) > p(j). Selekcijski pritisak je ve i ²to je kvocijent p(i)/p(j) ve i ili ²to je ve a razlika p(i) p(j). Selekcija ima veliki selekcijski pritisak ukoliko s velikom vjerojatno² u prenosi bolje jedinke u idu u iteraciju, odnosno s velikom vjerojatno² u eliminira jedinke ispodprosje ne dobrote. Selekcijski pritisak utje e na kvalitetu rje²enja. Genetski algoritmi s velikim selekcijskim pritiskom pronalaze prije rje²enje, tj. brºe konvergiraju ºrtvuju i kvalitetu dobivenog rje²enja, jer brºa konvergencija uzrokuje ve u vjerojatnost zaglavljivanja u lokalnom optimumu. S druge strane, ako je selekcijski pritisak premali, nepotrebno se tro²i vrijeme na beskorisne iteracije jer je konvergencija u tom slu aju prespora. Parametri selekcije utje u na selekcijski pritisak, odnosno na brzinu konvergencije algoritma. Na konvergenciju algoritma ne utje e samo selekcija, nego i ostali operatori, pa brzina konvergencije ne moºe biti mjera za selekcijski pritisak. Selekcijski pritisak se posredno odrežuje (kvanticira) uz pomo primjerice trajanja preuzimanja, selekcijske razlike ili selekcijskog intenziteta. Trajanje preuzimanja je prosje an broj generacija nakon kojih se populacija sastoji od N duplikata najbolje jedinke, ukoliko se u svakoj iteraciji uporabi samo operator selekcije bez kriºanja i mutacije. Drugim rije ima, mjeri se broj iteracija nakon kojih se eliminiraju sve jedinke osim najbolje. to je trajanje preuzimanja manje, selekcijski pritisak je ve i i obrnuto. Trajanje preuzimanja poprima najmanju vrijednost kada je vjerojatnost selekcije svih jedinki jednaka i iznosi p = 1 N (slu ajno pretraºivanje). Osim o vrsti selekcije i njezinim kontrolnim parametrima, trajanje preuzimanja za proporcionalne selekcije ovisi i o funkciji cilja. Selekcijom preºivljavaju bolje jedinke i o ekuje se da prosje na vrijednost preºivjelih jedinki bude ve a od prosje ne vrijednosti cijele populacije. Posljedica selekcijskog pritiska je selekcijska razlika izmežu preºivjelih jedinki i cijele populacije [Cantú-Paz(2001)]. Selekcijska razlika s je razlika prosje ne vrijednosti dobrote preºivjelih jedinki d p i prosje ne vrijednosti dobrote svih jedinki d u svakoj iteraciji t: s (t) = d p (t) d (t) (11.1) Prosje na vrijednost dobrote svih jedinki koje ine populaciju ra una se prema izrazu: d (t) = 1 N d i (t) (11.2) N i=1 Nadalje, neka je σ (t)standardna devijacija svih dobrota u populaciji u

224 212 POGLAVLJE 11. POBOLJ ANJE DJELOTVORNOSTI GA generaciji t: N [ di (t) d (t) ] 2 i=1 σ (t) = (11.3) N Uz pretpostavku da dobrota populacije d i ima normalnu razdiobu N [ d (t), σ (t) ] u generaciji t, selekcijska razlika je proporcionalna standardnoj devijaciji populacije: s (t) = s I σ (t) (11.4) pri emu se faktor s I = s (t) /σ (t) naziva selekcijskim intenzitetom [Bäck(1995)]. Naravno, dobrota nema normalnu razdiobu za sve funkcije cilja i u svakom trenutku t. Mežutim, za ve inu funkcija cilja pred kraj evolucijskog procesa (t >>) razdioba vrijednosti funkcije dobrote populacije moºe se dobro aproksimirati normalnom razdiobom [Bäck(1995)]. Selekcijski pritisak je ve i ²to je ve a selekcijska razlika, odnosno selekcijski intenzitet. Selekcijska razlika ovisi o standardnoj devijaciji populacije koja se mijenja iz generacije u generaciju, a selekcijski intenzitet je konstantna vrijednost koja ovisi samo o vrsti selekcije i njezinim parametrima. Stoga se selekcijski intenzitet moºe koristiti kao mjera za selekcijski pritisak uz ograni enje da vrijednosti funkcije dobrote populacije imaju normalnu razdiobu. Poºeljno je da selekcijski mehanizam bude takav da se na jednostavan na in moºe kontrolirati selekcijski pritisak. Dodatni zahtjevi nad postupkom selekcije prema Bäcku [Bäck(1994)] su: promjena kontrolnih parametara selekcije mora biti jednostavna, a posljedice te promjene moraju biti predvidive; poºeljno je da selekcija ima samo jedan kontrolni parametar i raspon selekcijskog pritiska treba biti ²to ve i. Naºalost ve ina postupaka selekcije ne zadovoljava niti prvi zahtjev [Bäck(1994)] Izbor selekcije U postupku selekcije nije vaºan na in odabira jedinki, ve vjerojatnost odabira, odnosno selekcijski pritisak. Prilikom izbora selekcije favoriziraju se postupci selekcije koji su lako upravljivi (selekcijski pritisak ne ovisi o optimizacijskom problemu i kontrolira se jednim parametrom), jednostavni su za implementaciju, ne tro²e mnogo procesorskog vremena i pogodni su za paralelizaciju. Analizirajmo prvo proporcionalne selekcije kroz njihove prednosti i nedostatke kako bi smo ih mogli usporediti sa rangiraju im selekcijama. Nedostaci proporcionalnih selekcija pobrojani su u nastavku.

225 11.4. SELEKCIJE 213 Nad funkcijom cilja, ako se ona izravno koristi za izra unavanje vjerojatnosti selekcije, postavljena su sljede a ograni enja: ne smije poprimati negativne vrijednosti i ne smije poprimati samo pribliºno jednake velike vrijednosti. U prvom bi slu aju vjerojatnost selekcije bila negativna, a u drugom slu aju bi se genetski algoritam pretvorio u postupak slu ajnog pretraºivanja, jer sve jedinke imaju pribliºno istu vjerojatnost selekcije. Rje²enje tih problema je funkcija dobrote koja se dobiva translacijom funkcije cilja. Translacija funkcije cilja se mora obaviti u svakom koraku i to usporava rad genetskog algoritma. Nemogu e je paralelizirati postupak selekcije bez sinkronizacije dretvi, jer se u svakoj iteraciji mora izra unati ukupna dobrota populacije koja mora biti dostupna svim dretvama. Eliminacijska proporcionalna selekcija se mora obavljati sekvencijski, jer svaka eliminacija jedinke ima za posljedicu promjenu vjerojatnosti eliminacije svih ostalih (preºivjelih) jedinki. Tro²e znatno vi²e procesorskog vremena od rangiraju ih selekcija. Nemaju mogu nosti pode²avanja selekcijskog pritiska (nema parametra s kojim bi se mogao pode²avati selekcijski pritisak). Selekcijski pritisak ovisi o funkciji dobrote. To zna i da je za svaku funkciju cilja druga iji selekcijski pritisak, a time i brzina konvergencije koja direktno utje e na kvalitetu dobivenih rje²enja. Nasuprot navedenim nedostacima, postoji samo jedna prednost proporcionalnih selekcija. Analiza rada genetskog algoritma je olak²ana, jer gotovo sva teorijska istraºivanja se temelje na proporcionalnim selekcijama. Stoga se, unato svim navedenim nedostacima, jo² uvijek nerjetko koristi u praksi. Kako je to ve navedeno, svaki od postupaka selekcije na slici 11.2 moºe biti generacijski ili eliminacijski. Generacijske selekcije nisu pogodne za paraleliziranje, jer se reprodukcija mora obavljati odvojeno od selekcije. Reprodukcija moºe po eti tek kada generacijska selekcija formira novu populaciju. Generacijska selekcija tro²i vi²e spremni kog prostora jer algoritam obavlja posao nad dvije populacije. Povrh toga, generacijskom selekcijom se generiraju duplikati. Duplikate je poºeljno nakon reprodukcije eliminirati, ²to dodatno usporava rad genetskog algoritma. Stoga je eliminacijska selekcija pogodnija za paralelno izvoženje te na jednostavan na in je mogu e ugraditi elitizam tako da se naprosto ne eliminiraju najbolje jedinke. Postupci selekcije se dijele i prema tome kako funkcija cilja utje e na vjerojatnost selekcije. Ako funkcija cilja izravno utje e na vjerojatnost selekcije, tako da je vjerojatnost selekcije proporcionalna vrijednosti funkcije cilja, radi

226 214 POGLAVLJE 11. POBOLJ ANJE DJELOTVORNOSTI GA se o proporcionalnim selekcijama. Izmežu brojnih navedenih nedostataka proporcionalnih selekcija isti u se: nemogu nost paralelizacije eliminacijske proporcionalne selekcije bez sinkronizacije, nemogu nost jednostavne kontrole selekcijskog pritiska i prevelika ovisnost pona²anja genetskog algoritma o funkciji cilja. Dakle, selekciju pogodnu za paralelno izvoženje treba tra- ºiti mežu rangiraju im selekcijama. Sortiraju e selekcije su nepogodne za paralelizaciju upravo zbog postupka sortiranja jedinki koji se mora obaviti u svakoj iteraciji. Osim toga, jednostavan eksperiment u kojem se mjerilo vrijeme trajanja eliminacijske proporcionalne i eliminacijske 3-turnirske selekcije dao je sljede i rezultat: eliminacijska proporcionalna selekcija tro²i 3.4 puta vi²e procesorskog vremena od eliminacijske 3-turnirske selekcije. Prema tome, eliminacijske turnirske selekcije su najpogodnije za paralelno izvoženje. Turnirske selekcije obavljaju selekciju samo nad dijelom populacije sli no kao i distribuirani genetski algoritam. Distribuirani genetski algoritam koristi izolirane subpopulacije nad kojima se paralelno obavljaju svi genetski operatori. Osim toga, selekcijski pritisak ne ovisi o funkciji cilja, ve samo o jednom parametru: veli ini turnira k. Prema tome, ostaje jo² samo odabir parametra k. k je bilo koji cijeli broj u intervalu [2, VEL_POP]. Selekcijski pritisak se moºe na vrlo jednostavan na in pode²avati kod genetskih algoritama s k-turnirskom selekcijom i to uz pomo parametra k. to je ve i k, ve i je i selekcijski pritisak nad slabijim jedinkama, odnosno, bolje jedinke se vi²e favoriziraju [Miller and Goldberg(1995)]. Preveliki selekcijski pritisak uzrokuje preranu konvergenciju k lokalnom optimumu, a premali pretvara algoritam u slu ajnu pretragu. Optimalni selekcijski pritisak je, naravno, ne²to izmežu ta dva ekstrema. Prevelika vrijednost parametra k uzrokuje preveliki selekcijski pritisak. Primjerice, ako se populacija sastoji od 30 jedinki i koristi se generacijska 10-turnirska selekcija 9 najlo²ijih jedinki nikada ne e biti izabrane za idu u populaciju. Ovakav, preveliki selekcijski pritisak pogotovo nema smisla u po etku evolucijskog procesa kada su sve jedinke otprilike jednako lo²e pa postoji velika opasnost da se dobar genetski materijal u lo²ijim jedinkama eliminira odmah na po etku optimiranja. Pokazalo se [Golub(2004a)] da u ve ini slu ajeva k-turnirska selekcija ima ve i selekcijski pritisak od primjerice jednostavne proporcionalne selekcije. Prema tome, treba odabrati ²to je mogu e manji k. Najmanji k je 2, mežutim, treba voditi ra una da je selekcija jednostavna za implementaciju i paralelizaciju. Pokazalo se da je jednostavno paralelizirati genetski algoritam s k-turnirskom selekcijom u kojoj se nakon svakog turnira obavljaju i ostali genetski operatori (kriºanje i mutacija). Najmanji turnir u kojem je to mogu e je veli ine 3: slu ajnim postupokom se odabiru 3 jedinke od VEL_POP jedinki u populaciji, odabira se najlo²ija od 3 slu ajno odabrane jedinke i nadomje² uje se jedinkom koja je rezultat reprodukcije preºivjele dvije jedinke. Ta se selekcija naziva eliminacijska 3-turnirska selekcija. Treba naglasiti da ova selekcija ima jo² jedno dobro svojstvo: inherentno je ugra-

227 11.5. REPRODUKCIJA 215 Slika 11.3: Operatori kriºanja u slu aju binarnog prikaza žen elitizam. Dakle, da bi se o uvale dvije najbolje jedinke u populaciji nije potrebno pisati nikakvog dodatnog programskog koda jer je naprosto vjerojatnost eliminacije dvije najbolje jedinke jednaka nuli Reprodukcija Reprodukcija je postupak stvaranja nove populacije nakon selekcije. Prema tome, reprodukcija kod genetskog algoritma obuhva a kriºanje i mutaciju. Pod pojmom reprodukcija se nerjetko u literaturi podrazumijeva samo kri- ºanje pa treba pripaziti na ²to se taj pojam odnosi. U ovoj knjizi emo pod pojmom reprodukcije podrazumijevati i kriºanje i mutaciju. U pravilu kriºanje se obavlja prije mutacije i mutiraju se jedinke dobivene kriºanjem. Operatori kriºanja i mutacije ovise o vrsti prikaza rje²enja. Tako su primjerice za binarni prikaz pogodni operatori kriºanja s jednom ili vi²e to aka prekida i uniformno kriºanje (slika 11.3) te operatori mutacije jednostavna mutacija i potpuna mije²aju a mutacija (slika 11.4). Ukoliko se primjerice koriste polje realnih brojeva za prikaz rje²enja, prikladni operatori kriºanja su: diskretna rekombinacija, jednostavna i jednostruka aritmeti ka rekombinacija (slika 11.5) a prikladni operator mutacije je jednostavna mutacija (slika 11.6) sli no kao i u slu aju binarnog prikaza.

228 216 POGLAVLJE 11. POBOLJ ANJE DJELOTVORNOSTI GA Slika 11.4: Operatori mutacije prikladni za binarni prikaz

229 11.5. REPRODUKCIJA 217 Slika 11.5: Operatori kriºanja prikladni za prikaz poljem realnih brojeva Slika 11.6: Operatori mutacije prikladni za prikaz poljem realnih brojeva

230 218 POGLAVLJE 11. POBOLJ ANJE DJELOTVORNOSTI GA Prikaz permutiranim nizom cijelih brojeva zahtjeva svoj skup speci nih operatora kriºanja i mutacije. Tako su, primjerice, prikladni u ovom slu- aju sljede i operatori kriºanja: djelomi no mapirano kriºanje, kriºanje u poretku i kruºno kriºanje (slika 11.7). Prikladni operatori mutacije su mutacije zamjenom, ubacivanjem, premetanjem, obrtanjem i posmakom (slika 11.8) Teorem sheme i hipoteza blokova Pretpostavke Teorijske osnove genetskog algoritma (teorem sheme i hipoteza blokova) odnose se na genetski algoritam s binarnim prikazom. Da bi vrijedili teorem sheme i hipoteza blokova, potrebno je zadovoljiti sljede e pretpostavke: populacija je neograni ena, funkcija dobrote vjerno odraºava problem i geni u kromosomu su mežusobno nezavisni Teorem sheme Shema je uzorak ili skup rje²enja koja su mežusobno sli na. Sli nost se odnosi na jednakost gena na pojedinim mjestima kromosoma. Ostali geni mogu biti ili isti ili razli iti i ozna avaju se zvjezdicom: *. Primjerice, shema *101*1 predstavlja skup od etiri rje²enja: , , , Zvjezdica * ozna ava bilo ²to ili bilo koji znak, a u ovom slu aju to je 0 ili 1. Neka je kromosom duljine n, a shema neka sadrºi r znakova *. Takva shema predstavlja 2r rje²enja. S druge strane, jedno rje²enje moºe biti predstavljeno s 2n shema. Ukupan broj shema kod binarnog prikaza rje²enja iznosi 3n, jer jedan znak sheme moºe biti *, 0 ili 1. Red sheme S (oznaka o(s)) je broj nepromjenjivih (ksnih) gena, odnosno broj svih onih znakova sheme S koji nisu *: o (s) = n r. (11.5)

231 11.6. TEOREM SHEME I HIPOTEZA BLOKOVA 219 Slika 11.7: Operatori kriºanja za prikaz permutiranim nizom cijelih brojeva

232 220 POGLAVLJE 11. POBOLJ ANJE DJELOTVORNOSTI GA Slika 11.8: Operatori mutacije za prikaz permutiranim nizom cijelih brojeva

233 11.6. TEOREM SHEME I HIPOTEZA BLOKOVA 221 Na primjer, o( *1*001)=4 i o( ****11******)=2. Denirana duºina sheme ili deniraju i razmak (oznaka δ (S)) je udaljenost izmežu prve i zadnje nepromjenjive znamenke. Na primjer, δ( * *)=9-2=7, δ( 10**0)=5-1=4 i δ( **1**)=3-3=0. Denicija 49 (Teorem sheme). Broj jedinki koje sadrºe shemu niskog reda, kratke denirane duºine i iznadprosje ne dobrote raste eksponencijalno. Formalni opis teorema sheme prikazan je sljede om nejednako² u: N (S, t + 1) N (S, t) D S D [ 1 δ (S) ] n 1 p c o (S) p m (11.6) gdje su: N (S, t + 1) o ekivani broj jedinki koje su podskup sheme S u generaciji t D S prosje na dobrota sheme D prosje na dobrota populacije δ (S) denirana duºina sheme S o (S) red sheme S p c vjerojatnost kriºanja p m vjerojatnost mutacije n duºina kromosoma Vjerojatnost gubitka sheme zbog operatora kriºanja je proporcionalna vjerojatnosti kriºanja i deniranoj duºini sheme, a obrnuto je proporcionalna broju mogu ih prekidnih to aka (n-1) i iznosi: p gc = δ(s) n 1 p c. To nije, vjerojatnost gubitka sheme zbog operatora kriºanja je manja ili jednaka p gc, jer postoji mogu nost da oba roditelja sadrºe shemu S. Slu ajnim odabirom to ke prekida shema S ostaje sa uvana, jer kriºanjem nastaje ista shema iz istih dijelova koje sadrºe roditelji. Na primjer, promotrimo shemu 101**11**1 koju sadrºe oba roditelja. Neka je to ka prekida izmežu dvije jedinice unutar sheme. Nakon kriºanja shema je ostala sa uvana (slika 11.9). Svako kriºanje, osim mije²aju eg kriºanja, (npr. uniformno kriºanje ili kriºanje s vi²e to aka prekida) uva shemu ako je sadrºe oba roditelja. Vjerojatnost gubitka sheme zbog mutacije je proporcionalna vjerojatnosti mutacije i redu sheme: p gm = o (S) p m. Treba spomenuti da u izrazu 11.6 u uglatoj zagradi nedostaje etvrti lan koji se zanemaruje. Ispravno, spomenuti izraz glasi: N (S, t + 1) N (S, t) D S D [ 1 δ (S) n 1 p c o (S) p m + δ (S) ] n 1 o (S) p cp m (11.7)

234 222 POGLAVLJE 11. POBOLJ ANJE DJELOTVORNOSTI GA Slika 11.9: Shema je sa uvana nakon kriºanja s jednom to kom prekida ako oba roditelja sadrºe istu shemu Hipoteza graževnih blokova Rad genetskog algoritma moºe se predstaviti kao natjecanje izmežu shema gdje kratke sheme niskog reda s nadprosje nom dobrotom pobježuju. Sastavljaju i i nizaju i takve sheme algoritam dolazi do rje²enja. Kratke sheme niskog reda s iznadprosje nom dobrotom nazivaju se graževni blokovi. Denicija 50 (Hipoteza graževnih blokova). Genetski algoritam pretraºuje prostor rje²enja nizaju i sheme niskog reda, kratke denirane duºine i iznadprosje ne dobrote, zvane graževni blokovi. U slu aju da su geni u kromosomu mežusobno zavisni, hipoteza graževnih blokova e i tada vrijediti ako su ti zavisni geni blizu. S druge strane, graževni blokovi mogu navesti genetski algoritam na krivo rje²enje, tj. da konvergira lokalnom optimumu. Ta se pojava naziva decepcija, a funkcija koja izaziva tu pojavu decepcijska ili varaju a funkcija. Najjednostavniji primjer decepcijske funkcije je tzv. minimalni decepcijski problem. Dvobitna funkcija koja izaziva minimalni decepcijski problem je odrežena nejednakostima: f(11)>f(00), f(11)>f(01), f(11)>f(10), f(*0)>f(*1), f(0*)>f(1*). 0* i *0 su kratke sheme niskog reda i iznadprosje ne dobrote: f(*0)>f(*1) i f(0*)>f(1*), ali ne sadrºe niz 11 za koji se postiºe optimum. Potpun decepcijski problem je takav problem gdje sve kratke sheme niskog reda koje sadrºi optimalno rje²enje imaju ispodprosje nu dobrotu u odnosu na ostale sheme s istim nepromjenjivim genima. Primjer potpunog decepcijskog problema. Neka se kromosom sastoji od niza jedinica i nula duljine b. Funkcija f denirana nad kromosomom