FUZZY-NEURO ALGORITMY MODELOVANIA NELINEÁRNYCH PROCESOV V DOPRAVE

Transcription

1 Slovenská technická univerzita v Bratislave FAKULTA INFORMATIKY A INFORMAČNÝCH TECHNOLÓGIÍ FIIT Jozef Macho FUZZY-NEURO ALGORITMY MODELOVANIA NELINEÁRNYCH PROCESOV V DOPRAVE Bakalárska práca Študijný program: Informatika Študijný odbor: Informatika Miesto vypracovania: Ústav informatiky a softvérového inžinierstva, FIIT STU Bratislava Vedúci práce: Ing. Ján Cigánek máj 2010

2 ANOTÁCIA Slovenská technická univerzita v Bratislave FAKULTA INFORMATIKY A INFORMAČNÝCH TECHNOLÓGIÍ Študijný odbor: Informatika Autor: Jozef Macho Bakalársky práca: Fuzzy-neuro algoritmy modelovania nelineárnych procesov v doprave Vedúci bakalárskej práce: Ing. Ján Cigánek máj, 2010 Cieľom tejto práce bolo štúdium algoritmov a princípov modelovania nelineárnych dynamických procesov využitím fuzzy-neuro prístupu. V práci sú vysvetlené základné pojmy fuzzy logiky, neurónových sietí a spôsoby vytvorenia modelov pomocou týchto metód. Ďalším cieľom bolo navrhnúť a vytvoriť programový systém v programovom prostredí Matlab-Simulink. Tento cieľ bol realizovaný pomocou balíkov Fuzzy Logic Toolbox a Neural Network Toolbox. Oba modely využívali procesné údaje získané v oblasti dopravy. V prvom prípade bol vytvorený fuzzyneuro model pre údaje z DC motora použitého v motore vlaku, ktorý bol navrhnutý pomocou Anfis editora. V druhom prípade boli použité modely neurónových sietí na aproximáciu funkcie pre údaje z relé, ktoré v lietadle zabezpečuje stabilitu letu. V oboch prípadoch boli nastavované rôzne vstupy a parametre trénovania pre porovnanie presnosti jednotlivých modelov a dosiahnutie čo najmenšej hodnoty chybovej funkcie. Pre Anfis modely bol pri učení použitý hybridný optimalizačný algoritmus na určenie parametrov FIS štruktúry, pričom bola snaha dosiahnuť hodnotu chybovej funkcie rádovo v okolí hodnoty Pri modeloch neurónových sietí bol použitý Levenberg-Marquardtov algoritmus, ktorý je modifikáciou algoritmu so spätným šírením chyby a algoritmus skorého zastavenia trénovania, kde cieľová hodnota mala dosiahnuť okolie hodnoty ii

3 ANNOTATION Slovak University of Technology Bratislava FACULTY OF INFORMATICS AND INFORMATION TECHNOLOGIES Degree Course: Informatics Author: Jozef Macho Bachelor Theses: Fuzzy-neural algorithms for modelling nonlinear processes in traffic Supervisor: Ing. Ján Cigánek 2010, May The goal of this theses was to learn the algorithms and fundamentals of modeling nonlinear dynamic processes using fuzzy-neural approach. The main ideas of fuzzy logic, neural networks and concepts of model creation using these methods are described in this paper. The next goal was to suggest and create a program in Matlab-Simulink program enviroment. This goal was realized using Fuzzy Logic Toolbox and Neural Network Toolbox. Both of these models are using processing data aquired in the traffic domain. In the first case, there was created a fuzzy-neural model for the DC motor data used in train engines, which was designed using Anfis Editor. In the second case, there the usage of neural networks was used to approximate the relay data function, which ensures the stability of flight in airplanes. In both cases, various inputs and train parameters were set to compare models to each other in precision and to reach minimal value of performance function. Hybrid learning algorithm was used to identify parameters of FIS structure in Anfis models trying to reach 10-4 performance function value. Levenberg-Marquardt modification of backpropagation algorithm and early stopping backpropagation algorithm are used in models of neural networks to reach the target value of performance function in about iii

4 Prehlásenie Čestne prehlasujem, že tento dokument som vytvoril bez cudzej pomoci a len s uvedenými zdrojmi. Dátum Jozef Macho Poďakovanie Ďakujem vedúcemu bakalárskej práce, Ing. Jánovi Cigánkovi, za konzultácie, pomoc a pripomienky pri vytváraní tohto bakalárskeho projektu, tiež prof. Štefanovi Kozákovi za pomoc v začiatkoch tvorby práce a pri získavaní znalostí o problematike a svojej rodine za podporu. iv

5 Obsah 1 Úvod Analýza problému Fuzzy logika Fuzzy množiny Fuzzy operácie Fuzzy(lingvistické) premenné Fuzzy pravidlá a fuzzy systémy Neurónové siete Vznik umelých neurónových sietí Matematický model neurónovej siete Algoritmus spätného šírenia chyby Opis riešenia ARX-model Fuzzy-neuro model Modely neurónových sietí Zhodnotenie Použitá literatúra A. PRÍLOHA: TECHNICKÁ DOKUMENTÁCIA B. PRÍLOHA: OBSAH ELEKTRONICKÉHO MÉDIA v

6 Zoznam použitých skratiek a pojmov A, B, C, R množiny prvkov w i ξ y h σ UNS MSE SSE RMSE W DC ARX synaptická váha vstupu i vnútorný potenciál neurónu výstupný signál neurónu prah neurónu aktivačná(prenosová) funkcia umelá neurónová sieť mean square error sum of squares due to error root mean square error matica váh direct current autoregression with exogenous variable µ konštanta momentum µ(x) funkcia príslušnosti V(t) napätie v čase t ω(t) uhlová rýchlosť v čase t Anfis Adaptive-Network-based fuzzy inference FIS fuzzy inferenčný systém vi

7 1 Úvod V súčasnej dobe je použitie počítačovej techniky veľmi rozšírené a stretávame sa s ním na každom mieste v našom okolí. Veľmi dôležitou oblasťou využitia výpočtovej techniky je modelovanie dejov, ktoré sa dejú v prostredí, kde žijeme. Modelovanie má pre ľudí obrovský význam, pretože pomocou neho dokážeme zistiť, ako sa vyvinuté systémy budú správať, aká bude približná reakcia prostredia, ba dokonca vieme simulovať deje, ktoré sa dejú v prírode a pomocou nich dokážeme predvídať mnohé situácie. Veľkou výhodou modelovania je, že pokiaľ v našej modelovanej situácii nastane nejaká chyba, ktorá by mala v reálnom živote škodlivé následky, vieme sa s touto chybou bez problémov vysporiadať a podobné nedostatky odstrániť. Týmto spôsobom sa už pred zavádzaním systému odhalí množstvo chýb, čím sa vyhneme zdĺhavému hľadaniu chýb počas behu systému. Predchádzanie chybám má pre ľudí veľký význam a často šetrí množstvo času či peňazí a nemenej často aj straty na ľudských životoch. Týmto sa stáva modelovanie mnohokrát lacnejšou a menej nebezpečnou technikou na odhalenie následkov činností ľudí, strojov a aj samotnej prírody. Cieľom tejto práce je oboznámiť sa s technikami modelovania nelineárnych procesov pomocou fuzzy logiky a neurónových sietí a využitím programového prostredia Matlab programový vytvoriť model na základe údajov z oblasti dopravy, ktorý bude ilustrovať použitie fuzzy-neuro techniky na modelovanie diskrétnych nelineárnych procesov. 1

8 2 Analýza problému 2.1 Fuzzy logika V každodennom živote sa často stretávame so situáciami, kedy sme sme postavený pred otázky, na ktoré dokážeme pomocou našich vyjadrovacích prostriedkov a jazykových znalostí adekvátne odpovedať. Na množstvo otázok vieme odpovedať priamo áno alebo nie, či pravda alebo nepravda. Takéto druhy problémov vieme jednoducho interpretovať aj do počítača a dokážeme sa s nimi vysporiadať pomocou Booleovskej logiky, založenej na dvojhodnotovej pravdivostnej interpretácii (ostré hodnoty) pravda a nepravda (0 alebo 1). Booleovská logika nám slúži na pokrytie situácií, keď má zmysel uvažovať len nad dvomi možnosťami, napríklad: lampa je zapnutá alebo vypnutá, podmienka v programe je splnená a pokračuje sa kladnou vetvou alebo je nesplnená a pokračuje sa zápornou vetvou. Existuje však veľa situácií, kedy potrebujeme použiť aj nejakú inú hodnotu ako je 1 a 0, kedy nevieme presne určiť hodnotu stavu, ktorý sa pokúšame opísať a dvojhodnotová logika nám proste nepostačuje. Napríklad pokiaľ chceme slovne vyjadriť alebo opísať teplotu prostredia, a pritom tento údaj potrebujeme ďalej spracúvať pomocou počítača, nepostačuje nám interpretácia teplo a chladno. Je to z toho dôvodu, že pokiaľ by sme si zvolili presnú hodnotu, ktorou by sme teplotu označovali ako chladno a od nej ďalej by sme ju označovali ako teplo, bol by náš systém veľmi nepresný, ba priam nepoužiteľný. Práve touto problematikou sa zaoberá fuzzy logika, ktorá umožňuje popísať udalosti pomocou viachodnotovej logiky a dokáže sa vysporiadať s neurčitosťou, ktorá plynie z vyjadrovania sa prirodzeným jazykom. V prirodzenom jazyku sme totiž naučení vyjadrovať sa a aj rozumieť neurčitým výrokom, napríklad z výroku Peter je veľmi mladý človek. Nedokážeme s určitosťou povedať, koľko má Peter rokov, no dokážeme si asi predstaviť vekové rozpätie slov veľmi mladý. Základnou prednosťou fuzzy logiky je schopnosť matematicky podchytiť informácie vyjadrené slovne. Dokáže pracovať s nejednoznačnými pojmami, často používanými v ľudskej reči a umožňuje počítaču pochopiť, čo znamená veľa, málo, vysoký, veľmi..., na základe porovnania. Prednosťou tejto technológie je aj 2

9 vyhľadávanie informácií na základe nepresných alebo neúplných údajov aj s možnosťou nájsť chybne uložené informácie. Často sa fuzzy logika používa v systémoch na podporu rozhodovania, kde jej úloha spočíva vo výbere najvhodnejšej alternatívy. Cieľom je teda reprezentovať pravdivostné hodnoty nachádzajúce sa v rozpätí úplná pravda a úplná nepravda. Po prvýkrát bola fuzzy logika uvedená Dr. Lotfi Zadeh z Univerzity v Berkeley v šesťdesiatych rokoch ako prostriedok na modelovanie neistôt v prirodzenom jazyku. Vo svojej úvodnej práci Zadeh spomína, že namiesto toho, aby sme fuzzy teóriu (v slovenských textoch uvádzanú aj ako neostrá logika) ponímali ako jednotnú monolitickú teóriu treba uvažovať o procese zneostrenia (angl. fuzzification) ako o metodológií na zovšeobecnenie ľubovoľnej špecifickej teórie z ostrej (diskrétnej) na neostrú (fuzzy) formu. Základom pre neostrú logiku a neostrú teóriu pravdepodobnosti je neostrá teória množín, ktorých základy a pomenovanie ako prvý prezentoval v roku 1965 Azerbajdžanec Lofti Zadeh a zaviedol mieru patričnosti do množiny. Fuzzy logika umožňuje vágne lingvistické výrazy uvažované ako granuly informácií, vyjadriť fuzzy množinami, a potom je možné s nimi počítať pomocou numerických operácií na fuzzy množinách. Napriek tomu, že je stále veľa nevyriešených teoretických otázok týkajúcich sa problému neurčitosti, fuzzy logika bola úspešne aplikovaná vo viacerých oblastiach, ako expertné systémy, získavanie a spájanie znalostí, robenie rozhodnutí, získavanie informácií, a ďalšie Fuzzy množiny V klasickej množine(založenej na dvojhodnotovej logike) prvok buď patrí alebo nepatrí do množiny. Niekedy sa ale nedá povedať či prvok patrí bezvýhradne do množiny alebo nie. Vezmime si napr. množinu R(x), ktorá obsahuje rýchle autá. V teórii množín môžeme vyjadriť príslušnosť prvkov množiny vymenovaním jednotlivých prvkov, alebo konštrukciou tzv. charakteristickej funkcie f tak, že f(x) je pravda práve vtedy, ak prvok x patrí do množiny. Našu množinu rýchlych áut by sme mohli charakterizovať nasledovnou charakteristickou funkciou: pravda ak auto( x) max. rýchlosť ( x) > 120km / h R( x) = (2.1) nepravda inak 3

10 Zapisujeme ju :{ x auto max. rýchlosť( x) > 120km / h}, z čoho nám vyplýva, že všetky autá dosahujúce rýchlosť väčšiu ako 120 km/h sú rýchle autá, ostatné nie(obr. 1). V takomto ponímaní delenia aút však auto s rýchlosťou 120 km/h považujeme za nie rýchle auto, pričom sa však od auta s najnižšou možnou rýchlosťou spadajúceho do množiny R(x) jeho rýchlosť líši iba o 1 km/h. Takúto disproporciu medzi prirodzeným uvažovaním a klasickou teóriou množín sa snaží odstrániť teória neostrých fuzzy množín. Na odstránenie tohto problému slúži to charakteristická funkcia fuzzy množiny f, ktorá zobrazuje prvky z príslušnej domény do intervalu <1, 0>, kde f(x) = 0, znamená, že x nie je členom množiny, f(x) = 1 znamená, že x určite je členom množiny a všetky hodnoty z intervalu (0,1), predstavujú určitý stupeň členstva príslušného prvku k danej množine, akúsi čiastočnú patričnosť do množiny. Tab. 1: Porovnanie príslušnosti áut v množine rýchle autá(v klasickej a fuzzy množine) Názov Rýchlosť (km/h) Miera príslušnosti do množiny Booleovská Fuzzy Mondeo Clio Yaris ,85 Fabia ,75 Focus ,5 Swift ,25 Moskwich Z príkladu na obrázku 2 je vidieť, že Mondeo a Clio patria úplne do množiny R(x), Yaris, Fabia, Focus a Swift patria čiastočne do množiny a Moskwich tam nepatrí. Na rozdiel od Booleovskej logiky, pri práci s fuzzy množinami narábame s viachodnotovou logikou. Ďalší príklad(obr. 3) ilustruje príslušnosť áut do množín podľa rýchlosti rýchle, priemerné a pomalé. 4

11 Obr. 1: Booleovská funkcia príslušnosti pre množinu R(x) rýchle autá Obr. 2: Fuzzy funkcia príslušnosti pre množinu R(x) rýchle autá Obr. 3: Funkcie príslušnosti pre pomalé, priemerné a rýchle autá Ako vidieť na obrázku 3, niektoré autá patria do niektorej množiny úplne, do inej menej alebo vôbec. Napríklad miera príslušnosti auta Fabia s rýchlosťou 110 km/h do týchto množín je : µ = 0, µ = 0, 25, µ = 0, 25. pomalé priemerné Fuzzy množinu môžeme teda definovať ako triedu, ktorá priraďuje prvkom svojho univerza xєx pomocou tzv. vlastnosti príslušnosti (patričnosti) miery príslušnosti. Miera (stupeň) príslušnosti prvku µ A (x) je reálne číslo, pre ktoré platí : rýchle 5

12 - ak µ A (x) = 0, prvok x určite nepatrí do množiny A - ak µ A (x) = 1, prvok x určite patrí do množiny A - ak µ A (x) 0, nedá sa s istotou určiť či prvok x patrí do množiny A Fuzzy množina A je teda usporiadaná dvojica: A = {(x, µ A (x) )/ xєx } A ( x1 ) / x1 + µ A ( x2 ) / x µ A X 0, µ A : X <0,1> A = µ + ( x ) / x (2.2) Napríklad: A = 1 /1+ 0,9 / 2+ 0,7 / 3+ 0,5 / 4+ 0,3/ 5. n n 1 trapmf gbellmf trimf gaussmf gauss2mf smf zmf psigmf dsigmf pimf sigmf Obr. 4: Typické funkcie príslušnosti pre fuzzy množiny Fuzzy operácie Význam logických operátorov AND, OR, NOT vo fuzzy logike je rovnaký ako v klasickej boolovskej logike, s tým rozdielom, že v klasickej logike sa viažu na kategorické tvrdenia, ktoré sú buď pravdivé, alebo nepravdivé. Vo fuzzy logike sú to limitné stavy pravdivosti. Za povšimnutie stojí fakt, že ak ako vstupné argumenty použijeme hodnoty 0 a 1 dostaneme výsledky známe z Booleovskej logiky. Tento fakt je známy ako princíp extenzionality, ktorý tvrdí, že výsledky Booleovskej logiky sú získané z operácií vo fuzzy logike, kde všetky stupne príslušnosti sú obmedzené na tradičnú množinu {0,1}. Všeobecne uznávaný názor teda je, že fuzzy logika je 6

13 zovšeobecnením klasickej teórie množín a logiky. V skutočnosti podľa tohto tvrdenia ostré (tradičné) množiny sú fuzzy množiny špeciálneho typu a neexistuje konflikt medzi ostrými (klasickými) a neostrými (fuzzy) metódami. Operácia negácie je rovnaká ako pre klasickú (Booleovskú logiku): µ (x) = 1 - µ ) A A (x (2.3) kde xєx Operácia konjunkcie (AND) predstavuje minimum predikátov F a G: µ ( ) ( x, y) = min{ µ ( x), ( y)} (2.4) A B A µ B kde x X y Y Operácia disjunkcie (OR) predstavuje maximum predikátov F a G: µ ( x, y) = max{ µ ( x), ( )} (2.5) ( A B) A µ B y kde x X y Y Napríklad: Fabia je nové auto. má mieru príslušnosti µ A (x) =0,35 a Fabia je rýchle auto má mieru príslušnosti µ B (y) =0,75. µ (x) = 1 - µ ) A A (x = 1 0,35 = 0,65, xєx, je miera príslušnosti pre výrok Fabia nie je nové auto. Výrok Fabia je nové auto a Fabia je rýchle auto má mieru príslušnosti µ ( ) ( x, y) = min{ µ ( x), ( y)} = min{0,35;0,0,75} = 0,75 A B A µ B Fuzzy(lingvistické) premenné Fuzzy premenná je definovaná štvoricou: V={X, L, U, M}, kde: - X je názov premennej, napr. rýchlosť - L je množina reprezentujúca veľkosť fuzzy premennej, napr. veľká, stredná, malá - U je univerzum, teda rozsah zmien fuzzy premennej - M sú systematické pravidlá určené funkciami príslušnosti Aj v neostrej logike je možné definovať kvantifikátory, ktoré zvyšujú vyjadrovaciu účinnosť. Zaujímavé je, že okrem kvantifikátorov pre všetky a existuje možno definovať kvantifikátory ako spravidla, často, mnoho, málo. Konkrétne príklady takýchto modifikátorov vo fuzzy logike môžu byť: - veľmi, úplne, extrémne všeobecné modifikátory - úplne pravdivé, väčšinou pravdivé pravdivostné modifikátory 7

14 - pravdepodobne, nie veľmi pravdepodobne pravdepodobnostné modifikátory - často, niekedy, málo kvantitatívne modifikátory - skoro nemožné, úplne nemožné prijateľnostné modifikátory Takéto lingvistické ohraničenia môžu byť reprezentované matematickými operátormi. Ak napríklad µ A (x) je funkcia príslušnosti, potom modifikátor veľmi modifikuje túto funkciu kvadraticky: ( ( x)) 2 µ A a modifikátor trocha modifikuje túto funkciu jej odmocninou: µ A (x) Fuzzy pravidlá a fuzzy systémy Fuzzy systémy využívajú fuzzy lingvistické premenné, fuzzy operácie a fuzzy pravidlá AK-POTOM ( IF-THEN ). Fuzzy pravidlá sa skladajú z dvoch častí: antecedent a konsekvent. Antecedent je podmienková časť pravidla a konsekvent je dôsledková časť pravidla(obr. 5). Obr. 5: Príklad fuzzy pravidla s popisom jeho častí Rozlišujeme dva základné typy fuzzy systémov: Takagi-Sugeno-Kang(skrátene označovaný Sugeno) a Mamdani. Rozdiel medzi týmito typmi fuzzy systémov je v konsekvenčnej časti. V systéme typu Mamdani antecedent i konsekvent predstavujú fuzzy množiny. Z tohto dôvodu je potrebný pre výpočet výsledku proces defuzzifikácie z fuzzy tvaru do tvaru numerického. V modeloch typu Mamdani sú pravidlá v podobe: AK ((x je A) a (y je B)) POTOM (z je C), kde A,B,C sú fuzzy množiny a x,y,z sú premenné fuzzy pravidla. Modely typu Sugeno majú konsekvent 8

15 v tvare funkcie, ktorá je lineárna alebo konštantná. Príklad pravidla modelu typu Sugeno: AK ((x je A) a (y je B)) POTOM z=f(x,y), kde A,B sú fuzzy množiny, x,y sú premenné fuzzy pravidla a z je hodnota výstupu fuzzy pravidla, ktorá je vypočítaná pomocou analytickej funkcie f. Keďže prípade modelu typu Sugeno teda nie je potrebný proces defuzzifikácie, keďže použitím analytickej funkcie dostávame ostrú hodnotu, a tak je proces výpočtu dosahuje vyššiu rýchlosť. 2.2 Neurónové siete Ľudia sa už niekoľko desaťročí snažia dosiahnuť pokrok v oblasti inteligencie počítačov. S postupným vývojom počítačov začali vznikať prvé pokusy, ktoré chceli určitým spôsobom napodobniť správanie sa ľudí pomocou počítačov. Otázkou zakomponovania inteligencie do neživej oblasti sa v dnešnej dobe zaoberá vedný odbor Umelá inteligencia(artificial Inteligence). Jedným zo základných prostriedkov umelej inteligencie sú neurónové siete. Simulácie neurónových sietí prekvapivo vykazujú prvky podobné ľudskej inteligencii a to schopnosť učiť sa a zovšeobecňovať predchádzajúce skúsenosti. Neurónové siete sa svojimi vlastnosťami, svojim chovaním, charakterom a schopnosťami najviac približujú ľudskému spôsobu myslenia, práce s nepresnými informáciami a schopnosťami učiť sa zo skúseností pri riešení úloh v minulosti. Tento nový prístup k spracovaniu informácií v súčasnosti tvorí nielen efektívny informatický nástroj na tvorbu a návrh nových paralelných prístupov k riešeniu problémov umelej inteligencie, ale už je aj integrálnou súčasťou modernej neurovedy, pomocou ktorej sa pristupuje k počítačovým simuláciám procesov prebiehajúcich v mozgu. Neurónové siete sú teda založené na rovnakom predpoklade ako je fungovanie mozgu, a teda že základným stavebným prvkom neurónovej siete je neurón. Len mozgová kôra človeka je tvorená asi 13 až 15 miliardami neurónov, pričom každý z nich môže byť spojený s 5000 inými neurónmi. Neuróny sú z biologického hľadiska samostatné špecializované bunky určené na prenos, spracovanie a uchovávanie informácií nutných na realizáciu životných funkcií. 9

16 2.2.1 Vznik umelých neurónových sietí Pôvodným cieľom výskumu neurónových sietí bola snaha pochopiť a modelovať, akým spôsobom myslíme a ako funguje ľudský mozog. Nervová sústava človeka sprostredkúva vzťahy medzi vonkajším prostredím a organizmom i medzi jeho časťami a zaisťuje tak príslušnú reakciu na vonkajšie podnety i vnútorné stavy organizmu. Tento proces prebieha šírením vzruchov z receptorov, ktoré umožňujú prijímať tepelné, mechanické, chemické a svetelné podnety, smerom k iným nervovým bunkám, ktoré tieto signály spracovávajú a privádzajú k príslušným výkonným orgánom, tzv. efektorom. Tieto vzruchy sa po kompresii a filtrácii informácie dostávajú až do mozgovej kôry, ktorá je najvyšším riadiacim centrom nervového systému. Tieto veľmi zjednodušené neurofyziologické princípy nám v dostatočnej miere postačujú na pochopenie podstaty neurónových sietí. Za počiatok vzniku umelých neurónových sietí je považovaná práca Warrena McCullocha a Waltera Pittsa z roku 1943, ktorí vytvorili veľmi jednoduchý matematický model neurónu. Ukázali, že najjednoduchšie typy neurónových sietí môžu v princípe vypočítať ľubbovoľnú aritmetickú alebo logickú funkciu. Elementárnou jednotkou McCullochovej a Pittsovej neurónovej siete je logický neurón (výpočtová jednotka, obr. 6), pričom stav neurónu je binárny (tj. má dva možné stavy, 1 a 0). Dendritický systém logického neurónu obsahuje tak excitačné vstupy(opísané binárnymi premennými x1 x 2,..., x n, ktoré zosilňujú odozvu), ako aj inhibičné vstupy (opísané binárnymi premennými n+ 1 zoslabujú odozvu). x n+ 2 x, x n+ 3,..., x m, ktoré Obr. 6: Logický neurón McCullocha a Pittsa 10

17 Pomocou logického neurónu vieme reprezentovať Booleovské funkcie. Logický neurón klasifikuje len Booleovské funkcie, ktoré sú lineárne separovateľné. Každá Booleovská funkcia je reprezentovaná logickým neurónom vyššieho rádu. Neurónové siete s logickými neurónmi však nie sú schopné učenia a ich architektúra a váhové koeficienty spojov sú fixné(aby vykonával požadovanú Booleovskú funkciu). Podobne neurónové siete, zostrojené z týchto neurónov, sú navrhnuté tak, aby taktiež vykonávali Booleovu funkciu všeobecného tvaru. Konštrukcia neurónovej siete má teda stavebnicový charakter. Používajú sa vopred dané neuróny s požadovanými vlastnosťami, neurónové siete sa neučia (neadaptujú) tak, aby vykonávali požadovanú Boolovu funkciu. Zásluhou Franka Rosenblatta bolo zahrnuté učenie do konštrukcie neurónu typu McCullocha a Pittsa, váhové koeficienty a prahové koeficienty boli pokladané za premenné parametre modelu, ktoré sa nastavia procesom učenia Matematický model neurónovej siete Základným prvkom matematického modelu neurónovej siete je formálny neurón(ďalej iba neurón). Štruktúra formálneho neurónu je znázornená na obrázku 7. Obr. 7: Formálny neurón Takýto neurón sa skladá z n vstupov x,..., x 1 n, ktoré modelujú dendrity. Vstupy sú ohodnotené synaptickými váhami w,..., w 1 n, ktoré určujú ich priepustnosť. Synaptické váhy môžu byť i záporné, čím sa vyjadruje ich inhibičný charakter. Vnútorný potenciál neurónu je zvážená suma vstupných hodnôt neurónu: 11

18 n ξ = w i x i (2.6) i= 1 Po dosiahnutí prahovej hodnoty h indukuje výstup neurónu y, ktorý modeluje elektrický impulz axónu. Nárast výstupnej hodnoty y =σ (ξ ) pri dosiahnutí prahovej hodnoty potenciálu h je daný tzv. aktivačnou(prenosovou) funkciouσ. Najjednoduchšou aktivačnou funkciou je ostrá nelinearita, ktorá ma tvar: 1 ak ξ h σ ( ξ) = (2.7) 0 ak ξ < h Formálnou úpravou sa dá dosiahnuť, že funkcia σ bude mať nulový prah a prah neurónu so záporným znamienkom budeme chápať ako váhu, tzv. bias, w 0 = -h ďalšieho formálneho vstupu x 0 = 1 s konštantnou jednotkovou hodnotou ako je naznačené matematickou formuláciou funkcie neurónu: kde ξ = w i x i. n i= 0 1 ak ξ 0 y = σ ( ξ) = (2.8) 0 ak ξ < 0 Diskrétna aktivačná funkcia býva aproximovaná spojitou(diferencovateľnou) aktivačnou funkciou, prípadne nahradená úplne odlišnou funkciou. Najčastejšie používané sú: σ ( ξ ) = ξ lineárna funkcia (2.9) 1 σ ( ξ ) = logistická sigmoida (2.10) ξ 1+ e ξ 1 e σ ( ξ ) = hyperbolický tangens (2.11) ξ 1+ e Obr. 8: Príklady aktivačných funkcií: lineárna(vľavo), logická sigmoida(v strede) a hyperbolický tangens(vpravo) 12

19 Neurónová sieť sa skladá z formálnych neurónov, pričom tieto sú prepojené tak, že výstup neurónu je vstupom všeobecne viacerých neurónov podobne ako terminály axónu biologického neurónu sú cez synaptické väzby spojené s dendritmi iných neurónov. Z hľadiska využitia neurónov rozlišujeme v sieti vstupné, skryté a výstupné neuróny. Neurónová sieť sa časom vyvíja, menia sa prepojenia a stavy neurónov a adaptujú sa váhy. Dynamiku siete je podľa týchto procesov možné rozdeliť na tri režimy práce siete: organizačná(zmena topológie siete), aktívna(zmena stavu siete) a adaptívna(zmena konfigurácie). Rozlišujeme dva základné typy architektúry: cyklická(rekurentná) a acyklická(dopredná) sieť(obr. 9). V prvom prípade existuje v sieti tzv. cyklus, teda nejaká skupina neurónov je prepojená v kruhu(napr. výstup prvého neurónu je vstupom druhého, toho výstup je vstup tretieho a tak ďalej až nakoniec výstup posledného neurónu je vstupom pre prvý neurón). Najjednoduchším príkladom je spätná väzba neurónu, teda jeho výstup je zároveň jeho vstupom. Obr. 9: Príklady architektúr: vľavo rekurentná sieť, vpravo dopredná sieť V doprednej sieti sa dajú neuróny vždy rozdeliť do vrstiev, ktoré sú usporiadané tak, že spoje medzi neurónmi vedú len z nižších vrstiev do vyšších. Vstupná vrstva je tvorená vstupnými neurónmi a posledná, výstupná vrstva, obsahuje výstupné neuróny. Ostatné, tzv. skryté vrstvy, sú zložené zo skrytých neurónov. V topológii viacvrstvovej siete sú neuróny jednej vrstvy spojené so všetkými neurónmi nasledujúcej vrstvy. Doprednú sieť teda môžeme charakterizovať počtom neurónov v jednotlivých vrstvách, ako napríklad na obrázku 9 vpravo, kde túto sieť môžeme charakterizovať pomocou čísel , teda vstupná vrstva obsahuje 3 13

20 neuróny, prvá skrytá vrstva obsahuje 2 neuróny, druhá skrytá vrstva obsahuje 3 neuróny a výstupná vrstva obsahuje 2 neuróny. Aktívna dynamika neurónovej siete takisto určuje funkciu jedného neurónu. Na začiatku sú(všeobecne reálne) stavy neurónov vstupnej vrstvy nastavené na vstup siete a ostatné, teda skryté a výstupné neuróny sú pasívne. Výpočet viacvrstvovej siete prebieha v diskrétnom čase. V prvom kroku sú aktualizované stavy neurónov prvej skrytej vrstvy, teda prevezmú svoje vstupy od vstupných neurónov, spočítajú vnútorný potenciál a svoj stav(výstup) určia pomocou prenosovej funkcie. V druhom kroku sú aktualizované neuróny druhej vrstvy, a to podľa výstupov z neurónov prvej skrytej vrstvy, ktoré sú vstupmi pre druhú skrytú vrstvu, takto sa pokračuje postupne skrytými vrstvami, teda výpočet prebieha smerom od vstupnej vrstvy cez skryté vrstvy až k výstupnej vrstve. Nakoniec sú aktualizované stavy neurónov výstupnej vrstvy, ktoré vytvoria výstup siete. Adaptívna dynamika špecifikuje počiatočnú konfiguráciu siete a spôsob, akým sa menia váhy v sieti v čase. Na začiatku sa teda nastavia váhy všetkých spojení v sieti na počiatočnú konfiguráciu(obvykle náhodne). Po inicializácii konfigurácie siete prebieha vlastná adaptácia. Cieľom adaptácie je nájsť takú konfiguráciu siete(váh), aby v aktívnom režime realizovala predpísanú funkciu. Pokiaľ sa aktívny režim siete využíva k vlastnému výpočtu funkcie siete pre daný vstup, potom slúži adaptívny režim k učeniu tejto funkcie. Existuje množstvo efektívnych algoritmov na učenie siete. Najznámejším a najpoužívanejším algoritmom je backpropagation algorithm, teda algoritmus spätného šírenia chyby. Učenie neurónovej siete je obvykle zložitý nelineárny optimalizačný problém, ktorého riešenie je i pre menšie úlohy časovo veľmi náročné. Požadovaná funkcia siete je zvyčajne zadávaná tréningovou množinou dvojíc vstup-výstup. Tento spôsob popisu požadovaného chovania siete modeluje učiteľa, ktorý pre vzorové vstupy siete informuje adaptívny mechanizmus o správnom výstupe siete. Preto sa tomuto typu adaptácie vraví aj učenie s učiteľom(napríklad algoritmus spätného šírenia chyby). Iným typom adaptácie je tzv. samoorganizácia. V tomto prípade tréningová množina obsahuje iba vstupy siete, čo modeluje situáciu, keď nie je k dispozícii učiteľ, a preto sa tomuto typu vraví aj učenie bez učiteľa. Neurónová sieť sama organizuje tréningové vzory(napr. do zhlukov) a sama odhaľuje ich súborné vlastnosti. 14

21 Behom trénovania je potrebné sledovať jeho priebeh, čo nám umožňuje tzv. chybová funkcia. Tá môže byť vyjadrená vo viacerých tvaroch: súčet kvadratických chýb(sse), stredná kvadratická odchýlka(mse), pre ktoré platia vzťahy: SSE = 1 MSE = n n n 2 2 ti yi) = ei i= 1 i= 1 ( (2.12) n n 2 ( ti yi ) = i= 1 i= 1 e n 2 i (2.13) kde n je počet trénovacích epoch, y i je výstupná hodnota z neurónovej siete a y i je požadovaná hodnota. Vhodný priebeh učenia sa prejavuje hladkou chybovou funkciou, ktorá ukazuje na vhodne zvolenú množinu trénovacích údajov a na dobre zvolené parametre učenia. Nevhodný priebeh je sprevádzaný plochým alebo oscilujúcim priebehom chybovej funkcie Algoritmus spätného šírenia chyby Najznámejším a najpoužívanejším modelom neurónovej siete je viacvrstvová sieť s učiacim algoritmom spätného šírenia chyby, ktorý sa používa približne v 80% všetkých aplikácií neurónových sietí. [4] Algoritmus spätného šírenia chyby slúži na minimalizovanie chybovej funkcie prostredníctvom adaptácie synaptických váh. Na minimalizáciu sa používajú gradientové metódy. Na vstup neurónovej siete je privádzaný vektor, resp. pre viac vstupných údajov matica vstupných parametrov. Po priechode neurónovou sieťou je výsledok porovnaný s požadovanou hodnotou(cieľom), vypočíta sa chyba a tá sa spätne prepočítava do predchádzajúcich vrstiev a synaptické váhy sú opravené. Do takto opravenej siete sa opäť privádza vstupný vektor alebo matica a proces sa zopakuje. Hľadáme teda minimum chyby medzi výstupnou a požadovanou hodnotou pre všetky vzorky učenia. Pre potenciál neurónu platí: u = n i= 0 wx i i = Wx (2.14) kde x 0 = 1, W je matica váh a x je vstupný vektor, pričom matica váh bola na začiatku inicializovaná. Suma kvadrátov chýb potom bude mat tvar: E = K k= 1 K 2 2 [ e( k) ] = [ t( k) y( k) ] = [ t( k) f( Wxk) )] k= 1 K k= 1 2 ( (2.15) 15

22 kde K je počet vstupov do siete, y je výstup z neurónu, t je požadovaná hodnota a e=t-y je ich rozdiel. Cieľom je úprava W tak, aby bol dosiahnutá minimálna chyba E. Je to nelineárna optimalizácia metódou najmenších štvorcov. Algoritmus môžeme zapísať i maticovým spôsobom pomocou vzťahu: W ( t+ 1) = W ( t) + W ( t) (2.16) kde W (t) je odchýlka aktuálnych váh. Tvar tejto odchýlky odlišuje od seba jednotlivé modifikácie algoritmu.základné učenie využíva len adaptáciu synaptických váh a prahov. Modifikované metódy umožňujú adaptáciu prahov, i sklonov prenosových funkcií, používajú viac optimalizačných parametrov. V tejto práci je použitý pri modelovaní Levenberg-Marquardtov algoritmus, ktorý patrí medzi modifikácie algoritmu spätného šírenia chyby. Základ tohto algoritmu je v aproximácii Hesseho matice pomocou Jacobiho matice, čo je možné ak má chybová funkcia podobu sumy kvadrátov(typické pre trénovanie dopredných viacvrstvových sietí). Algoritmus učenia potom môžeme zapísať v tvare: T T [ J J + I] J e Wk +1 = Wk µ (2.17) kde J je Jacobian derivácií chýb v závislosti na váhach, e je vektor chýb a konštanta µ sa nazýva momentum, je to skalárna hodnota, pričom ak je táto hodnota rovná nule, zmena váh je založená výhradne na gradiente, ak je rovná jednej, zmena váh je rovná poslednej zmene váh(gradient je ignorovaný), obvyklé hodnoty sú v rozmedzí 0,6 < µ < 0,9. Tento algoritmus je považovaný za najrýchlejší, avšak je mimoriadne náročný na pamäť, a preto sa dá použiť len pre výpočty menších sietí. 16

23 3 Opis riešenia Táto kapitola je zameraná na samotné modelovanie diskrétnych nelineárnych procesov. Všetky použité modely pracovali nad údajmi z oblasti dopravy, pričom pre modelovanie pomocou fuzzy-neuro prístupu boli využité vstupné a výstupné údaje z oblasti dopravy namerané pre DC motor použitý v motore vlaku, pričom vstupom tohto motora je napätie a výstupom je uhlová rýchlosť, ktorou pôsobí na istú záťaž, teda mení elektrickú energiu na mechanickú. V problematike využitia neurónových sietí som použil údaje z relé použitého v lietadle, ktoré slúži na udržanie stability lietadla počas letu. Keď lietadlo dosiahne istú hraničnú výšku, zapne sa toto relé na určitý výkon a začne korigovať výšku. Po dosiahnutí určitej hranice sa opäť vypne. V prvej časti kapitoly je stručne opísaná tvorba ARX-modelu a následná simulácia vytvoreného modelu pomocou vstupov. Tento model síce nesúvisí so študovanými soft-metódami, ale poskytuje iný pohľad na možnosti modelovania diskrétnych procesov a aj možnosť porovnania výsledkov dosiahnutých ARXmodelom oproti výsledkom dosiahnutých modelovaním fuzzy-neuro metódami. Druhá časť sa zaoberá popisom modelovania pomocou používateľského prostredia Anfis-editora, ktorý je súčasťou balíka Fuzzy Logic Toolbox programového prostredia Matlab. Anfis-editor používa adaptívny neuro-fuzzy prístup, teda kombináciu študovaných soft-metód. Tretia časť kapitoly je venovaná modelovaniu pomocou umelých neurónových sietí(uns). Na túto úlohu bolo použité používateľské prostredie balíka Neural Network Toolbox programového prostredia Matlab. V oboch posledne menovaných častiach je popísaný spôsob vytvorenia modelov, trénovania na trénovacích údajoch a následného simulovania na vzorke vstupov. Sú v nich obsiahnuté i grafické výstupy z programového prostredia Matlab, výsledky trénovania a simulácie z jednotlivých modelov a sú tu spomenuté viaceré aspekty, ktoré majú vplyv na optimalizáciu spomenutých modelov. Z hľadiska optimalizácie boli menené niektoré parametre vytvárania a trénovania modelov pre dosiahnutie čo najlepšieho výsledku. V závere spomenutých častí sa nachádzajú výsledky jednotlivých prístupov modelovania v prehľadných tabuľkách a pre niektoré výsledky sú uvedené aj grafy. Porovnal som medzi sebou aj vytvorené fuzzy-neuro modely a podobne aj modely 17

24 neurónových sietí. Porovnanie som zrealizoval vypočítaním strednej kvadratickej chyby(mean square error - MSE) pri simulácii natrénovaných modelov. Výsledný programový systém som neriešil pomocou editorov, ale pomocou funkcií, ktoré tieto editory používajú. To si vyžadovalo naštudovanie si všetkých funkcií, ktoré sú potrebné na vytvorenie a natrénovanie jednotlivých modelov. Použité funkcie s vysvetlením sa nachádzajú v technickej dokumentácii k projektu. 3.1 ARX-model ARX-model (Autoregressive with exogenous variable) je vstupno-výstupný model s dopravným oneskorením. Slúži na identifikáciu štruktúry diskrétnych dynamických modelov. Štruktúra ARX-modelu: y( t) + a y( t 1) + a y( t 2) a = bu( t nk) + bu( t 1 nk) + b nb na y( t na) = u( t nb nk+ 1) + e( t) (3.1), kde: - parametre na a nb sú rády ARX-modelu a nk je dopravné oneskorenie. - y(t) je výstup v čase t, u(t) je vstup v čase t a e(t) je porucha v čase t Diferenčná rovnica procesu: A( q) y( t) = B( q) u( t nk ) + e( t) (3.2) kde: A( q) = 1+ aq a n q 1 na 1 (3.3) a b = n + 1 B ( q) b1 b2q... b n q (3.4) V programovom prostredí Matlab je na vytvorenie ARX-modelu systému určený príkaz arx(data,orders), kde data je matica vstupov a výstupov, orders predstavuje vektor celých čísel, ktoré udávajú rády matíc A a B a dopravné oneskorenie. Ako vstupné a výstupné údaje som použil maticu tr2, údaje zložené z 2 stĺpcových vektorov vstupov aktuálnej hodnoty vstupného napätia V(t) a hodnoty predchádzajúceho výstupu ω(t 1), teda uhlovej rýchlosti, a stĺpcového vektora výstupu ω(t). Takto identifikovaný model som následne využil pri simulácii. Na simuláciu som použil vstupné údaje z matice te2, ktorá má rovnakú štruktúru ako tr2. Získané hodnoty výstupu zo simulácie som porovnal s nameranými výstupmi a vypočítal som chybu MSE, ktorú neskôr porovnávam s chybami vypočítanými z výstupov fuzzy-neuro modelu a modelu neurónovej siete. Nakoniec som vykreslil dva grafy. V prvom je znázornený výstup z nameraných údajov v porovnaní s výstupom z ARX-modelu(obr. 10) a v druhom grafe je vykreslený rozdiel týchto b 18

25 výstupov, teda chyba modelovania(obr. 11). Vypočítaná hodnota MSE z tohto modelu a uvedených údajov je 9,345. Obr. 10: Zobrazenie výstupov z ARX-modelu a nameraných výstupov Obr. 11: Zobrazenie rozdielu nameraných výstupov a výstupov z ARX-modelu 19

26 3.2 Fuzzy-neuro model V tejto časti kapitoly sa zameriavam na funkciu anfis a používateľské rozhranie ANFIS Editor, ktoré sa nachádzajú v balíku Fuzzy Logic Toolbox programového prostredia Matlab. Tieto nástroje aplikujú fuzzy inferenčné techniky na modelovanie. Akronym Anfis je odvodený od názvu Adaptive-Network-based Fuzzy Inference Systems, pričom z mnemotechnických príčin bol tento názov skrátený na Adaptive Neuro-Fuzzy Inference Systems. Nástroj Anfis poskytuje možnosť modelovať systém s využitím kombinácie techník fuzzy logiky a neuro-adaptívneho učenia. Fuzzy logika je reprezentovaná štruktúrou fuzzy inferenčného systému(fis štruktúra). Vytvorenie FIS štruktúry je v programovom prostredí Matlab možné v grafickom používateľskom prostredí zadaním príkazu fuzzy. Po zadaní tohto príkazu Matlab otvorí okno FIS Editora, pričom vytvorí už prednastavenú FIS štruktúru typu Mamdani. Tento editor poskytuje možnosť vytvoriť a meniť vlastnosti FIS štruktúry typu Mamdani alebo typu Sugeno. FIS Editor(obr. 12) umožňuje manipulovať s počtom premenných vstupu a výstupu. Ďalej obsahuje: Rule Editor určený na prácu s pravidlami(pridávanie, zmena, zmazanie pravidiel), Membership Function Editor určený na prácu s funkciami príslušnosti(zmena rozsahu premenných, typ funkcie príslušnosti, rozloženie funkcií príslušnosti) pre jednotlivé premenné vstupu a výstupu, Rule Viewer(obr. 13) slúžiaci na prehľad a testovanie inferenčného mechanizmu, a Surface Viewer(obr. 14), ktorý slúži na zobrazenie grafu závislosti výstupu na jednom alebo dvoch vybraných vstupoch. Posledný editor, ktorý je možné spustiť vo FIS Editore je práve Anfis Editor. 20

27 Obr. 12: FIS Editor s načítanou FIS štruktúrou typu Sugeno s 2 vstupmi Obr. 13: FIS Editor Rule Viewer zobrazuje fuzzy inferenčný diagram Obr. 14: FIS Editor Surface Viewer graf závislosti výstupu out1(aktuálna uhlová rýchlosť) od vstupov in1(predchádzajúca uhlová rýchlosť), in2(aktuálne napätie) 21

28 Anfis Editor nepodporuje všetky nastavenia FIS štruktúry, podporuje konkrétne iba FIS štruktúru typu Sugeno, pričom aj táto je obmedzená určitými vlastnosťami, ktoré musí spĺňať, napríklad akceptuje iba poskytované funkcie príslušnosti a defuzzifikačné funkcie, neumožňuje používať spomenuté funkcie vytvorené používateľom. Vzhľadom na to, že by bolo dosť náročné určiť parametre funkcií príslušnosti iba pohľadom na vstupné a výstupné údaje, rozhodol som sa použiť funkciu genfis2, ktorá vygeneruje FIS štruktúru typu Sugeno, a to zo vstupných a výstupných údajov a polomeru zhlukovania použitím metódy subtraktívneho zhlukovania(subtractive Clustering). Táto metóda je založená na porovnávaní hustoty dátových bodov v príznakovom priestore. Hľadajú sa regióny s veľkou hustotou údajových bodov v príznakovom regióne. Bod s najväčším počtom susedov je vybraný ako centrum pre zhluk. Dátové body vo vnútri predšpecifikovaného fuzzy polomeru sú potom odstránené (subtraktované) a algoritmus sa pozerá po novom bode s najvyšším počtom susedov. To pokračuje pokým všetky dátové body nie sú prehľadané. [6] Zo zadania malej hodnoty polomeru zhlukovania zvyčajne rezultuje mnoho malých zhlukov v údajoch a veľký počet funkcií príslušnosti, naopak veľká hodnota polomeru spôsobí, že zhlukov v údajoch bude len niekoľko, ale budú veľké a počet funkcií príslušnosti teda bude menší. Anfis Editor poskytuje i inú možnosť vytvorenia FIS štruktúry a to pomocou metódy grid partition. Pre modelovanie pomocou funkcie anfis je potrebné si najskôr načítať trénovacie údaje. Po tomto kroku si buď vytvoríme FIS štruktúru pomocou metódy grid partition alebo subtractive clustering, alebo si FIS štruktúru načítame z externého zdroja. Po načítaní FIS štruktúry Anfis Editor umožňuje prehliadnuť si štruktúru Anfis modelu(obr. 15). 22

29 Obr. 15: Anfis Editor zobrazenie štruktúry Anfis modelu, ktorý obsahuje 6 vstupných premenných, 12 funkcií príslušností, 2 pre každý vstup, ďalej 2 pravidlá v inferenčnom mechanizme a 2 funkcie príslušnosti výstupu Následne musíme zvoliť metódu optimalizácie pri procese učenia, v ktorom sa menia(odhadujú) parametre týkajúce sa funkcií príslušnosti. Tu ide o neuroadaptívne učenie, ktoré má veľmi blízko k podstate neurónových sietí. Na výber sú dve metódy: backpropagation method, teda algoritmus spätného šírenia chyby a hybrid method, teda hybridná metóda, ktorá využíva metódu najstrmšieho gradientu v kombinácii s metódou najmenších štvorcov. Po výbere jednej zo spomenutých metód je ešte možné nastaviť toleranciu chyby, ktorá v Anfis Editore predstavuje hodnotu RMSE(root mean square error), teda druhú odmocninu strednej kvadratickej chyby a nakoniec je možné nastaviť aj počet epoch, ktoré sa bude učenie vykonávať. Po dosiahnutí jednej z týchto dvoch hodnôt sa adaptívne učenie zastaví a výsledkom je FIS štruktúra natrénovaná podľa trénovacích údajov. V tejto práci som použil ako parametre optimalizácie hybridnú optimalizačnú metódu, toleranciu chyby 0.01 a počet epoch na trénovanie 200. Tieto parametre som aplikoval na 6 rôznych druhov FIS štruktúr, ktoré sa odlišovali v počte vstupných premenných. So zvyšujúcim sa počtom vstupných premenných pre FIS sa zvyšoval aj počet pravidiel a počet funkcií príslušnosti pre jednotlivé vstupné premenné. Týmto spôsobom som sa snažil docieliť čo najlepší a najpresnejší model, teda optimálny model. Následne som vykonal testovanie na testovacích údajoch 23

30 a vykreslil som hodnoty namerané v porovnaní s hodnotami získanými z funkcie evalfis, ktorá zo vstupných hodnôt testovacích údajov a príslušnej FIS štruktúry vypočíta výstupy z danej FIS štruktúry. Modely som porovnával pomocou hodnoty strednej kvadratickej chyby MSE, ktorú som vypočítal pre každý model z nameraných výstupov a výstupov získaných pomocou funkcie evalfis. Ako postačujúcu hodnotu optimálneho modelu som si určil hodnoty MSE v rádoch 10-4, ktoré sú dostatočne malé na to, aby poskytli presný model systému. Nastavené parametre sú viditeľné na obrázku 16. Obr. 16: Anfis Editor načítanými trénovacími údajmi, FIS štruktúrou a nastavenými optimalizačnými parametrami Pre spomenuté hodnoty optimalizačných parametrov sa hodnoty MSE pre jednotlivé FIS štruktúry odlišovali už v prvých 3 prípadoch v rozmedzí rádov , v prvom prípade bola chyba veľmi veľká(8,945), pretože som ako vstup FIS štruktúry uvažovali len aktuálnu hodnotu napätia. Aproximovanú funkciu Anfis modelom teda môžeme zapísať v tvare ω ( k ) = f ( V ( k)), kde ω (k) je aktuálna hodnota výstupu uhlovej rýchlosti v čase k, V(k) je aktuálna hodnota vstupu napätia v čase k. V druhom prípade som vylepšil FIS štruktúru pridaním predchádzajúcej hodnoty výstupu, teda uhlovej rýchlosti. Funkcia výstupu má podobu ω ( k) = f ( ω( k 1), V ( k)) 24

31 a výsledok sa prejavil v zmenšení chyby MSE na 0, Tretia štruktúra FIS má na vstupe aktuálnu hodnotu a predchádzajúcu hodnotu napätia a predchádzajúce 2 hodnoty výstupu, uhlovej rýchlosti. Funkcia má tvar ω ( k) = f ( ω( k 1), ω( k 2), V ( k), V ( k 1)). V tomto prípade už dostávame žiadaný výsledok presnosti, keďže MSE má hodnotu 8, V nasledujúcich príkladoch sa podobným štýlom obohacovala množina vstupných premenných a chyba MSE sa ešte zmenšovala. Prvé dva príklady sa zastavili po dosiahnutí hodnoty 200 epoch, a keďže sa žiadaný cieľ nepodarilo splniť, učiaci proces sa skončil. V treťom príklade bola v 123. epoche hodnota RMSE = a v nasledujúcej dosiahla hodnotu , čo je splnenie cieľa a proces trénovania ďalej nepokračoval. Pri nastavenej hodnote RMSE = 0,01 sa od štvrtej FIS štruktúry trénovanie skončilo už v epoche č.1, čo je spôsobené presnosťou FIS štruktúry, keďže obsahuje niekoľko predošlých hodnôt vstupu a výstupu, a preto dosahuje požadovanú presnosť okamžite. Tab. 2: Porovnanie výsledkov výstupov z FIS štruktúr MSE a RMSE po trénovaní v Anfis Editore Počet Počet Dosiahnutá Dosiahnutá Názov FIS predchádzajúcich predchádzajúcich pri trénovaní trénovacích testovacích Počet epoch RMSE na MSE na štruktúry vstupov(+1 v Matlabe aktuálny vstup) výstupov údajoch údajoch fismat ,563 8,945 fismat , , fismat , , fismat , , fismat , , fismat , , Používanie príliš veľkého počtu vstupov však má vplyv na iné skutočnosti, ktoré som odhalil pri trénovaní s cieľom dosiahnuť ešte lepší výsledok. Nastavil som hodnotu RMSE na 0,0001 a spustil som trénovanie. Dosiahnuté hodnoty MSE na testovacích údajoch boli síce podobné, ale so zvyšujúcim sa počtom vstupných premenných vo FIS štruktúre sa badateľne zväčšoval aj čas výpočtu, teda proces trénovania. Je to spôsobené tým, že keď zväčšíme počet vstupov, metóda genfis2 vyrobí síce presnejšiu FIS štruktúru, ale to má za následok väčší počet funkcií príslušnosti na 25

32 strane antecedentu a väčší počet pravidiel inferenčného mechanizmu. To sa odráža vo väčšej výpočtovej zložitosti algoritmu počas adaptívneho učenia a tento proces trvá podstatne dlhšie, preto z nášho. Vzhľadom na hľadanie optimálneho modelu je dôležité pozerať sa na výpočet aj z tohto pohľadu. Napríklad v prípade FIS štruktúry fismat4 prebehol výpočet za 1,829 sekundy a pri FIS štruktúre fismat5 za 4,469, čo predstavuje vyše dvojnásobný nárast času na výpočet, pričom výsledky MSE na testovacích údajoch sa pohybujú v rovnakých rádoch Preto z hľadiska časovej a výpočtovej náročnosti je možné povedať, že model fismat4 je lepší ako model fismat5 a môžeme ho považovať za najlepší. Obr. 17: Porovnanie výstupov simulácie modelu vytvoreného pomocou príkazu anfis s jednou vstupnou premennou vo FIS štruktúre 26

33 Obr. 18: Porovnanie výstupov simulácie modelu vytvoreného pomocou príkazu anfis s dvomi vstupnými premennými vo FIS štruktúre Obr. 19: Porovnanie výstupov simulácie modelu vytvoreného pomocou príkazu anfis so štyrmi vstupnými premennými vo FIS štruktúre 27

34 Obr. 20: Porovnanie výstupov simulácie modelu vytvoreného pomocou príkazu anfis so šiestimi vstupnými premennými vo FIS štruktúre Obr. 21: Porovnanie výstupov simulácie modelu vytvoreného pomocou príkazu anfis s ôsmymi vstupnými premennými vo FIS štruktúre 28

35 Obr. 22: Porovnanie výstupov simulácie modelu vytvoreného pomocou príkazu anfis s desiatimi vstupnými premennými vo FIS štruktúre 3.3 Modely neurónových sietí Na modelovanie pomocou UNS som použil príkazy balíka Neural Network Toolbox programového prostredia Matlab. Pre prácu v grafickom prostredí je potrebné zadať príkaz nntool. Toto grafické prostredie dáva dobré predpoklady na jednoduché vytvorenie modelu s rôznymi parametrami. Po zadaní príkazu sa objaví okno Networ/Data Manager(obr. 23 vľavo), kde je možné pracovať s údajmi a s neurónovými sieťami. Pokiaľ sú údaje a sieť už vytvorené, je ich možné načítať a naimportovať z disku alebo z aktuálneho pracovného priestoru. Pokiaľ údaje alebo sieť nie sú vytvorené, dajú sa vytvoriť pomocou tohto manažéra po stlačení tlačidla New Data..., resp. New Network.... Pri vytváraní siete(obr. 23 vpravo) postupne zvolíme názov siete(názov premennej), typ siete(dopredná sieť s metódou spätného šírenia chyby, perceptrón, Hopmanova sieť...), rozsahy vstupov, optimalizačnú funkciu pre tréning(využívajúcu Levenberg-Marquardt-ov algoritmus, Kvázi-Newtonoskú metódu...), adaptačnú funkciu učenia(metódu prostého gradientu s koeficientom momentum a metódu prostého gradientu), chybovú funkciu(mse, MSEREG, SSE), počet vrstiev 29

36 neurónovej siete a pre jednotlivé vrstvy počet neurónov v nich spolu a aktivačnú funkciu pre zvolenú vrstvu. Obr. 23: Network/Data Manager(vľavo) a možnosti nastavenia parametrov pri vytváraní novej siete(vpravo) Po vytvorení neurónovej siete a načítaní potrebných údajov je možné začať procestrénovania neurónovej siete. V okne Data/Network Manager označíme sieť, ktorú chceme trénovať a v možnostiach práce so sieťou zvolíme Train... Obr. 24: Nastavenie vstupov a cieľov pri trénovaní siete Zvolíme vstupy a ciele, nastavíme parametre trénovania, voliteľné údaje a názvy výstupných premenných(obr. 24). Po zadaní týchto vstupov môžeme spustiť 30

37 trénovanie. Pri trénovaní sa otvorí okno s grafom, kde je zobrazená hodnota cieľovej chybovej funkcie, aktuálna hodnota chybovej funkcie a podľa zadania vstupných údajov aj hodnota chybovej funkcie pre testovacie a validačné údaje aktuálnej epoche. Obr. 25: Proces trénovania siete, zobrazenie chybových funkcií: modrá trénovacia, zelená validačná, červená testovacia, čierna cieľ Obr. 26: Štruktúra siete s desiatimi vstupnými neurónmi, desiatimi neurónmi a aktivačnou funkciou hyperbolický tangens v skrytej vrstve, a jedným neurónom a lineárnou aktivačnou funkciou vo výstupnej vrstve 31

38 Okrem trénovania je možné pre sieť vykonať aj adaptáciu, simuláciu, nastavenie či opätovnú inicializáciu rozsahov vstupov, váh a prahov, a tiež prezrieť si štruktúru vytvorenej siete(obr. 26). Výsledky po vykonaní jednotlivých procesov je možné pomocou tlačidla Export uložiť do aktuálnej pracovnej plochy. Pri modelovaní som pracoval s doprednými neurónovými sieťami, ktoré mali 3 vrstvy: - vstupná vrstva - skrytá vrstva - výstupná vrstva Vstupná vrstva sa v jednotlivých modeloch líši počtom neurónov v rozsahu Skrytá vrstva obsahuje 15 neurónov s aktivačnou funkciou tansig hyberbolický tangens. Výstupná vrstva obsahuje iba 1 neurón s aktivačnou funkciou purelin lineárna funkcia, pretože výsledkom pre zadané vstupy má byť len jediná hodnota. Funkcie procesu v podobách: y ( k) = f ( u( k)), y( k) = f ( y( k 1), u( k)), y ( k) = f ( y( k 1), y( k 2), u( k), u( k 1)),..., y( k) = f ( y( k 1), y( k 2), y( k 3), y( k 4), y( k 5), y( k 6), y( k 7), y( k 8), y( k 9),..., sú aproximované... uk ( ), uk ( 1), uk ( 2), uk ( 3), uk ( 4), uk ( 5), uk ( 6), uk ( 7), uk ( 8)) príslušnými neurónovými sieťami. Pre jednotlivé modely som vytvoril vzorky údajov. Na trénovanie som zvolil množinu 410 údajov, testovacia množina a množina validačných údajov má veľkosť 110 údajov a na simuláciu som použil 1000 vzoriek údajov. Pomocou funkcií minima a maxima som si určil rozsahy vstupných aj výstupných údajov. V programovom prostredí Matlab som funkciou newff(boundariesx, network_layers, transfer_fcns, training_fcn, learning_fcn, performance_fcn) vytvoril doprednú neurónovú sieť, pričom boundariesx je rozsah vstupných premenných(x je v mojom prípade číslo siete, pre X = 1 je rozsah 3,5;6, 5 ), network_layers je počet neurónov skrytých vrstiev a nakoniec výstupnej vrstvy(v mojom prípade jedna skrytá vrstva s desiatimi neurónmi a výstupná vrstva s jedným neurónom, teda [10 1]). Nasledujú funkcie: transfer_fcns sú aktivačné funkcie jednotlivých skrytých vrstiev a výstupnej vrstvy(v tomto prípade { tansig, purelin }), training_fcn je trénovacia funkcia(v tomto prípade trainlm, teda trénovanie metódou Levenberg-Marquardt), learning_fcn je učiaca funkcia( learngdm ) a napokon performance_fcn je chybová 32

39 funkcia( mse ). Po vytvorení takejto siete som nastavil parametre trénovania a to(v zátvorkách je uvedený nastavená hodnota parametra): - počet epoch, po ktorých sa trénovanie pri nedosiahnutí požadovanej presnosti zastaví(300) - cieľ presnosť chybovej funkcie(0,0001) - počet zobrazených epoch po tomto počte sa zobrazí pokrok(30) - maximálny počet neúspechov označuje maximálny počet po sebe idúcich epoch, v ktorých sa nepodarilo zmenšiť chybovú funkciu, resp. zostáva na rovnakej hodnote, táto hodnota sa počíta pre validačné údaje a pri jej dosiahnutí ide o skoré zastavenie trénovania(50) Na trénovanie bola použitá metóda Levenberg-Marquardt, ktorá je modifikáciou algoritmu spätného šírenia chyby. Boli použité štyri množiny údajov: trénovacia, testovacia, validačná a simulačná, pričom prvé tri sa používajú pri trénovaní. Po natrénovaní každej jednej siete som vykonal simuláciu pre trénovacie, testovacie, validačné a simulačné údaje, pričom každý z týchto výstupov zo siete som dal do porovnania s nameranými hodnotami výstupov danej množiny údajov. Keďže sa pri vytváraní siete nastavujú váhy a prahy na hodnotu, ktorá sa generuje a je teda po každom spustení programu odlišná, spravil som 10 nezávislých pokusov na každej sieti, na základe ktorých som vypočítal priemer zo získaných hodnôt. Vypočítané výsledky sú uvedené v tabuľke 3. Tabuľka 3: Porovnanie výstupov z neurónových sietí pomocou MSE Názov siete Priemerný počet Počet neurónov MSE pri MSE pri v programovom epoch pri vstupnej vrstvy trénovaní simulácii systéme trénovaní nn_15_ ,147 45,177 nn_15_ , , nn_15_ , , nn_15_ , , nn_15_ , nn_15_ , , nn_15_ , , nn_15_ , , nn_15_ , , nn_15_ , ,

40 Pre vytvorenie čo najlepšieho a najpresnejšieho modelu môžeme vziať do úvahy viacero faktorov, ktoré ovplyvňujú optimalizáciu skúmaného procesu. Medzi tieto faktory by som zaradil počet neurónov vo vstupnej vrstve a v skrytej vrstve, výber funkcie pre proces trénovania, vhodne zvolenú množinu údajov na trénovanie a parametre trénovania. Najhoršie výsledky boli dosiahnuté, keď vstupná vrstva obsahovala 1 neurón, v tom prípade sa chyba MSE pri simulácii pohybovala rádovo v desiatkach. Keď sa za vstupy začali považovať aj predchádzajúce hodnoty výstupov, chyba začala rapídne klesať a bola v okolí hodnoty 10-2, to bolo v prípadoch sietí 2 až 4. Na obrázkoch 27 až 29 sú zobrazené výstupy zo siete nn_15_2, kde je chyba ešte veľmi zreteľná. Obr. 27: Trénovanie siete nn_15_2(vľavo), porovnanie výstupu neurónovej siete pri vstupe trénovacích údajov s nameranými výstupmi(vpravo) Obr. 28: Porovnanie výstupu neurónovej siete pri vstupe testovacích údajov s nameranými výstupmi (vľavo), porovnanie výstupu neurónovej siete pri vstupe validačných údajov s nameranými výstupmi(vpravo) 34

41 Obr. 29: Porovnanie výstupu neurónovej siete pri vstupe simulačných údajov s nameranými výstupmi Pre lepšiu predstavivosť je možné povedať, že chyba je tým väčšia, čím zreteľnejšie je vidieť na obrázkoch modrú krivku, teda krivku, ktorou sú zobrazené namerané údaje. V presnejších modeloch zelená krivka, teda krivka výstupov z UNS, takmer prekrýva modrú krivku, čiže odchýlky sú veľmi malé. Takýto stav je možné vidieť na výstupoch z neurónovej siete nn_15_7 na obrázkoch 30 až 32. Obr. 30: Trénovanie siete nn_15_7(vľavo), porovnanie výstupu neurónovej siete pri vstupe trénovacích údajov s nameranými výstupmi(vpravo) 35

42 Obr. 31: Porovnanie výstupu neurónovej siete pri vstupe testovacích údajov s nameranými výstupmi (vľavo), porovnanie výstupu neurónovej siete pri vstupe validačných údajov s nameranými výstupmi(vpravo) Obr. 32: Porovnanie výstupu neurónovej siete pri vstupe simulačných údajov s nameranými výstupmi Táto UNS už dáva veľmi dobré výsledky, keď sa MSE blíži k a je možné povedať, že ide o jeden z najlepších modelov zo skúmaných. Predošlé modely totiž neposkytujú dostatočnú presnosť, ba vo viacerých prípadoch sú veľmi nepresné. Nasledujúce modely, teda modely 8-10, dosahujú približne rovnaké, prípadne o málo horšie výsledky, no navyše kvôli počtu neurónov vo vstupnej vrstve trvá výpočet 36