TECHNICKÁ UNIVERZITA V KOŠICIACH. Predikcia počasia prostredníctvom neurónových sietí BAKALÁRSKA PRÁCA FAKULTA ELEKTROTECHNIKY A INFORMATIKY

Transcription

1 TECHNICKÁ UNIVERZITA V KOŠICIACH FAKULTA ELEKTROTECHNIKY A INFORMATIKY Predkca počasa prostredníctvom neurónových setí Ján ADAMČÁK BAKALÁRSKA PRÁCA 2010

2 TECHNICKÁ UNIVERZITA V KOŠICIACH FAKULTA ELEKTROTECHNIKY A INFORMATIKY Katedra kybernetky a umelej ntelgence Predkca počasa prostredníctvom neurónových setí BAKALÁRSKA PRÁCA Ján Adamčák Vedúc bakalárskej práce: Ing. Rudolf Jakša, PhD. Konzultant bakalárskej práce: Košce 2010

3 Analytcký lst Autor: Ján Adamčák Názov práce: Predkca počasa prostredníctvom neurónových setí Podnázov práce: Jazyk práce: slovenský Typ práce: Bakalárska práca Počet strán: 54 Akademcký ttul: Bakalár Unverzta: Techncká unverzta v Košcach Fakulta: Fakulta elektrotechnky a nformatky (FEI) Katedra: Katedra kybernetky a umelej ntelgence () Študjný odbor: Kybernetka Študjný program: Kybernetka Mesto: Košce Vedúc práce: Ing. Rudolf Jakša, PhD. Konzultant práce: Dátum odovzdana: 24. máj 2010 Dátum obhajoby: 15. jún 2010 Kľúčové slová: Predkca, počase, neurónová seť Kategóra konspekt: Výpočtová technka; Umelá ntelgenca Ctovane práce: Adamčák, Ján: Predkca počasa prostredníctvom neurónových setí. Bakalárska práca. Košce: Techncká unverzta v Košcach, Fakulta elektrotechnky a nformatky, s. Názov práce v AJ: Weather Predcton Usng Neural Networks Podnázov práce v AJ: Kľúčové slová v AJ: Predcton, Weather, Neural Network

4 Abstrakt v SJ Táto bakalárska práca sa zaoberá predkcou počasa prostredníctvom umelej neurónovej sete. Dáta, ktoré bol použté pr expermentoch bol spracované Ing. Jurajom Koščákom, ktorý ch získal od spoločnost Weather Underground, Inc. pre lokaltu Košce-Letsko. V prác je opísaný prncíp doprednej neurónovej sete s učacm algortmom spätného šírena chyby, na ktorej bol vykonané expermenty. Ceľom expermentov je nájsť vhodnú topológu sete pre masívne učene veľkého množstva dát s vysokou spoľahlvosťou učena. Abstrakt v AJ Ths bachelor thess deals wth a weather predcton usng artfcal neural network. Data, that are used n experments were processed by Ing. Juraj Koščák. Data orgn s n Weather Underground, Inc. Data have been measured n the staton Košce Arport. Ths thess s based on Feed-Forward neural networks, whch s learned wth backpropagaton algorthm. Ths type of neural network s used n experments. Goal of experments s to found deal topology of neural network for learnng from huge data wth hgh relablty of learnng.

5

6 Čestné vyhlásene Vyhlasujem, že som celú bakalársku prácu vypracoval samostatne s použtím uvedenej odbornej lteratúry. Košce, 24. máj vlastnoručný podps

7 Poďakovane Ďakujem vedúcemu mojej bakalárskej práce Ing. Rudolfov Jakšov, PhD. za cenné rady a usmernene pr rešení tejto bakalárskej práce.

8 Predhovor Problematka predkce počasa je neustále predmetom výskumov, nakoľko od tohto závsí schopnosť prípravy na najblžše okamhy v premysle č bežnom žvote. Pr plánovaní výroby je možné podľa nformác o počasí odhadnúť a naplánovať spotrebu energí pre premyselný komplex, č cvlný objekt. Na základe plánovanej spotreby sa dokážu výrobcova energí prpravť na dodávku energí pre spotrebteľov. Ak je známe predpokladané množstvo spotrebovanej energe, výrobca sa snaží zabezpečť prebytok energe, aby jej pre prípad potreby nebolo málo, avšak veľký prebytok energe je nehospodárny. Pr plánovaní odevu, v ktorom sa ľuda pohybujú má predkca počasa úlohu ochrany pred chorobam spôsobeným klmatcky nevhodným oblečením. Pr súčasnom rozvoj výpočtovej technky získavame výpočtový výkon pre umelé neurónové sete, ktoré pracujú ako unverzálny aproxmátor funkce. Mojím ceľom je navrhnúť neurónovú seť, ktorá bude predkovať počase a overť jej funkcu expermentm na zvolenej množne dát.

9 Obsah Úvod Formuláca úlohy Úvod do problematky predkce Úvod do problematky predkce počasa Úvod do predkce prostredníctvom neurónových setí Návrh systému na predkcu počasa Spracovane dát Konverza dát Návrh topológe sete Programovane neurónovej sete Expermenty Experment č Experment č Experment č Experment č Experment č Experment č Experment č Experment č Experment č Experment č Experment č Experment č Experment č Experment č Experment č Experment č Záver Zoznam použtej lteratúry Prílohy... 54

10 Úvod Náplňou tejto práce je lokálna predkca počasa, resp. teploty ovzduša v meste Košce. Ako predktor je použtá umelá neurónová seť. Výsledkom tejto práce má byť navrhnutý funkčný systém, ktorý bude predkovať teploty ovzduša s dostatočnou rýchlosťou a dostatočnou presnosťou. Počase je stav atmosféry, ktorý sa prejavuje teplotou ovzduša, tlakom vzduchu, rýchlosťou a smerom vetra, vdteľnosťou, dažďom a pod. Hlavný vplyv na počase má slnečné žarene, pretože vďaka otáčanu zeme okolo svojej os ohreva planétu nerovnomerne. Nerovnomerný ohrev spôsobuje vyparovane vody a zmenu tlaku vzduchu. Ak je na dvoch mestach rôzny tlak vzduchu, tak prebeha automatcké vyrovnávane tlaku, čo sa prejavuje ako vetor. Ak je v atmosfére veľké množstvo vody, tak prší za tepla a v zme sneží. Pr presune dažďových oblakov atmosférou za pomoc vetra sa nektoré oblaky nabíjajú elektrostatckou energou a po nabtí prebeha búrka, čo je vlastne vyrovnane elektrckých potencálov v oblakoch. Toto sú stručne popísané atmosfércké deje, známe ako počase na zem. Predpovedane budúcnost prťahuje ľudí od nepamät. Veď ak je známe čo sa stane, dá sa na to prpravť. Najčastejše a najdôveryhodnejše sa predpovedá práve počase. Väčšna našch voľno časových aktvít závsí na počasí, preto nečudo, že sa o počase zaujíma každý. Globálnu predpoveď počasa veme nájsť v dennej tlač, rozhlase, televíz a na nternete. Pre poľnohospodárov má väčší význam lokálna predpoveď počasa, ktorá sa týka práve ch poľa. Závsí od nej potreba umelého zavlažovana č odvodňovana a možnosť aplkáce chemckých prípravkov prot škodcom. Výsledky expermentov sú zobrazené prostredníctvom grafov. 9

11 1 Formuláca úlohy Hlavné čast tejto bakalárskej práce možno rozdelť do týchto bodov: 1. Vypracovať úvod do problematky predkce počasa. 2. Vypracovať úvod do predkce pomocou neurónových setí. 3. Navrhnúť systém pre predkcu počasa pomocou neurónových setí. 4. Implementovať systém. 5. Zhodnotť možnost použta navrhnutého systému. 6. Vypracovať dokumentácu podľa pokynov vedúceho bakalárskej práce. Jednotlvé čast práce sú zapísané nasledovne: 1. Úvod do problematky predkce počasa a do problematky predkce pomocou neurónových setí je vypracovaný v kaptole 2 na stranách 11 až Návrh systému na predkcu počasa prostredníctvom neurónových setí je vypracovaný v kaptole 3 na stranách 22 až Implementáca a zhodnotene možností použta systému je v kaptole 4 na stranách 32 až

12 2 Úvod do problematky predkce Čaro poznana budúcnost prťahuje ľudí od nepamät. Č už s zobereme prorokov, vzonárov, veštcov, astrológov a numerológov alebo odborníkov, ktorí na to dú vedecky. Dopyt po poznaní budúcnost bol veľký a mohol mať ďalekosahle následky. Č už bol predpovede pravdvé alebo ne, ľuda sa nm nechával ovplyvňovať. Nekedy bola predpoveď poztívna motváca a ľuda sa ňou radl, nokedy ako negatívna motváca ťahala ľudí k pokusom zmenť svoj osud. Pr predpovedaní veštc používal nformáce, ktoré bol pre klenta skryté a budoval s tak svoju dôveryhodnosť. Medz prvé predpovedané skutočnost veme zaradť východ a západ slnka a pohyby ostatných nebeských teles, nakoľko sa dajú pozorovaním ľahko spoznať a pochopť. Teto cyklcké a pravdelne sa opakujúce udalost bol používané na merane času, č už slnečným hodnam, počítaním splnov mesaca alebo stredaním ročných období. Teto pozorovana hral pre farmársky žjúcch ľudí dôležtú úlohu, nakoľko od týchto dejov závselo správne časovane úkonov na pol. Pre zberačov tvorl teto pozorovana kalendár, podľa ktorého s robl zásoby v časoch hojnost na časy bedy a hladu. Dnes odborníc taktež sledujú okole a hľadajú súvslostí medz procesm, ktoré sa dejú. Takto nazberané skutočnost používajú pre svoje predpovede. Veď touto metódou pozorovaní veda veľm presne predpovedať nektoré skutočnost, ktoré v blízkej dobe nastanú, najmä ak zstl skutočné súvslost medz procesm. Ak je predpovedaný dej, o ktorom je známe, že je to v čase nemenná funkca, vypracovaná predpoveď môže byť úplne presná. Ak však ne sú známe úplne všetky súvslost, môže sa daná funkca javť ako nemenná, ale presnosť predpovede sa rapídne zníž pr prvej nepravdvej predpoved. Pr predkc je našm ceľom našu predpoveď vedecky potvrdť poznaním a popsom všetkých vzťahov medz jednotlvým procesm, alebo aspoň tým vzťahm, ktoré majú významnú úlohu pr správaní sa reálnych procesov. Dané vzťahy môžeme hľadať a popsovať analytcky formou dferencálnych rovníc, alebo synoptcky použtím metód umelej ntelgence. Oboje metódy sú s z hľadska funkčnost pr predkc porovnateľné a výsledná predkca má dôveryhodnosť kvalty odvedenej práce. 11

13 Nasledujúca časť, pokaľ ne je uvedené nak, je prevzatá z Berko 2009 [1]. Pod pojmom predkca rozumeme extrapolácu neznámej funkce, čo je adaptívny proces snažac sa o kontnuálnu aproxmácu funkce. Predkca časových radov sa sústreďuje na vytvorene modelov popsujúcch určtý proces na základe dostupných nformác a znalostí o tomto procese. Zostavený model sa následne používa na smulácu budúcch nformác. Časový rad vznkne z meraní alebo pozorovaní prírodných, technckých alebo ekonomckých procesov, ktoré sú chronologcky zaznamenávané. Časové rady vo všeobecnost vykazujú vlastnosť, že jedna hodnota časového radu je závslá od nekoľkých predchádzajúcch hodnôt. Vďaka tejto závslost je možné vykonať odhad hodnoty, ktorá v časovom rade nasleduje za poslednou známou hodnotou. Táto skutočnosť sa dá vyjadrť vzťahom (1): x ( t + 1) = f ( x( t), x( t 1),..., x( t N + 1)) (1) Kde x(t) vyjadruje stav systému v čase t, funkca f vyjadruje závslosť stavu systému x(t+1) od všetkých predchádzajúcch stavov systému. N je počet stavov, ktoré sú používané pr určovaní nového stavu. Samotný výpočet hodnoty x(t+1) nazývame predkca. Na základe dostupných dát sa zostaví model, ktorý zachováva základné črty procesu. Je potrebné poznamenať, že nekedy ne je možné určtý proces predkovať, resp. ne je možné ho predkovať s dostatočnou presnosťou. Táto skutočnosť je obyčajne závslá od toho, č pr zostavovaní modelu bola použtá dostatočne veľká množna predchádzajúcch stavov a č táto množna obsahovala všetky stavy systému. Ak by totž došlo k stuác, že by bolo potrebné predkovať stav, o ktorom sa pr zostavovaní modelu neuvažovalo, predkca by bola nepresná, ak ne nemožná[6]. Každý predkčný model je potrebné kvaltatívne ohodnotť. Exstujú krtérá, na základe ktorých je možné posúdť, č navrhovaný predkčný model vyhovuje alebo ne. Medz základné a najdôležtejše krtéra predkčného modelu patra: Presnosť predkce Adaptblta predkčného modelu Robustnosť a spoľahlvosť Všetky spomenuté krtéra sú dôležté a pr praktckej mplementác predkčného modelu sa musa starostlvo zvážť. 12

14 Pr ultrakrátkej predkc sa však vyskytuje aj ďalše krtérum. Jedná sa o rýchlosť výpočtu predkovanej hodnoty, ktorú dspečer potrebujú na včasnú reakcu. Presnosť predkce patrí medz najvýznamnejše krtérá. Vyhodnocuje sa štatstckým prístupm. Najčastejše sa určuje premerná chyba predkce, premerná percentuálna chyba, zostavuje sa hstogram chýb a pod. Presnosť predkce závsí od množstva okolností. Značný vplyv majú velčny, ktoré pramo súvsa s predkovanou velčnou. Veľm významnú úlohu tu zohráva časové obdobe predkce. Adaptablta predkčného modelu predstavuje schopnosť modelu menť svoje parametre, ak sa mena vlastnost sledovaného objektu. Časový rad predstavujúc vonkajšu teplotu je neustále menac. Z tohto dôvodu je potrebné použť predkčný model schopný prspôsobť sa vznknutým zmenám. Počas predkce môže dôjsť k stuác, že namerané dáta, ktoré vstupujú do predkčného modelu, chýbajú, alebo sú zle namerané. Teto dáta potom môžu spôsobť zlyhane predkčného modelu. Z tohto dôvodu, aby nenastala opísaná stuáca, čže aby systém bol robustný a spoľahlvý, musí byť predkčný model vybavený algortmom, ktorý chybné alebo chýbajúce údaje opraví alebo doplní. Exstuje veľké množstvo rozpracovaných algortmov, počnúc jednoduchým až po značne zložté, ktoré sa v predkčných modeloch s výhodou používajú [2]. V súčasnost sa na predkcu využívajú rôzne metódy ako: Lneárne modely Nelneárne modely Lneárny model umožňuje špecfkovať a analyzovať vzájomné vzťahy vacerých premenných. Tento model sa reš metódou najmenších štvorcov. V súčasnost je dostupné veľké množstvo algortmov na zostavene konkrétnych modelov. Zahŕňajú v sebe lneárne autoregresívne modely, modely kĺzavých súčtov, mešané a mešané ntegrované modely. Keďže prevažná časť reálnych procesov, ktoré sa snažíme modelovať, je nelneárneho charakteru a lneárne modely sú na ch modelovane nepostačujúce, je potrebné použť nelneárne modely [3]. Nelneárne modely majú na druhej strane vysokú výpočtovú náročnosť, takže donedávna nebolo možné teto metódy používať v reálnom čase. S rýchlym vývojom 13

15 výpočtovej technky, najmä zvyšovaním rýchlost počítačov, sa v tejto oblast najvac presadl umelé neurónové sete (ďalej neurónové sete) [4]. 2.1 Úvod do problematky predkce počasa Nasledujúca časť, pokaľ ne je uvedené nak, je prevzatá z [1]. Predpoveď počasa je jedným z najžadanejších produktov meteorologckých služeb. Požadavky užívateľov sú, aby predpoveď mala čo najväčšu presnosť a čo najdlhší predpovedaný nterval. Atmosféra je nelneárny dynamcký systém, ktorého budúc stav v nejakom časovom okamžku sa nedá dostatočne presne predpovedať v determnstckom zmysle. V predpoved počasa sa v súčasnost používajú hlavne metódy: Numercké Synoptcké Štatstcké Ostatné metódy slúža ba pre potreby verfkáce. Numercké metódy sú založené na numerckej ntegrác dferencálnych rovníc, ktoré v určtom modelovom prblížení popsujú dynamku a termodynamku atmosféry. V synoptckých predpovedach meteorológ na základe svojch subjektívnych skúseností a podľa emprckých pravdel extrapoluje budúc vývoj atmosférckých dejov a počasa. Štatstcké predpovede meteorologckých prvkov, prípadne meteorologckých polí vychádzajú zo znalost štatstckých vlastností súborov meteorologckých prvkov. Vypracované sú metódam matematckej štatstky a teóre pravdepodobnost. V súčasnost sa používajú v spojení s numerckým predpoveďam na ch spresnene, alebo nterpretácu na mestne podmenky. V operatívnej prevádzke predpovedného centra SHMU sa v čstej forme an jedna z hore uvedených metód predkce nevyskytuje. Súčasné predpovede sú výsledkom použta kombnáce týchto metód s výraznou prevahou numerckých predpovedí. Nakoľko každá predpovedná metóda zachytáva atmosfércké javy ba v určtom prblížení, majú predpovede pravdepodobnostný a ne prísne determnstcký charakter. Pre vlastnú tvorbu predpovedí ne je verfkáca numerckých predpovedných modelov, alebo vydaných predpovedí nevyhnutnosťou. Správna nterpretáca 14

16 verfkačných výsledkov však dáva meteorológov nformácu o spoľahlvost modelu. Táto spoľahlvosť môže byť za rôznych stuác pr rôznych modeloch značne rozdelna [7]. Pokus o dokonalý predpovedný systém zahŕňa celosvetový model atmosféry, ktorý je vypracovaný na základe fyzkálnych poznatkov z dynamky kvapalín v závslost od pôsobena slnečného žarena. Takýto systém má mať vo svojch dferencálnych rovncach zahrnuté ľubovoľné mesto atmosféry, ľubovoľnú nadmorskú výšku a ľubovoľný čas. Keďže dferencálne rovnce sú samé o sebe náročné na rešene a na výpočtový výkon, takéto expermenty sú drahé a vo väčšne využívajú na meru robené superpočítače. Napríklad v Nemeckom Hamburgu je superpočítač menom Blzzard, ktorý má za úlohu smulovať a predpovedať vznk a pohyb vzdušných vírov a tornád[8]. 2.2 Úvod do predkce prostredníctvom neurónových setí Nasledujúca podkaptola je odvodená z Snčák 1996[4]. Pr predkc sú veľm výhodné neurónové sete, pretože plna úlohu unverzálneho aproxmátora funkce. Nato, aby sme mohl za pomoc neurónovej sete aproxmovať funkcu, musíme vedeť, čo to neurónová seť je a ako funguje. Nasledujúca defníca prevzatá z [4]. Neurónová seť je masívne paralelný procesor, ktorý má sklon k uchovávanu expermentálnych znalostí a ch ďalšeho využívana. Napodobňuje ľudský mozog v dvoch aspektoch: Poznatky sú zberané v neurónovej set počas učena Medzneurónové spojena (synaptcké váhy) sú používané na ukladane znalostí Ako z tejto defníce vyplýva, neurónová seť bola nšprovaná ľudským mozgom, a to v prncípe čnnost a v štruktúre prepojení medz jednotlvým seťovým prvkam. Je síce pravda, že v súčasnost nemáme neurónovú seť, ktorá by svojou mohutnosťou bola podobná ľudskému mozgu, nakoľko ľudský mozog má neurónov v svej kôre mozgovej a synapse sú realzované v rozsahu cca na jeden neurón[4]. Keďže neurónová seť je masívne paralelný procesor, usudzujeme z toho, že každý neurón je samostatná jednotka. Nákres bologckého neurónu je na obrázku(obr. 1). Tento bologcký neurón sa skladá z neuroctu s jadrom, jeho výbežkam dendrdm a axónom, ktorý býva obalený myelínovou pošvou. Ostatné čast sú pre nás v túto 15

17 chvíľu zanedbateľné. V neurocte prebeha látková výmena. Dendrdy sú vstupy do neurónu, vedú vzruchy smerom do neurónu. Opačným smerom vedee vzruchy axón, a to z neurónu preč. Axónu pomáha pr vedení vzruchu aj nesúvslá myelínová pošva. Obr. 1 Bologcký neurón (prevzaté z wkpeda[9]) Jeho ekvvalentom v umelej ntelgenc je tento umelý neurón: Obr. 2 Umelý neurón (podľa Snčák 1996 [4]) Tento umelý neurón sa skladá z 3 vrstev. Prvá vrstva je vstupná. Funguje ako vstup do neurónu. Jej matematcká funkca je suma všetkých ováhovaných sgnálov. Medz ne patrí aj sgnál z vonku y 0, ktorý má stále konštantnú hodnotu, avšak mení sa jeho váha. V strednej vrstve nájdeme aktvačnú funkcu, ktorá spracúva výstup z predchádzajúcej vrstvy a radí ho na vstup vrstvy nasledujúcej. Od tejto aktvačnej funkce závsí hlavná funkca neurónu. Vo výstupnej vrstve je výstupná funkca, ktorá upravuje výstup neurónu na kalbrovaný sgnál. Vo väčšne prípadov je to funkca dentty, avšak nekedy ju treba upravť. Ak máme takéto jednoduché neuróny, môžeme ch zaradť do dvoch typov setí. Prvý typ sete je dopredná neurónová seť(obr. 3). Neuróny v tejto set sú orentované stále len dopredu, čže sgnál sa šír len jedným smerom. Teto neurónové sete sa 16

18 skladajú zo vstupnej vrstvy, výstupnej vrstvy a skrytých vrstev. Počet skrytých vrstev závsí od potreby tredena a učena sa. Exstuje totž teoréma, podľa ktorej sa dá ľubovoľná funkca aproxmovať prostredníctvom jednej, maxmálne dvoch skrytých vrstev[5]. O počte neurónov v týchto dvoch vrstvách však neexstuje žadna zmenka. Obr. 3 Dopredná neurónová seť (podľa Snčák 1996 [4]) Obr. 4 Rekurentná neurónová seť (podľa Snčák 1996 [4]) Takáto dopredná neurónová seť(obr. 3) sa ľahko programuje, lebo každý neurón vypočítava svoj výstup na základe svojch vstupov, kým u rekurentných(obr. 4) neurónových setí musí rátať medz vstupy aj nektoré ďalše sgnály z ných vrstev ako z predošlej. Takýmto sgnálom môže byť aj vlastný sgnál alebo sgnál z nasledujúcej vrstvy. Teto sgnály, takzvané pamäťové a teto malé slučky nám síce komplkujú skryté vrstvy, no veme nm zmenšť počet vstupov pr predkčných úlohách. Aby sme vysvetll funkcu doprednej neurónovej sete, začneme pekne po poradku perceptrónom. Perceptrón je určený na dchotomckú klasfkácu, t.j. rozdelene do dvoch tred, pr ktorých sa predpokladá, že tredy sú lneárne separovateľné v príkladovom prestore [4]. Teda, ak máme množnu vektorov o ktorej sa dá povedať, že je zatredteľná do dvoch skupín, dokážeme perceptrón naučť tredť teto vektory. Ak sú vektory dvojrozmerné, skupny sa od seba dela pramkou, ak sú vektory 17

19 trojrozmerné, skupny sa od seba dela rovnou a pod. Aby sme mohl perceptrón učť, musíme poznať jeho zložene. Perceptrón sa skladá zo senzorovej vrstvy, asocatívnej vrstvy a výstupného neurónu. Spojene medz senzorovou a asocatívnou vrstvou má pevné váhy a na učení sa nezúčastňuje. Spojene medz asocatívnou vrstvou a výstupným neurónom sa zúčastňuje učena, pretože je realzované synapsam a vedomost sa ukladajú do synaptckých váh. Vstupná časť výstupného neurónu sa rad rovncou (2) n(t) = n j= 1 w ( t) x j ( t) θ (2) kde n je počet neurónov v asocatívnej vrstve, w j (t) sú váhy medz asocatívnou vrstvou a vstupným neurónom, kde ndex j predstavuje porade neurónu v asocatívnej vrstve, x j (t) je sgnál z neurónu v asocatívnej vrstve a Ɵ je príspevok z okoltého sveta. Aktvačná funkca je v tomto prípade vynechaná a výstupná funkca robí prahovane pre konečný výstup (3) 1 ak n( t) 0 ou ( t) = (3) 0 ak n( t) 0 Keďže perceptrón bol navrhnutý len na klasfkácu do dvoch tred, výsledkom klasfkáce je rovnca pramky (4), ktorá od seba teto dve tredy rozdeľuje: n j = 1 j w ( t) x ( t) θ = 0 (4) j j Pr učení perceptrónu hľadáme túto rovncu pramky tak, že perceptrónu ukážeme vstupný vektor x j a odpovedajúc výstup. Ak sa výstup perceptrónu zhoduje s predpokladaným výstupom, váhy w j sa nemena. Ak sa výstup perceptrónu nezhoduje s predpokladaným výstupom, váhy sa mena podľa vzťahu (5) γ ( p ou( t)) x( t) w( t + 1) = w( t) +, t = 1,2,... 2 (5) Kde γ je rýchlosť učena a môže mať len kladné hodnoty z ntervalu (0, 1>, p je predpokladaná hodnota výstupu perceptrónu. Váhy v nasledujúcom kroku sú označené w(t+1) a te súčasné w(t). Vypočítaný výstup perceptrónu je ou(t) a vstupný vektor je x(t). t je časová konštanta a označuje nám jednotlvé kroky učena perceptrónu. Algortmus učena perceptrónu pozostáva z ncalzáce váh na začatku učena, potom z učena sa jednotlvých príkladov. Ak je príklad naučený nesprávne, prevádza sa 18

20 zmena váh podľa už popísaného vzťahu až kým sa perceptrón nenaučí tento príklad. Ak sa ho naučl, prejde na ďalší a postup sa opakuje. Po naučení posledného príkladu sa vrát opäť na prvý, pokaľ sa počas mnulého cyklu učena menl váhy. Ak sa nemenl, perceptrón je naučený na separácu do dvoch tred podľa poskytnutej množny príkladov. Toto učene perceptrónu patrí do skupny kontrolovaného štrukturálneho heteroasocačného učena, náč nazvaného: učene s učteľom. V rámc učena s učteľom ho ďalej zatreďujeme ako učene na základe opravy chyby[4]. Pr tomto prístupe sa mena synaptcké váhy podľa chyby e medz vypočítaným stavom x a očakávaným stavom ev práve -teho neurónu, čže e = ev x (6) Od tohto vzťahu (6) sa nám odvíja vzťah (7) pre výpočet zmeny synaptckých váh w j medz výstupným neurónom a jeho vstupným neurónom j, čže w = γx e (7) j kde γ je parameter učena a x j je stav vstupného neurónu j. Pr učení s učteľom má pre nás význam hovorť o konvergenc neurónovej sete. Nasledujúca časť je prevzatá z [4]. Konvergencu neurónovej sete môžeme defnovať ako exstencu takého čísla n 0, keď x n x ε (8) pre všetky n n 0, kde je n-tý stav neurónu, x je očakávaný stav tohto neurónu a ɛ je tolerančná odchýlka. Vo väčšne prípadov nás zaujíma konvergenca výstupných neurónov v neurónovej set. Jedna zo základných metód výpočtu nových synaptckých váh je metóda najmenšej kvadratckej chyby. Pr nej používame vzťah (9) pre výpočet nových váh v tomto tvare: j w ( t + 1) = w ( t) + γ ( ev( t) ou( t)) n ( t) (9) kde w (t+1) sú váhy v nasledujúcom kroku od -teho neurónu, w (t) sú váhy v súčasnom kroku od -teho neurónu, γ je parameter učena, ev(t) je predpokladaná hodnota neurónu, ou(t) je vypočítaná hodnota neurónu a n (t) je stav vstupu od -teho neurónu. Na metódu najmenšej kvadratckej chyby nadväzuje delta pravdlo, ktoré rozšruje metódu najmenšej kvadratckej chyby na prípad ne-mccullochových neurónov 19

21 (kontnuálnych neurónov)[4]. Preto pr M vstupných neurónoch a výstupnom neuróne dostávame vzťah (10) n = M j = 1 x w ( t) + θ (10) j j prčom je označene pre výstupný neurón a j je označene pre vstupný neurón. Daný vzťah (10) nám počíta hodnotu, ktorá de ako vstup do aktvačnej funkce. Ak je aktvačná funkca lneárna, potom platí x = n. Chybovú funkcu (11) zahŕňajúcu všetky výstupy N 0 v danej vrstve môžeme vyjadrť N N 2 J ( t) J ( t) = 0,5 ( ev ( t) ou ( t)) (11) = 0 0 = 1 = 1 kde ev (t) je očakávaná hodnota a x (t) je vypočítaná hodnota na -tom výstupe z neurónovej sete a rátame s tým, že x ou. Ak označíme δ ( t) = ( ev ( t) ou ( t)) (12) tak potom výsledný vzťah (13) na výpočet zmeny váhy má tvar w ( t) = γδ ( t) x ( t) (13) Takto vypočítaná zmena synaptckých váh a chybového sgnálu δ(t) podľa delta pravdla dala základ ďalším modfkácám delta pravdla, vďaka čomu je rozšírené v aplkácách učena neurónových setí. Najznámejše rozšírene delta pravdla je metóda spätného šírena chyby, ktorá umožňuje použť ľubovoľnú aktvačnú funkcu f(n ) o ktorej predpokladáme, že je nelneárna a dferencovateľná. Zmena váh, ktorá nastane pr učení vo výstupnej vrstve sa vypočítava j w ( t) = γ x ( t) f ( n ) δ ( t) (14) j kde f (n ) je derváca aktvačnej funkce podľa vstupu n. Ak však počítame zmenu váh v skrytej vrstve, musíme zohľadnť spätné šírene chyby, ktoré sa prejavuje, a preto N 0 h= 1 w ( t) = γ x ( t) f ( n ) δ ( t) w ( t) (15) j kde N 0 je počet neurónov nasledujúcej vrstvy, w h (t) je váha z -toho k h-tomu neurónu a δ h (t) je chyba neurónu z nasledujúcej vrstvy h. Ak s porovnáme vzťahy (14) a (15) zstíme, že rozdel medz nm je len v odlšnom vypočítavaní premennej δ (t). h w 20

22 Ďalša úprava metódy spätného šírena chyby má na starost urýchlene konvergence neurónovej sete. Vychádzajúc zo vzťahu (14) zavedeme momentový výraz a s jeho použtím dostávame vzťah β ( t 1) (16) w j w ( t) = γ x ( t) f ( n ) δ ( t) + β w ( t 1) (17) j Tento vzťah(17) sa nazýva BP-momentum a jeho podstata je v tlmení prípadných osclác počas učena sete, ku ktorým dochádza, ak je hodnota γ prílš veľká. Avšak opačný extrém, malá hodnota γ vede k pomalému učenu. Tlmenu osclác veme predísť, ak do zmeny váh započítame aj zmenu v mnulom kroku. Túto zmenu započítavame ne plnou slou, načo nám slúž parameter β, ktorého hodnoty sú z ntervalu (0, 1. Parameter BP-momentum sa dá aj obísť, a to tak, že nastavíme hodnotu konštanty β=0. Vtedy sa neurónová seť ostáva správať ako štandardná seť s algortmom spätného šírena chyby. j 21

23 3 Návrh systému na predkcu počasa Pr tvorbe systému na predkcu počasa som vychádzal z meteorologckých dát, ktoré m poskytol Ing. Juraj Koščák a bol predspracované zo stránky pre lokaltu Košce Letsko. Pre potrebu mojch expermentov som využíval časový úsek od do , čo tvorlo vyše meraní v pravdelnost každých 30 mnút. 3.1 Spracovane dát Vstupné dáta s ktorým som pracoval bol usporadané tabuľkovou formou v *.csv súbore. Jednotlvé stĺpce súboru bol oddelené znakom ;, čo m umožnlo ch spracovávať strojovo prostredníctvom vlastného programu. Obr. 5 Ukážka vstupných dát Dáta bol usporadané do trnástch nformačných stĺpcov v tomto poradí: dátum, čas, teplota vzduchu, rosný bod, vlhkosť vzduchu, tlak vzduchu, vdteľnosť, smer vetra, rýchlosť vetra, nárazová rýchlosť vetra, zrážky, udalost, podmenky. Dáta sa dell na dáta s číselnou nformácou a dáta so symbolckou nformácou. Rozsahy nformačných hodnôt: Dátum: od 2000/1/1 do 2009/8/1 Čas: od 00:00 do 23:30 Teplota vzduchu: od do

24 Rosný bod: od do 22.0 Vlhkosť vzduchu: od 0 do 100 Tlak vzduchu: od 979 do 1044 Vdteľnosť: od 0 do 9999 Smer vetra: Varable; North; NNE; ENE; SSW; Calm; SSE; West; South; WNW; NNW; WSW; NW; East; ESE; SE; NE; SW Rýchlosť vetra: od 0.1 do Nárazová rýchlosť vetra: od 0.1 do Zrážky: N/A Udalost: ; Fog; Snow; Fog,Snow; Ran; Ran,Snow; Ran,Thunderstorm; Thunderstorm; Fog,Ran; Fog,Ran,Snow; Hal,Thunderstorm; Ran,Hal,Thunderstorm; Hal Podmenky: ScatteredClouds; PartlyCloudy; Clear; MostlyCloudy; ShallowFog; LghtFreezngFog; Overcast; LghtSnowGrans; LghtSnow; LghtIceCrystals; Snow; HeavySnow; LghtSnowShowers; LowDrftngSnow; BlowngSnow; HeavySnowShowers; SnowShowers; LghtFreezngRan; LghtFreezngDrzzle; LghtRanShowers; LghtRan; Fog; LghtDrzzle; Unknown; LghtIcePellets; ThunderstormsandRan; LghtThunderstormsandRan; PatchesofFog; Thunderstorm; Ran; RanShowers; HeavyThunderstormsandRan; Smoke; Haze; Drzzle; IcePellets; SnowGrans; LghtBlowngSnow; HeavyThunderstormswthHal; ThunderstormswthHal; LghtHal; HeavyBlowngSnow; LghtLowDrftngSnow; SmallHal; LghtSmallHalShowers; HeavyRan; Mst; LghtThunderstorm; LghtFog; PartalFog; HeavyFog; HeavyRanShowers; LghtSandstorm; SmallHalShowers; LghtHalShowers; HeavyDrzzle 3.2 Konverza dát Pr ďalšom spracovaní dát použjem vlastný program csvfle.exe, ktorý bol skomplovaný z kódu csvfle.c. Hlavnou úlohou tohto kódu je elmnovať zbytočné dáta, usporadať ch do tvaru pre jednoduchše spracovane ďalším programom alebo 23

25 samotnou neurónovou seťou. Program vyhľadáva chybné hodnoty a ak mu používateľ dovolí, doplní ch poslednou známou hodnotou. Ak je chýbajúcch hodnôt prveľa a používateľ zvolí ukončť vzorku, rozsekne výstupný súbor a začne zapsovať do ďalšeho. Ak program nájde redundantné dáta, vymaže ch. Keďže sa v celom súbore vyskytuje zbytočný záznam zrážky, do výstupného súboru ho nezapsuje. V ďalšom spracovaní nepotrebujeme an dátumový a an časový vstup, preto z nch len vyberáme porade záznamov. Dátum a čas mením na porade údajov. Konkrétne sa radm nformácou, že dáta bol merané každých 30 mnút. Prvý záznam začína 2007/1/1;00:00;, preto mu prradím poradové číslo 0. Keďže deň má 24 hodín, má mať 48 meraní zapísaných každých 30 mnút, preto sledujem porade podľa vzťahu: m1 p = 10h1 + h s (18) 3 kde p je poradové číslo merana, h 1 je prvá číslca hodny označujúca desatky hodín, h 2 je druhá číslca hodny označujúca jednotky hodín, m 1 je prvá číslca mnúty označujúca desatky mnút a s je počet polnocí od počatku. Počet polnocí zaznamenávam vďaka meranu v čase 00:00, alebo keď zaznamenám zmenu dátumu. Pr úprave teplôt pre neurónovú seť som použl jednoduché delene dvadsatm, nakoľko teploty sú v rozsahu -20 C až 38 C a -26 C až 22 C, čím sa zmestím do rozsahu -2 až 2 ako vstup do neurónu. Pr úprave vlhkost pre neurónovú seť som použl delene číslom 100 preto, lebo vlhkosť bola vyjadrená v percentách, čím som sa dostal do rozsahu 0.01 až 1. Ďalša upravovaná velčna je tlak vzduchu. Bol nameraný v rozsahu od 979 do Za normálny tlak prehlásm hodnotu Preto vzťah pre vstupnú hodnotu tlaku môžem zapísať: p 1010 p = x (19) 20 kde p je hodnota tlaku transformovaná pre neurónovú seť a p x je hodnota nameraného tlaku. Čže hodnoty tlaku pre neurónovú seť sa pohybujú v rozsahu až 1.7. Pr spracúvaní hodnôt vdteľnost som narazl na problém, ktorý je pr veľm dobrej vdteľnost. Zadefnoval som s veľm dobrú vdteľnosť ako stav, keď vdím do vzdalenost 40 km a vac. Tu som ohrančl maxmálnu hodnotu vdteľnost na 40 km 24

26 a aby m do neurónovej sete vstupoval sgnály z rozsahu -2 až 2, predell som hodnotu vdteľnost konštantou 20. Tým som dosahol vdteľnosť v rozsahu 0 až 2. Hodnoty rýchlost vetra sú kladné, no ak vetor nefúka sú nulové. Preto som s zvoll delteľ 100, s ktorým som dell hodnoty rýchlostí vetra, č už štandardnú rýchlosť vetra, alebo rýchlosť nárazového vetra. Problémové sa zdal dáta so symbolckou hodnotou. Te sa pramo na číselné hodnoty prevesť nedajú. Preto som s vytvorl počítadlo porada symbolckého názvu v tabuľke. Porade symbolckých názov som s zvoll náhodne, no zapísal som ho presne, aby som vedel spravť spätnú konverzu v prípade potreby. V prípade smer vetra som mal v dátach použtých 18 hodnôt, preto som ch čísloval podľa porada a ch porade som dell 10 pre transformácu pre neurónovú seť. Výsledný rozsah bol 0 až 1.8. V prípade udalostí sa m vyskytovalo 12 symbolckých názvov, preto som zvoll ten stý postup ako pr smere vetra a výsledný rozsah bol od 0 po 1.2. Záverečný prípad symbolckých názvov, mal svoje špecfkum v tom, že sa v ňom vyskytovalo 57 rôznych stavov. Preto som musel predošlý systém transformáce symbolckého názvu upravť, aby som sa zmestl do plánovaného rozsahu vstupných hodnôt pre neurónovú seť. Štandardné porade m vrátlo hodnoty 0 až 57, preto som ch dell 30, a tým som sa dostal do rozsahu 0 až 1.9. Takto transformované názvy m program csvfle.exe zapísal do súborov temp%.txt, kde znak % zastupuje poradové číslo súboru. Obr. 6 Medzsúbor temp1.txt 25

27 Teto predspracované dáta obsahujú aj malé súbory, ktoré nevem ďalej použť. Preto som spravl program del.exe, ktorý maže nepoužteľné súbory. Parameter použteľnost závsí od veľkost časového okna pr učení neurónovej sete, ktorým sa budem zaoberať v ďalšej čast. Po vymazaní prebytočných súborov použjem posledný program na úpravu dát, a to program conv.exe, ktorý z kúskových súborov temp%.txt spraví jeden veľký súbor temp.txt. Tento súbor bude masívne redundantný a budú v ňom dáta usporadané do časových oken pre neurónovú seť. 3.3 Návrh topológe sete Pr návrhu sete som vychádzal z poznatkov o učení doprednej neurónovej sete metódou spätného šírena chyby (2.2). Pr predkc počasa je nutné s uvedomť, čo chceme predkovať, z čoho chceme vychádzať a aká zložtosť sete bude najvhodnejša. Ja v rámc tejto práce som chcel predkovať vonkajšu teplotu pre lokaltu Košce Letsko. Pr predkc je výhodné mať čo najvac vstupných dát, aby bol výsledky predkce čo najlepše. Ak použjeme rekurentnú neurónovú seť s dostatočnou vnútornou hstorckou pamäťou, na vstup nám postačujú dáta z posledného merana. Ak však rekurentnú neurónovú seť nemáme, použjeme doprednú neurónovú seť s časovým oknom. Časové okno nám nahradí hstorckú pamäť, ktorú by sme mal k dspozíc u rekurentnej sete. Časové okno sa skladá z určtého počtu mnulých nameraných vstupov v defnovanom nemennom poradí. Ide to síce na úkor vstupných neurónov, ale pomáha set hľadať medz meranam súvslost. Pretože pr danej problematke je potrebné mať dostatočný počet vstupných hodnôt, je potrebné s zvolť dostatočnú šírku časového okna. Avšak, ak ju zvolíme prveľkú, seť bude mať zbytočne veľa neurónov vo vstupnej vrstve a učene bude prveľm pomalé. Okrem veľkost časového okna vplýva na rýchlosť učena aj normovane vstupných a výstupných velčín. Ak dané velčny ne sú normované, musí neurónová seť prekonávať značné rozdely ch normovaním, počas čoho sa môžu vyskytnúť autooscláce, ktoré znžujú šancu na úspešné učene pr malom počte vrstev. Ak však teto velčny nanormujeme na vhodný rozsah, napr.: -2 až 2, nelenže uľahčíme set 26

28 učene, ale pomôžeme aj pr výpočte hodnôt nelneárnych neurónov spracovávaním menších čísel. Aby sme mohl predkovať teploty v rozsahu 8 meraní = 4 hodny, potrebujeme s zadefnovať, z akých dát chceme vychádzať. V mojom prípade som sa rozhodol, že sa budem učť 3 úplné dn, obsahujúce všetky namerané hodnoty. Z toho vyplýva potreba 1460 vstupných neurónov a 8 výstupných neurónov. Aby som dokázal toto uradť, zvoll som s jednu strednú vrstvu a nelneárne neuróny v skrytej a výstupnej vrstve. Ako nelneárnu aktvačnú funkcu som použl sgmodálnu: x 1 = 1 + e αn (20) kde x je výstup aktvačnej funkce, α je parameter strmost sgmody a n je vstup do aktvačnej funkce. Prebeh takejto aktvačnej funkce s parametrom α = 0,5 môžete vdeť na obrázku. Obr. 7 Prebeh sgmodálnej funkce Okrem aktvačnej funkce nelneárneho typu som pr neurónovej set použl aj parameter tlmena, parameter BP-momentum. Za pomoc tohto parametra som sa spolehal na rýchlejše učene, rýchlejšu konvergencu neurónovej sete vo fáze učena. Keďže mám normovaný vstup, bolo by dobré mať aj normovaný výstup. Nakoľko m sgmodálna aktvačná funkca poskytuje výstup len od 0 do 1, potrebujem použť vo výstupnej vrstve výstupnú funkcu neurónu, ktorú s volím v rámc potreby mať výstup v rozmedzí hodnôt -2 až 2, čže funkca bude ou 4x 2 (21) = 27

29 kde ou je výstup neurónu vo výstupnej vrstve a x je výstup aktvačnej funkce toho stého neurónu. V rámc takto zostavenej sete môžeme konfgurovať teto parametre počas expermentov: Parameter učena γ Strmosť sgmody α Parameter funkce BP- momentum β Počet neurónov v skrytej vrstve Vstup do neurónu z vonkajšeho sveta bas Počet prvkov trénovacej množny tmx Záverečnú podmenku ukončena učena počet terác Záverečnú podmenku ukončena učena globálnu chybu 3.4 Programovane neurónovej sete Pr programovaní sete potrebujeme poznať prblžnú topológu sete, ktorú deme programovať a musíme ovládať programovací jazyk, v ktorom ju chceme naprogramovať. Ak splníme teto 2 základné predpoklady, máme veľkú šancu uspeť. Ja som s zvoll programovací jazyk C najmä pre jeho rýchlosť a pre nezávslosť na operačnom systéme. V rámc programovana v programovacom jazyku C som mplementoval návrh doprednej neurónovej sete s učacm algortmom spätného šírena chyby a s tlmením osclác BP-momentum. Ako vstup do neurónovej sete používam súbor temp.txt, ktorý v každom svojom radku obsahuje jedno časové okno s obsahom 1460 stĺpcov so vstupným dátam a 48 stĺpcov s výstupným dátam v jednom radku. Jednotlvé stĺpce sú oddelené tabelátorm. Aby som urýchll výpočty neurónovej sete, celý súbor temp.txt načítam do operačnej pamäte, a ďalej pracujem len s pamäťou. Keďže súbor temp.txt môže byť dosť veľký, musíme mať dostatočnú operačnú pamäť. Pr expermentoch som používal súbor o veľkost 344MB. Pr programovaní som musel dodržať ncalzácu synaptckých váh na náhodnú hodnotu, no zvoll som s rozsah ncalzačných hodnôt od -0,1 do 0,1. 28

30 V rámc učena neurónovej sete mením synaptcké váhy vo výstupnej vrstve neurónovej sete podľa vzťahu: w ( t + 1) = w ( t) + γ ou ( t)( ev ( t) ou ( t)) f ( n ) + β w ( t 1) (22) j j j kde w j (t+1) je počítaná hodnota synaptckej váhy, w j (t) je súčasná hodnota synaptckej váhy, w j (t-1) je zmena váhy v mnulom kroku, γ je parameter učena, ou j (t) je výstup predchádzajúceho neurónu j, ev (t) je predpokladaný výstup neurónu, ou (t) je vypočítaný výstup neurónu, f (n ) je derváca aktvačnej funkce z vrstvy a β je parameter tlmena. V rámc učena neurónovej sete mením synaptcké váhy v skrytej vrstve neurónovej sete podľa vzťahu: N h= 1 0 w ( 1) ( ) ( ) j t + = wj t + γ ou j t f ( n ) δ h( t) wh ( t) + β wj ( t 1) (23) kde w j (t+1) je počítaná hodnota synaptckej váhy, w j (t) je súčasná hodnota synaptckej váhy, w j (t-1) je zmena váhy v mnulom kroku, γ je parameter učena, ou j (t) je výstup vstupného neurónu j, w h (t) je váha dúca od -toho (súčasného) k h-tomu (nasledujúcemu) neurónu a δ h (t) je chyba neurónu z nasledujúcej vrstvy h, ktorá má N 0 neurónov vo vrstve, f (n ) je derváca aktvačnej funkce z vrstvy a β je parameter tlmena. Zmena váh prebeha dovtedy, kým nedosahnem chybu výslednej vrstvy menšu alebo rovnú , alebo, kým nedosahnem globálnu chybu učena rovnú parametru globx, ktorý som s zadefnoval na 0,16. Mnou navrhnutá a naprogramovaná dopredná neurónová seť sa rad vývojovým dagramom (Obr. 8). V jeho rámc som použl nekoľko blokov, ktoré plna nasledujúcu funkcu: Blok štart programu slúž na spustene programu, deklaruje použté premenné a prpravuje program na ďalší krok. Blok nahrate dát zo súboru prečíta súbor na dvakrát. Pr prvom čítaní zstí veľkosť súboru a naalokuje dostatok pamäte na nahrate súboru do pamäte. Pr druhom čítaní uloží dáta zo súboru so operačnej pamäte. Blok výber príkladu prechádza dáta v pamät a vyberá z nch príklad, ktorý sa stane predmetom učena. Tento blok prehľadáva len te príklady, ktoré sú určené na učene a patra do tzv. trénovacej množny. j 29

31 Obr. 8 Vývojový dagram neurónovej sete Blok výpočet výstupnej hodnoty dosadí vstupy z príkladu na vstup neurónovej sete za účelom vypočítana výstupu. Postupne vypočíta hodnoty všetkých neurónov, najprv v skrytej vrstve a potom vo výstupnej vrstve za pomoc aktuálnych hodnôt synaptckých váh. Blok výpočet chyby porovná vypočítanú hodnotu výstupu neurónovej sete a predpokladanú hodnotu, ktorá je v zadaní aktuálneho príkladu, a na základe týchto hodnôt vypočíta strednú kvadratckú odchýlku neurónovej sete. 30

32 V ďalšom bloku testujeme vypočítanú chybu a zsťujeme č je daná chyba väčša ako predpokladaná chyba naučenej sete. Ak je, postupujeme k zmene váh, ak ne je, tak deme na ďalší príklad. Blok výpočet zmeny váh vypočítava zmenu na základe vzťahov pre učene so spätným šírením chyby s tlmením BP-momentum najprv pre výstupné neuróny a potom pre skryté neuróny s set. Pr skrytých neurónoch ráta s tým, akou merou sa na ne prenáša chyba z nasledujúcej vrstvy. Blok výpočet globálnej chyby sa dostáva na rad vtedy, ak sa mnul príklady na učene. Globálna chyba učena sa vypočíta tak, že pr súčasných váhach sa prepočítajú stredné kvadratcké odchýlky na všetkých príkladoch, ktoré sa seť učla a spremerujú sa na jeden príklad. V ďalšom bloku testujeme vypočítanú globálnu chybu a zsťujeme č je daná chyba väčša ako predpokladaná chyba naučenej sete. Ak je, postupujeme k opätovnému učenu príkladov, ak ne je, tak prchádzame k predkc. Blok predkca sa s aktuálnym hodnotam váh pokús o extrapolácu naučenej funkce do budúcnost, prčom použje príklady, ktoré sú v testovacej množne. Treba podotknúť, že počas predkce už neprebeha učene a taktež sa nepredkujú príklady, ktoré bol použté na učene sete. Výstup predkce je súbor hodnôt, z ktorých veme zstť chybu predkce v jednotlvých príkladoch. Záverečný blok konec sa postará o korektné uzavrete používaných súborov, o uvoľnene alokovanej pamäte a o korektné ukončene programu. 31

33 4 Expermenty Pr expermentoch v mojej prác som hľadal najlepše parametre neurónovej sete pre hromadné učene pr 1460 vstupných neurónoch a príkladoch na učene. Už len z týchto dvoch čísel je známe, že pr expermentoch budem potrebovať dostatočný výpočtový výkon. Potrebu výkonu už z čast kompenzuje neurónová seť naprogramovaná v jazyku C, ktorý má prívlastok hardvérový, lebo jeho aplkáce dokážu efektívne využívať hardvér, na ktorom beží. Avšak aby to nebolo málo, bol m prdelený štvorjadrový výpočtový server bran.fe.tuke.sk, aby som mohol vykonať svoje expermenty. Server bran.fe.tuke.sk bol pre moje účely osadený CPU Intel Xeon 2 GHz a mal operačnú pamäť 1,46GB RAM. Tento výpočtový výkon m umožňoval vykonávať 4 expermenty súčasne a bez časového obmedzena. V prípade potreby som mohol spustť expermenty v režme reálneho času, avšak pr tomto režme som musel rátať s jedným jadrom na obsluhu operačného systému, aby ostal systém stablný. V prípade výpadku napájana bol server vybavený nepretržtým zdrojom napájana, aby nebol ohrozené prebehajúce expermenty. Pr učení neurónovej sete závsí od počtu neurónov v strednej vrstve aj schopnosť neurónovej sete naučť sa. Pretože s rastúcm počtom príkladov raste aj zložtosť funkce, ktorú má neurónová seť aproxmovať, je potrebné zväčšť počet neurónov v skrytej vrstve tak, aby mala neurónová seť možnosť sa naučť danú funkcu aproxmovať. Jedna skrytá vrstva plní funkcu aproxmáce jemného šumu a počet jej neurónov ovplyvňuje stupeň vacnásobnej separáce premenných počas učena neurónovej sete. Funkca BP-momentum má vplyv na úspešné naučene sa neurónovej sete, ak neurónová seť počas učena ľahko podľahne osclácám a namesto konvergence neurónovej sete začne osclovať okolo nejakej hodnoty chyby. Počas expermentov plánujem nájsť deálne parametre pre hromadné učene aproxmáce veľkého množstva dát. 4.1 Experment č.1 Ak sa stane, že máme nedostatok neurónov v skrytej vrstve, chyba učena neurónovej sete sa začne pohybovať v určtých hrancach, ktoré sú dosť ďaleko od 32

34 chyby v úspešne naučenom stave, čo môžeme pozorovať na obrázku (Obr. 9). Toto zacyklene je znakom saturáce neurónovej sete, čže stavu, keď sa neurónová seť nedokáže ďalej učť pre jej nedostatočnú kapactu. Túto kapactu veme zvýšť len zvýšením počtu neurónov v skrytej vrstve. Obr. 9 Závslosť chyby učena v čase pr malom počte neurónov v strednej vrstve Tento graf bol vykreslený pr týchto parametroch: Počet vstupných neurónov 1460 Počet skrytých neurónov 20 Počet výstupných neurónov 48 Parameter učena γ 0,2 Parameter strmosť sgmody 0,5 Parameter BP-momentum 0,5 Počet príkladov v trénovacej množne 1000 Parameter sgma (nezávslý vstup neurónu) -1 Počet synaptckých váh v set Nech skúšame akékoľvek parametre učena γ, pokaľ nezvýšme počet neurónov v skrytej vrstve, nedosahneme úspech. 33

35 4.2 Experment č.2 V ďalšom expermente som sledoval šancu neurónovej sete naučť sa, ak má vo výstupnej vrstve lneárne neuróny a v skrytej nelneárne. Všetky expermenty skončl zstením, že neurónová seť bez výstupnej nelneárnej vrstvy sa nedokáže naučť aproxmovať funkcu správana sa počasa v lokalte Košce Letsko. Je to spôsobené tým, že ak máme celú jednu vrstvu lneárnu, jej výstupom je lneárna kombnáca neurónov, čo sa navonok prejavuje tým, ako keby tam daná vrstva nebola. Obr. 10 Závslosť chyby učena neurónovej sete pr lneárnych neurónoch vo výstupnej vrstve Tento graf bol vykreslený pr týchto parametroch: Počet vstupných neurónov 1460 Počet skrytých neurónov 20 Počet výstupných neurónov 48 Parameter učena γ 0,2 Parameter strmosť sgmody 0,5 Parameter BP-momentum 0,5 Počet príkladov v trénovacej množne

36 Parameter sgma (nezávslý vstup neurónu) -1 Počet synaptckých váh v set Nech skúšame akékoľvek parametre učena γ a počet neurónov v skrytej vrstve, nedosahneme úspech, pretože na aproxmácu nelneárnej funkce typu počase nám nestačí jedna nelneárna skrytá a jedna lneárna výstupná vrstva. Na základe tohto záveru volím nelneárne neuróny v skrytej a výstupnej vrstve pre ďalše expermenty. 4.3 Experment č.3 Obr. 11 Závslosť chyby učena pr parametroch podľa expermentu č.3 Tento experment bol spustený s parametram: Počet vstupných neurónov 1460 Počet skrytých neurónov 100 Počet výstupných neurónov 48 Parameter učena γ 0,2 Parameter strmosť sgmody 0,5 Parameter BP-momentum 0,5 Počet príkladov v trénovacej množne

37 Parameter sgma (nezávslý vstup neurónu) -1 Počet synaptckých váh v set Tu vdíme, že počet neurónov v strednej vrstve nám nepostačuje na naučene sa danej funkce, pretože dochádza k saturác. Tento problém môžeme vyrešť zväčšením skrytej vrstvy. 4.4 Experment č.4 Obr. 12 Závslosť chyby učena pr parametroch podľa expermentu č.3 Tento experment bol spustený s parametram: Počet vstupných neurónov 1460 Počet skrytých neurónov 200 Počet výstupných neurónov 48 Parameter učena γ 0,2 Parameter strmosť sgmody 0,5 Parameter BP-momentum 0,5 36

38 Počet príkladov v trénovacej množne Parameter sgma (nezávslý vstup neurónu) -1 Počet synaptckých váh v set Pr tomto expermente m úspešné učene zmarl parameter BP-momentum, pretože prveľké tlmene sa prejavlo chybným hľadaním mnmálnej chyby a veľm pomalým učením. 4.5 Experment č.5 Obr. 13 Závslosť chyby učena pr parametroch podľa expermentu č.4 Ďalší experment bol spustený s parametram: Počet vstupných neurónov 1460 Počet skrytých neurónov 100 Počet výstupných neurónov 48 Parameter učena γ 0,2 Parameter strmosť sgmody 0,2 37

39 Parameter BP-momentum 0,5 Počet príkladov v trénovacej množne Parameter sgma (nezávslý vstup neurónu) -1 Počet synaptckých váh v set Pr tomto expermente sme zmenl parameter strmosť sgmody a zstl sme, že tento parameter nám nevyreš problém saturovanej neurónovej sete, preto navrhujem pre ďalší experment zväčšť skrytú vrstvu. 4.6 Experment č.6 Ďalší experment bol spustený s parametram: Počet vstupných neurónov 1460 Počet skrytých neurónov 200 Počet výstupných neurónov 48 Parameter učena γ 0,2 Parameter strmosť sgmody 0,2 Parameter BP-momentum 0,5 Počet príkladov v trénovacej množne Parameter sgma (nezávslý vstup neurónu) -1 Počet synaptckých váh v set Aj v tomto expermente nám parameter strmosť sgmody nepomohol dosahnuť ceľ úspešné naučene sete aj pr zväčšenej skrytej vrstve. Preto navrhujem použť štandardnú hodnotu parametra strmosť sgmody. Pr ďalších expermentoch zmenším počet výstupných neurónov na 8, čo m prnese väčšu šancu na naučene sa danej sete. 38

40 Obr. 14 Závslosť chyby učena pr parametroch podľa expermentu č Experment č.7 Tento experment bol spustený s parametram: Počet vstupných neurónov 1460 Počet skrytých neurónov 100 Počet výstupných neurónov 8 Parameter učena γ 0,2 Parameter strmosť sgmody 0,5 Parameter BP-momentum 0,5 Počet príkladov v trénovacej množne Parameter sgma (nezávslý vstup neurónu) -1 Počet synaptckých váh v set

41 Obr. 15 Závslosť chyby učena pr parametroch podľa expermentu č.7 Počas tohto expermentu sa neurónová seť nesthla naučť aproxmovať funkcu do času 300 cyklov, preto bola zastavená a vyhodnotená ako neúspešná. Predpokladám, že ako ďalšu príčnu nenaučena sa sete môžem považovať nedostatočnú skrytú vrstvu. 4.8 Experment č.8 Pr tomto expermente bol použté teto parametre: Počet vstupných neurónov 1460 Počet skrytých neurónov 200 Počet výstupných neurónov 8 Parameter učena γ 0,2 Parameter strmosť sgmody 0,5 Parameter BP-momentum 0,5 Počet príkladov v trénovacej množne Parameter sgma (nezávslý vstup neurónu) -1 40

42 Počet synaptckých váh v set Obr. 16 Závslosť chyby učena pr parametroch podľa expermentu č.8 Počas tohto expermentu sa neurónová seť nesthla naučť aproxmovať funkcu do času 300 cyklov, preto bola zastavená a vyhodnotená ako neúspešná. Za dôvod neúspechu môžem považovať veľkú hodnotu parametra BP-momentum, preto ju pre nasledujúce expermenty znížm. 4.9 Experment č.9 Experment bol spustený s parametram: Počet vstupných neurónov 1460 Počet skrytých neurónov 100 Počet výstupných neurónov 8 Parameter učena γ 0,2 Parameter strmosť sgmody 0,5 Parameter BP-momentum 0,2 Počet príkladov v trénovacej množne

43 Parameter sgma (nezávslý vstup neurónu) -1 Počet synaptckých váh v set Obr. 17 Závslosť chyby učena pr parametroch podľa expermentu č.9 Tento experment sa tež skončl neúspechom z dôvodu nedostatočného počtu neurónov v skrytej vrstve Experment č.10 Tento experment bol spustený s parametram: Počet vstupných neurónov 1460 Počet skrytých neurónov 200 Počet výstupných neurónov 8 Parameter učena γ 0,2 Parameter strmosť sgmody 0,5 Parameter BP-momentum 0,2 Počet príkladov v trénovacej množne

44 Parameter sgma (nezávslý vstup neurónu) -1 Počet synaptckých váh v set Obr. 18 Závslosť chyby učena pr parametroch podľa expermentu č.10 Prvý úspešný experment bol dosahnutý po 138 terácách pr 200 neurónoch v skrytej vrstve. Použtý parameter tlmena 0,2 sa ukázal ako vhodný pre rýchle učene Experment č.11 Ďalší experment bol spustený s parametram: Počet vstupných neurónov 1460 Počet skrytých neurónov 300 Počet výstupných neurónov 8 Parameter učena γ 0,2 Parameter strmosť sgmody 0,5 Parameter BP-momentum 0,2 Počet príkladov v trénovacej množne