Pohitritev izvajanja evolucijskih algoritmov z večprocesorskimi in multiračunalniškimi sistemi

Transcription

1 Elektrotehniški vestnik 69(3-4): , 2002 Electrotechnical Review, Ljubljana, Slovenija Pohitritev izvajanja evolucijskih algoritmov z večprocesorskimi in multiračunalniškimi sistemi Simon Vavpotič, Andrej Dobnikar Univerza v Ljubljani, Fakulteta za računalništvo in informatiko, Laboratorij za adaptivne sisteme in paralelno procesiranje, Tržaška cesta 25, Ljubljana, Slovenija E-pošta: simon.vavpotic@fri.uni-lj.si Povzetek. V članku je predstavljen multiračunalniški in večprocesorski pristop k pohitritvi delovanja sodobnih evolucijskih algoritmov. V okviru naše študije smo razvili nov evolucijski algoritem SV-EA, ki deluje optimalno tako v enoprocesorskih kot v večprocesorskih računalnikih in v multiračunalnikih. Njegovo bistvo je razbitje populacije posameznikov na več podpopulacij, ki medsebojno komunicirajo prek podatkovnega strežnika. Evolucija vsake podpopulacije je proces. Procesi lahko tečejo v vozliščih multiračunalnika, ali pa jih izvajajo posamezni procesorji v večprocesorskem računalniku. SV-EA je mogoče na različne načine prilagoditi zgradbi multiračunalnika ali večprocesorskega računalnika. Lahko uporabimo tudi ǐnternetni multiračunalnikˇ, sestavljen iz strežnika in oddaljenih računalnikov v internetu, povezanih s počasnimi internetnimi povezavami. SV-EA je sodoben evolucijski algoritem, prilagojen za gradnjo splošnih nevronskih mrež. Uporablja nov realni način kodiranja nevronskih mrež (posameznikov v populaciji), ki omogoča gradnjo najmanjših (optimalnih) nevronskih mrež za izbrani problem, hkrati pa ni omejen z diskretnimi intervali za izbiro uteži v nevronski mreži, kot večina dosedanjih evolucijskih algoritmov za gradnjo nevronskih mrež. S SV-EA smo uspešno rešili več krmilnih problemov in več problemov identifikacije avtomatov. Pohitritev smo izmerili na problemu identifikacije Tomitinega avtomata 3, ki je podrobneje opisan v tem članku. Rezultati kažejo, da je za številne probleme SV-EA preprosto prilagoditi arhitekturi multiračunalnika ali večprocesorskega računalnika tako, da je pohitritev sorazmerna številu procesnih vozlišč oziroma procesnih enot. Ključne besede: evolucijski algoritmi, multiračunalniki, večprocesorski računalniki, nevronske mreže, vzporedni algoritmi Speeding up Execution of Evolutionary Algorithms with Multiprocessor and Multicomputer Systems Extended abstract. In this paper we describe a multicomputer approach to speed up execution of evolutionary algorithms (EA). We analyze possibilities for EA parallelization and develop a new evolutionary algorithm SV-EA, optimized for uniprocessor, multiprocessor and multicomputer systems. Our approach enables divisioning of a population of individuals to subpopulations, communicating via data server. Evolution of each subpopulation is a process that is run by a single processor in a multicomputer or a multiprocessor system. SV-EA can be adapted to various multiprocessor and multicomputer architectures. An ǐnternet multicomputer ˇwith slow node-server connections can also be used. SV-EA is an advanced evolutionary algorithm (Fig. 1) that is adapted for a general neural network construction (where neural networks are individuals in a population). It uses a new real coding of neural networks. The coding allows for an optimal neural networks construction for a given problem (Fig. 3). The set of possible values for a particular neural network weight is not limited to an interval of discrete values. This limitation is present in majority of the today s evolutionary algorithms that use binary codings. Using SV-EA, we have already successfully solved a number of robot control and automata identification problems. We have measured SV-EA Prejet 15. januar, 2002 Odobren 10. maj, 2002 speed-up only for the Tomita automata 3 (Fig. 2) identification problem. The latter is described in detail in this paper. The results measured on our multicomputer Grape (Fig. 5) show that speed-up proportional to the number of processing nodes can be easily achieved for many problems (Fig. 6). Key words: evolutionary algorithms, multicomputers, multiprocessor computers, neural networks, parallel algorithms 1 Uvod Razvoj evolucijskih algoritmov poteka že od petdesetih let. V tem času so se izoblikovala tri področja evolucijskega računanja: genetski algoritmi, evolucijsko programiranje in evolucijske strategije [3]. Evolucijske algoritme (EA) uporabljamo za reševanje najrazličnejših problemov v sodobni znanosti in industriji; predvsem tistih, za katere še ni na voljo determinističnih metod reševanja [4].

2 228 Vavpotič, Dobnikar Po drugi strani je izraba zmogljivosti multiračunalnikov in večprocesorskih računalnikov odvisna od zahtevnosti problemov, ki jih z njimi rešujemo. Reševanje večine realnih problemov z evolucijskimi algoritmi je za računalnik težak problem, ki ga sorazmerno preprosto razdelimo na podprobleme. Slednje lahko posamezna procesna vozlišča (računalniki) v multiračunalniku izvajajo skoraj neodvisno. To pomeni, da je komunikacije med njimi izredno malo. Posledica je zelo dobra izkoriščenost celo sorazmerno velikih multiračunalnikov s 100 ali več procesnimi vozlišči. Podobno velja za procesne enote v večprocesorskih računalnikih [5]. 2 Model evolucijskega algoritma Delovanje poljubnega evolucijskega algoritma lahko opišemo z naslednjim algoritmom [1, 3, 6]: 1. Zagon: Ustvari začetno populacijo naključnih posameznikov P(t=0). 2. Testiranje: Preiskusi in oceni delovanje vsakega posameznika v P(t). Način ocenjevanja, uporabljen pri vzporednem evolucijskem algoritmu SV-EA, pri katerem so posamezniki nevronske mreže, je podan v 6. poglavju in ga je mogoče aplicirati na vse v 3. poglavju podane vzporedne evolucijske algoritme. 3. Konec?: Če je izpolnjen izbrani kriterij (npr. če posameznik z najboljšo oceno v P(t) zadovoljivo reši problem oziroma so izpolnjeni drugi pogoji za končanje postopka), ustavi evolucijo. 4. Evolucijski korak: (a) Izbira (b) Križanje (c) Mutacija (d) t=t+1 5. Pojdi na korak 2. Osnovni model evolucijskega algoritma smo priredili za iskanje topologije in vrednosti uteži umetne nevronske mreže [2, 6], ki smo jo uporabili za reševanje problema identifikacije determinističnega sekvenčnega procesa. Posameznike v populaciji (nevronske mreže) smo predstavili s kromosomi različnih dolžin oziroma z različnim številom genov. Z vsakim genom smo opisali po eno uteženo povezavo v nevronski mreži. Podroben opis je v [6]. 3 Vzporednost v evolucijskih algoritmih Vzporednost se v evolucijskih algoritmih kaže na najrazličnejših ravneh. Lahko jo poiščemo že v samih posameznikih v populaciji. Preiskus delovanja slehernega posameznika lahko porazdelimo na več procesov [3, 5]. Slednji tečejo v procesnih vozliščih multiračunalnika. Namesto tega lahko v večprocesorskem računalniku izvedemo tudi delitev na več programskih niti v okviru enega procesa, pri čemer vsako nit poganja drug procesor. Na primer, če so posamezniki v populaciji nevronske mreže, lahko upoštevamo, da nevron komunicira z drugimi nevroni asinhrono, prek uteži. Zato lahko različne dele nevronske mreže izvajamo v različnih procesih, ali pa kot programske niti. Naslednja možnost, vzporednost na ravni populacije, je, da vsakega posameznika preiskušamo s posebnim procesom, ki teče v vozlišču multiračunalnika. V večprocesorskem računalniku lahko namesto tega za preiskus vsakega posameznika ustvarimo tudi posebno nit, ki jo poganja eden izmed procesorjev. Kadar je treba vsakega posameznika v populaciji zaradi statistične ocene njegove kakovosti večkrat neodvisno preiskusiti, lahko poskuse izvedemo vzporedno z delitvijo na procese ali niti. Kerzveč programskimi nitmi pri testiranju populacije evolucijo pohitrimo le v večprocesorskem računalniku, s procesi pa tudi v multiračunalniku, osnovni algoritem pa pri tem ostane nespremenjen, si bomo v nadaljevanju pod izrazom proces predstavljali tudi možnost uporabe programskih niti. Zgradba glavnega programa za vzporedni preiskus populacije nevronskih mrež (posameznikov) je naslednja: 1. Za vsakega naključnega posameznika v P(t) ustvari po en proces in kopijo okolja. 2. Vsem procesom pošlji po en kromosom, ki pripada enemu posamezniku v populaciji, in jim ukaži, da začno njegov preiskus. 3. Počakaj, da procesi vrnejo napake posameznikov pri testiranju in začno čakati na ukaz za nadaljevanje. 4. Oceni posameznike v populaciji (eden izmed mogočih načinov ocenjevanja je podan v 6. poglavju). 5. Če je izpolnjen izbrani kriterij, ustavi evolucijo. 6. Izvedi evolucijski korak, ki spremeni kromosome posameznikov. 7. Nadaljuj z 2. korakom. Pri tem vsebuje vsak proces za preiskus posameznika naslednje korake: 1. Čakaj na kromosom posameznika. 2. preiskusi posameznika (navadno veliko korakov).

3 Pohitritev izvajanja evolucijskih algoritmov z večprocesorskimi in multiračunalniškimi sistemi Pošlji nadzornemu procesu oceno posameznika. 4. Nadaljuj s 1. korakom Zadnja možnost je vzporednost z razbitjem populacije na več podpopulacij in razvoj vsake podpopulacije s posebnim odjemalskim procesom, ki vsebuje kopijo evolucijskega algoritma. Izmenjava kromosomov najboljših posameznikov v podpopulacijah poteka prek podatkovnega strežnika (ki deluje v obliki posebnega procesa), kateremu odjemalski procesi po vsakem koraku evolucije najprej oddajo kromosome najboljših posameznikov in nato iz strežnika sprejmejo najboljše kromosome posameznikov iz drugih podpopulacij. Pri tej možnosti je medprocesne komunikacije najmanj. Evolucijski algoritem v odjemalskem procesu je naslednji: 1. Naključno zgradi začetno podpopulacijo posameznikov. 2. Preiskusi in oceni vse posameznike v podpopulaciji (eden izmed načinov ocenjevanja je podan v 6. poglavju). 3. Oddaj kromosom najbolje ocenjenega posameznika (lahko tudi skupino kromosomov več bolje uvrščenih posameznikov) podatkovnemu strežniku. 4. Če je izpolnjen izbrani kriterij, ustavi evolucijo. 5. Izvedi evolucijski korak. 6. Preberi najboljše kromosome posameznikov iz programskega strežnika in jih dodaj v podpopulacijo. 7. Nadaljuj z 2. korakom. 4 Evolucijski algoritem SV-EA Za reševanje problemov optimizacije smo izdelali evolucijski algoritem SV-EA, ki je podrobno opisan v [6], ima modularno zgradbo in deluje v multiračunalniku. Izpeljan je iz osnovnega evolucijskega algoritma z razbitjem populacije posameznikov na več podpopulacij, kot je opisano v poglavju 3. SV-EA sestavlja več modulov, ki jih razdelimo na nivoje (slika 1). Programske knjižnice za komunikacijo so moduli najnižjega, komunikacijskega nivoja. Nad tem nivojem je procesni nivo oziroma moduli programske izvedbe evolucijskega algoritma, nad temi pa je problemsko-predstavitveni nivo oziroma programska predstavitev problema, ki ga rešujemo, in prikaz poteka evolucije na računalniškem zaslonu. Poleg opisane delitve lahko na najvišjem nivoju govorimo tudi o delitvi na dve vrsti procesov: programski strežnik in programsko procesno vozlišče. Programsko procesno vozlišče vsebuje module za komunikacijo, evolucijski modul in problemsko-predstavitvene module, Slika 1. Vodoravna in navpična delitev na programskega orodja SV-EA module in nivoje Figure 1. Vertical and horizontal divisioning of the SV-EA program tool SV-EA to modules and levels medtem ko vsebuje strežnik komunikacijski modul in strežniški modul. Slednji skrbi za shranjevanje in distribucijo kromosomov najboljših posameznikov, ki mu jih posredujejo procesna vozlišča. Pomembna lastnost SV-EA je tudi možnost, da komunikacijo procesnih vozliščsstrežnikom omejimo, s čimer povečamo razmerje med skupnim porabljenim časom za komunikacijo in skupnim porabljenim časom za vzporedno procesiranje v korist vzporednega procesiranja. To je potrebno, kadar je testiranje ene populacije sorazmerno hitro in bi oddaja kromosomov najboljših posameznikov po vsakem testiranju preveč upočasnila delovanje evolucijskega algoritma v posameznem procesnem vozlišču. Zato izvajamo komunikacijo periodično, po razvoju nekaj generacij posameznikov [6]. 5 Identifikacija avtomatov z nevronskimi mrežami Z evolucijskim algoritmom lahko rešujemo različne probleme. Izbrali smo identifikacijo avtomata z neznano zgradbo z enim izhodom in enim vhodom. Iščemo najmanjšo nevronsko mrežo s splošno arhitekturo, ki popolnoma posnema njegovo delovanje, pri čemer za avtomat poznamo karakteristično zaporedje parov vhodne in izhodne črke, iz katerega je moč identificirati njegovo zgradbo. Karakteristično zaporedje dolžine N ustvarimo s pomočjo avtomata in generatorja naključnega zaporedja vhodnih črk. Vsako nevronsko mrežo iz populacije P(t) preiskusimo na členih zaporedja od 1 do M (M N), tako da začnemo s prvim parom vhodne in izhodne črke. Vhodno črko damo na vhod nevronske mreže, le ta pa nato izračuna izhodno vrednost, ki jo pretvorimo v izhodno črko avtomata z diskretizacijsko funkcijo. Pri naših poskusih je bila izhodna funkcija nevronov v nevronski mreži naslednja sigmoigna funkcija [2]:

4 230 Vavpotič, Dobnikar 6 Eksperimentalno delo Slika 2. Prirejeni Tomitov avtomat 3. Temno pobarvano stanje ima izhodno črko 0, belo pobarvana stanja pa imajo izhodno črko 1. Vhodne črke so označene ob prehodih med stanji Figure 2. Adapted Tomita automata 3. The dark colored state has the output letter 0, white colored states have the output letter 1. Input letters are depicted at the state transition arrows 1 f(x) = 1 e x ; 0 f(x) 1 (1) Zato smo uporabili naslednjo diskretizacijsko funkcijo: { 0 x 0.5 f(x) = (2) 1 x>0.5, s katero smo vse izhodne vrednosti nevronske mreže preslikali v vrednosti 0 in 1, ki sta bili obenem edini izhodni črki avtomata. Vsako tako dobljeno vrednost smo nato primerjali s pravo vrednostjo iz zaporedja vhodnih in izhodnih črk avtomata in izračunali napako. Napaka je bila 0, če sta bili vrednosti enaki, in 1, če sta vrednosti različni. Izvedli smo M korakov testiranja, zato je bila skupna napaka nevronske mreže število med 0 in M. Najmanjša napaka, 0, pomeni, da nevronska mreža popolnoma posnema delovanje avtomata pri podanem zaporedju parov vhodne in izhodne črke dolžine M. Omenili smo, da smo za iskanje rešitve uporabili le M členov zaporedja parov vhodne in izhodne črke avtomata. Preostalih N-M členov smo uporabili pri preiskusu kakovosti najboljše nevronske mreže, ki smo jo dobili z evolucijskim algoritmom. Pri preiskusu kakovosti smo najboljšo nevronsko mrežo iz populacije P(t=zadnji korak iskanja) najprej brez merjenja napake preiskusili nad zaporedjem vhodnih črk od 0 do M, nato pa smo ji izmerili napako nad zaporedjem parov vhodne in izhodne črke od člena M+1 do člena N. Če je pri podaljšanem zaporedju nastala napaka, je to pomenilo, da nevronska mreža nepopolno posnema delovanje avtomata. Problem smo rešili s povečanjem M in N in ponovnim zagonom evolucije. Na primer, za problem identifikacije Tomitovega avtomata 3 je zadoščalo karakteristično zaporedje dolžine M = 100, saj je najdena nevronska mreža delovala povsem pravilno tudi pri najdaljšem vhodnem zaporedju dolžine N = vzorcev, medtem ko je imela nevronska mreža, ki je povsem pravilno delovala pri zaporedju dolžine M = 10, pri podaljšanem zaporedju dolžine N = 100 napak. Pohitritev vzporednega evolucijskega algoritma SV-EA za razvoj nevronskih mrež smo izmerili pri identifikaciji Tomitovega avtomata 3, [7]. Pri iskanju optimalne rešitve smo upoštevali napako vsake nevronske mreže v populaciji, kot tudi njeno velikost. Primarni ocenjevalni kriterij ocenjevalne funkcije je bila napaka pri testiranju, sekundarni ocenjevalni kriterij pa velikost nevronske mreže. Nevronske mreže z enako napako pri testiranju smo nato uredili še po številu uteži (posredno tudi po številu nevronov), tako da so bile na koncu bolje uvrščene nevronske mreže s čim manjšo napako in s čim manj utežmi. Ocena vsake nevroske mreže je bila enaka njenemu indeksu v urejeni populaciji oziroma je bila celo število iz obsega [1,.., L], pri čemer je bilo L število posameznikov v populaciji. Najboljši posameznik je dobil indeks 1 oziroma oceno 1, najslabši pa indeks L oziroma oceno L. Postopek ocenjevanja (ocenjevalno funkcijo) lahko povzamemo z naslednjimi programskimi koraki: 1. Uredi nevronske mreže v populaciji po vrsti, od tiste z najmanjšo napako do tiste z največjo napako. 2. Če imata dve ali več nevronskih mrež enako napako, jih uredi tako, da bodo bolje uvrščene (ocenjene) nevronske mreže z manj utežmi. 3. Ocena vsake nevronske mreže je enaka njenemu indeksu v urejeni populaciji. 6.1 Problem: prirejeni Tomitin avtomat 3 Vhod prirejenega Tomitovega avtomata 3, prikazanega na sliki 2, smo povezali z generatorjem naključnih števil z enakomerno porazdelitvijo. Generator smo sprožili in med njegovim delovanjem shranili zaporedje dolžine N = parov vhodna-izhodna črka (vzorcev) avtomata v besedilno datoteko. Nato smo to datoteko uporabili pri evoluciji nevronske mreže, ki je posnemala delovanje avtomata. S SV-EA smo poiskali nevronsko mrežo, ki je delovala brezhibno pri zaporedju dolžine M = vzorcev. Velikost generacije nevronskih mrež je bila 1000 posameznikov. Potek evolucije je prikazan na sliki 4. Rešitev je delovala pravilno (napaka 0) tudi, če smo zaporedje podaljšali na zaporedje dolžine N = vzorcev. Zato upravičeno sklepamo, da nevronska mreža z dvema nevronoma in osmimi utežmi dobro posnema delovanje avtomata. Če dobljeni rezultat primerjamo z rezultatom, ki smo ga dobili z gradientnim postopkom [7] in znano zgradbo nevronske mreže (slika 3), ugotovimo, da lahko nalogo rešimo že z bistveno manjšo nevronsko mrežo, ki ima namesto 4 le 2 nevrona in veliko manj uteži. Omenimo še, da ima nevronska mreža s štirimi nevroni (prva plast 1

5 Pohitritev izvajanja evolucijskih algoritmov z večprocesorskimi in multiračunalniškimi sistemi 231 in druga plast 3 nevrone), naučena z gradientnim postopkom, dva izhoda. Iz njunih vrednosti izračunamo izhodno črko avtomata (0 ali 1) tako, da izračunamo njuno razliko. Če je ta negativna, je izhod 0, sicer pa 1. Nevronski mreži sta prikazani na sliki 3. Vendar je postopek iskanja uteži in zgradbe nevronske mreže z SV-EA precej dolgotrajnejši od iskanja uteži nevronske mreže pomočjo gradientnih postopkov, kot je [7]. Slika 3. Nevronska mreža, ustvarjena z evolucijskim algoritmom SV-EA (zgoraj), in nevronska mreža (spodaj), naučena z gradientnim postopkom [7], ki enako dobro posnemata Tomitov avtomat 3. T1 je binarni vhod za avtomatno vhodno spremenljivko, B pa je vhod, ki je vedno po vrednosti 1 (bias) Figure 3. Neural net created by an SV-EA evolutionary algorithm (top) and a neural network trained by a gradient method [7] (bottom). Both networks emulate Tomita automata 3 equally well. T1 is a single binary input for the automata input variable. B is a bias input, always set to 1 Rezultati kažejo, da je z evolucijo dobljena nevronska mreža sposobna vsebovano znanje posplošeno uporabiti oziroma da lahko vsaj delno posnema delovanje avtomata pri poljubnem vhodnem zaporedju. Čeprav to še ni dokaz, da nevronska mreža v celoti nadomesti avtomat, pa je dovolj, da se lahko njegovem delovanju močno približa. 6.2 Merjenje pohitritve SV-EA pri uporabi multiračunalnika Če poznamo zgradbo in delovanje programskega orodja SV-EA, lahko približno ocenimo, da je pohitritev iskanja rešitve pri uporabi multiračunalnika (v primerjavi z uporabo enega računalnika) v idealnem primeru približno enaka razmerju vrhnje zmogljivosti multiračunalnika in vrhnje zmogljivosti enega računalnika. Vrhnja zmogljivost multiračunalnika je enaka seštevku vrhnjih zmogljivosti vseh njegovih procesnih vozlišč. Vrhnjo zmogljivost posameznega procesnega vozlišča oziroma računalnika poda proizvajalec s teoretičnim najvišjim številom računskih operacij, ki jih lahko računalnik izvede v časovni enoti. Navadno nas zanima zmogljivost v enotah FLOPS (število operacij v plavajoči vejici na sekundo). V realnosti moramo pri izračunu pohitritve upoštevati še izgubo časa zaradi komunikacije med strežnikom in procesnimi vozlišči in čas za izbiranje rešitev, ki jih vozlišča prejmejo od strežnika [5]. K sreči lahko čas procesiranja skoraj poljubno podaljšamo, tako da je čas komunikacije in izbiranja rešitev v posameznem procesnem vozlišču v primerjavi s tem časom zelo kratek. To lahko storimo na tri načine: povečamo velikost populacije nevronskih mrež v vsakem od procesnih vozlišč, povečamo velikost problema, ki ga rešujemo z vsako od nevronskih mrež, ali pa spremenimo korak komunikacije. Korak komunikacije je število korakov evolucije, ki jih evolucijski algoritem izvede med dvema izmenjavama podatkov s podatkovnim strežnikom. Večji korak komunikacije pomeni, da je izmenjava podatkov med vzporedno tekočimi kopijami evolucijskega algoritma manj pogosta. Zato slednje delujejo bolj neodvisno. Po eni strani je to dobro, saj tako preiščejo širše področje rešitev, po drugi strani pa je iskanje manj usmerjeno k podoptimalnim rešitvam. Vendar opisani načini pohitritve vplivajo tudi na konvergenco evolucije k optimalni rešitvi, kar je še posebej opazno pri povečevanju populacije. Ni namreč nujno, da zvečjo populacijo dosežemo bistveno večji učinek, kot bi ga z manjšo. Še posebej pri sorazmerno lahkih problemih, rešljivih v nekaj deset generacijah s sorazmerno majhnimi populacijami, si zato z multiračunalnikom ne moremo veliko pomagati. Lahko le ustrezno podaljšamo korak komunikacije. S tem dosežemo v glavnem le tekmovanje med procesnimi vozlišči, saj ta delujejo večinoma neodvisno. Zato je prihranek časa sorazmerno majhen. Drugače pa je pri zapletenih problemih, kjer traja iskanje rešitve sorazmerno dolgo, ali pa je že sam preiskus ene nevronske mreže iz populacije dolgotrajen, problem pa ne dopušča, da bi število korakov pri preiskusu nevronske mreže skrajšali. V tem primeru lahko procesna vozlišča komunicirajo s strežnikom po vsakem koraku evolucije, časa komunikacije in izbire rešitev pa sta v primerjavi s

6 232 Vavpotič, Dobnikar časom procesiranja populacije zanemarljivo majhna. V tem primeru lahko govorimo o skoraj optimalnem izkoristku multiračunalnika. Slika 6 prikazuje pohitritev iskanja rešitve za problem posnemanja prirejenega Tomitovega avtomata 3. Uporabili smo 5-računalniški multiračunalnik Grape (slika 5), ki ga sestavljajo štirje povsem enaki računalniki (enaka osnovna plošča z vgrajeno grafično kartico, enak disk, enaka omrežna kartica,..) z 800 MHz procesorjem Pentium III in računalnik z 933 MHz procesorjem Pentium III (ki ima enake: osnovno ploščo, disk in omrežno kartico). Povezovalno omrežje v multiračunalniku Grape ima zvezdasto arhitekturo, z osrednjim elementom - omrežnim stikalom. Vse povezave v omrežju so 100-megabitne, komunikacijski protokol pa je Ethernet. Slika 5. Zgradba multiračunalnika Grape. Omrežno stikalo omogoča komunikacijo med pari vozlišč Figure 5. Grape multicomputer architecture. A network switch allows for internode communication Če so vsa vozlišča multiračunalnika (približno) enako zmogljiva, lahko največjo učinkovitost multiračunalnika, F, določimo po naslednji formuli: t 1 F max = max F (V ) = max V V V t mc (V ) (3) Slika 4. Upadanje napake med evolucijo nevronske mreže, ki posnema prirejeni Tomitov avtomat 3, pri zaporedju vzorcev. Nevronska mreža deluje pravilno (brez napak) tudi, če zaporedje podaljšamo na vzorcev Figure 4. Error decrease during the evolution of a neural network that emulates the Tomita automata 3 on a sample sequence. The neural network continues to work correctly if the sequence is prolonged to samples Iskanje nevronske mreže, ki v celoti posnema delovanje Tomitovega avtomata 3 pri zaporedju parov vhodne in izhodne črke (M = 1000), smo pri različnih številih uporabljenih procesnih vozlišč, od 1 do 5, desetkrat ponovili. Pri reševanju problema z več kot enim računalnikom smo potrebovali tudi programski podatkovni strežnik, prek katerega so si računalniki multiračunalnika izmenjavali rešitve. Zagnali smo ga v najzmogljivejšem 933 MHz računalniku Grape 0. Hkrati je moral ta računalnik delovati tudi kot procesno vozlišče. Ocenjujemo, da je bila zato njegova hitrost pri izvajanju kopije evolucijskega algoritma približno enaka hitrosti preostalih procesnih vozlišč s procesorji Pentium III. Meritve pohitritve pri uporabi različnega števila procesnih vozlišč (slika 6) kažejo, da ima za problem identifikacije prirejenega Tomitovega avtomata 3 5- računalniški multiračunalnik (v primerjavi z uporabo enega računalnika) največjo učinkovitost (1,5), pri uporabi dveh procesnih vozlišč oziroma pri V = 2. t mc (V ) je čas, ki ga potrebuje celoten multiračunalnik za rešitev podanega problema pri uporabi V procesnih vozlišč,t 1 pa čas, ki ga potrebuje eno procesno vozlišče pri samostojnem delovanju za rešitev enakega problema. Pohitritev pri največji učinkovitosti je bila t 1 /t mc (2) oziroma približno 3. To je posledica večje skupne velikosti populacije, ki je sestavljena iz dveh podpopulacij, od katerih je vsaka velika ravno toliko kot celotna populacija, ko rešujemo problem z enim samim procesnim vozliščem. Tako z dodatno procesno zmogljivostjo, ki jo prinaša novo procesno vozlišče, izkoristimo tudi dodaten pomnilnik, kar glede izrabe in doseganja najvišje učinkovitosti multiračunalnika tudi najbolj optimalno. Tako skupaj z velikostjo računalnika linearno povečujemo tudi procesno breme (število posameznikov v populaciji), kar opiše Gustafsonov zakon, [5]: S(V )=V α(v 1) (4) Pri tem je S(V ) pohitritev pri uporabi V procesnih vozlišč inα delež časa izvajanja programske kode, ki je ni mogoče izvajati vzporedno v več procesnih vozliščih, glede na celoten čas izvajanja SV-EA. Pri SV-EA je α skoraj stalen glede na število procesnih vozlišč. Vendar je vpliv velikosti populacije na hitrost evolucije tudi neposreden. Zato je pohitritev pri uporabi dveh procesnih vozlišč celo večja, kot jo predvideva

7 Gustafsonov zakon. Pri nadaljnjem povečevanju števila procesnih vozlišč (več od 2) se velikost celotne populacije (z vsemi podpopulacijami) povečuje počasneje, zato je njen neposredni vpliv na pohitritev delovanja SV- EA čedalje manjši. Ugotovitve odraža tudi meritev na sliki 6. Slika 6. Trajanje iskanja rešitve za problem posnemanja prirejenega Tomitovega avtomata 3 pri različnem številu računalnikov (procesnih vozlišč) v multiračunalniku Figure 6. Duration of the solution search for the Tomita automata 3, using different numbers of processing nodes 8 Literatura [1] D. Corne, M. Dorigo, F. Glover, New Ideas in Optimization, McGraw-Hill Publishing Company, New York, [2] S. Haykin, Neural Networks: A Comprehensive Foundation, Prentice Hall, New Jersey, [3] T. Back, D. Fogel, Z. Michalewicz, Evolutionary Computation, Institute of Physics Publishing, Bristol and Philadelphia, [4] R. Belew, M. Mitchell, Adaptive Individuals in Evolving Populations: Models and Algorithms, Addison-Wesley Publishing Company, Inc., New Work, [5] K. Hwang, Advanced Computer Architecture: Parallelism, Scalability, Programmability, McGraw-Hill, New Work, [6] S. Vavpotič, Evolucijsko reševanje optimizacijskih problemov z multiračunalniki, Magistrsko delo, Fakulteta za računalništvo in informatiko, Univerza v Ljubjani, Ljubljana, [7] I. Gabrijel, A. Dobnikar, On-line identification and rule extraction of finite state automata with recurrent neural networks, Proceedings of the conference ICANNGA 2001, Prague, Czech Republic, Sklep Pokazali smo, da je mogoče evolucijske algoritme s spodobnimi multiračunalniki in večprocesorskimi računalniki močno pohitriti in pri tem izkoristi veliko zmogljivost v obliki vzporednega procesiranja, ki je značilna za te računalnike. V članku smo predstavili le meritve pohitritve za primer identifikacije Tomitovega avtomata 3. Enako pohitritev smo ocenili tudi za druge probleme, ki smo jih reševali s SV-EA, vendar bi bila zaradi prevelike časovne zahtevnosti podrobna analiza predolgotrajna. Simon Vavpotič je magistriral leta 2001 na Fakulteti za računalništvo in informatiko v Ljubljani, kjer je zaposlen kot mladi raziskovalec. Njegovi raziskovalni področji so nevronske mreže in evolucijski algoritmi, ukvarja pa se tudi z vzporednim procesiranjem. Andrej Dobnikar je doktoriral leta 1984 na Fakulteti za elektrotehniko v Ljubljani. Kot redni profesor na Fakulteti za računalnišvo in informatiko v Ljubljani se raziskovalno ukvarja predvsem z metodami mehkega računanja, vzporednim procesiranjem in dinamičnimi sistemi.