Evolu né algoritmy. Martin Pelikan 1

Transcription

1 Martin Pelikan 1 Abstrakt. Evolu né algoritmy tvoria skupinu stochastick ch optimaliza n ch algoritmov, ktor ch základn princíp je in pirovan evolúciou a genetikou. Asi najvä ia v hoda evolu n ch algoritmov v porovnaní so tandardn mi metódami optimalizácie je to, e je pomerne jednoduché tieto metódy pochopi, implementova a pou íva v praxi, a napriek tomu sú schopné nájs rie enia zlo it ch nelineárnych problémov v prijate nom ase. Evolu né algoritmy tie poskytujú priamo iary a ú inn nástroj na simuláciu zlo it ch systémov. Cie om tejto kapitoly je vysvetli základné princípy evolu n ch algoritmov a ich pou itia v praxi. 1 Úvod Evolu né algoritmy pou ívajú mechanizmy in pirované evolúciou a genetikou na rie enie náro n ch problémov z oblastí optimalizácie, po íta ového u enia, i simulácie zlo it ch systémov. V tejto kapitole sa budeme venova hlavne ich pou itiu v optimalizácii. Aj ke základy evolu n ch algoritmov boli polo ené u takmer pred pol storo ím [3,10,12,13,17], najvä í rozmach v tomto odbore nastal a v posledn ch dvoch desa ro iach. Napriek tomu, e základn princíp evolu n ch algoritmov je pomerne jednoduch, tieto algoritmy sú asto schopné rie i problémy prakticky nerie ite né in mi metódami. Aj preto sa oraz astej ie objavujú aplikácie evolu n ch algoritmov v rôznych oblastiach od finan níctva [6] po in iniersky dizajn [9,21], komponovanie hudby [4] a tvorbu portrétov podozriv ch osôb v kriminalistike [5]. Cie om tejto kapitoly je predstavi základné princípy najznámej ích druhov evolu n ch algoritmov, pri om najvä í priestor bude venovan genetick m algoritmom. Základná procedúra evolu ného algoritmu je hlavn m obsahom podkapitoly 2. Genetické algoritmy, ktoré sú v sú asnosti jednou z najpopulárnej ích skupín evolu n ch algoritmov, sú predstavené v podkapitole 3. Evolu né stratégie sú nápl ou podkapitoly 4. Genetické programovanie, ktoré umo uje automatické programovanie pomocou evolu n ch algoritmov, je hlavnou témou podkapitoly 5. Niektoré z 1 Missouri Estimation of Distribution Algorithms Laboratory (MEDAL), Department of Mathematics and Computer Science, 320 CCB, University of Missouri in St. Louis, St. Louis, MO 63121, USA, pelikan@cs.umsl.edu Umelá inteligencia a kognitívna veda I.

2 Martin Pelikan dôle it ch aplikácií evolu n ch algoritmov sú predstavené v podkapitole 6. Podkapitola 7 prezentuje zhrnutie a záver. 2 Evolu n algoritmus Pred vysvetlením základnej procedúry evolu ného algoritmu je dôle ité definova problém, ktor bude evolu n m algoritmom rie en. Jeden spôsob definície optimaliza ného problému je pecifikova (1) reprezentáciu prípustn ch rie ení problému a (2) metódu, ktorá umo ní porovnávanie kvality dvoch alebo viacer ch rie ení. Cie om je nájs rie enie maximálnej kvality. Mno ina prípustn ch rie ení je zvy ajne definovaná ako priestor binárnych re azcov alebo reálnych vektorov danej d ky. Je samozrejme mo né pou i aj zlo itej ie reprezentácie. Napríklad, v genetickom programovaní (vi podkapitola 5), rie enia reprezentujú programové kódy s danou syntaxou alebo matematické v razy. Priestor v etk ch mo n ch rie ení je zvy ajne príli ve k na to, aby bolo mo né ohodnoti a porovna v etky prípustné rie enia a preto je dôle ité h ada efektívne metódy, ktoré sú schopné nájs najlep ie rie enia alebo rie enia im podobné po vyskú aní len malého po tu potenciálnych rie ení. Evolu né algoritmy predstavujú jeden z mo n ch prístupov k rie eniu tohto problému. Metóda na ohodnocovanie kvality rie ení je zvy ajne zalo ená na funkcii, ktorá pre ka dé potenciálne rie enie vráti reálnu hodnotu. ím je táto hodnota vy ia, t m je rie enie pova ované za lep ie z h adiska rie eného problému. Samozrejme, obdobne je mo né pova ova za lep ie rie enia tie, ktoré majú ni iu funk nú hodnotu. Pre mnohé evolu né algoritmy v ak nie je nevyhnutné, aby existovala vypo ítate ná funkcia, ktorá umo ní vyhodnocovanie kvality potenciálnych rie ení. Rie enia mô u by ohodnocované napríklad pou ívate om alebo skupinou pou ívate ov, ktorí rozhodnú pre ponúkané dvojice alebo vä ie mno iny potenciálnych rie ení, ktoré z t chto rie ení sú lep ie a ktoré hor ie. Obdobne sa mô e pou i experiment, v ktorom sú rie enia porovnané bez toho, aby kvalita t chto rie ení musela by vyjadrená konkrétnym reálnym íslom. Evolu né algoritmy sú tie asto aplikované na viackriteriálne problémy (multiobjective problems) [11], kde ohodnocujúca funkcia obsahuje nieko ko asto a protichodn ch kritérií. Vo viackriteriálnej optimalizácii je cie om nájs tzv. Pareto-optimálny front (Pareto-optimal front), ktor pozostáva z rie ení, ktoré sú navzájom neporovnate né, lebo ka dé z t chto rie ení je aspo v jednom kritériu lep ie ako akéko vek iné rie enie. Kone n v ber rie enia je potom umo nen pou ívate ovi, ktor mô e vyhodnoti v sledky na základe ich konkrétnej podoby a in ch v berov ch kritérií. Terminológia evolu n ch algoritmov asto erpá v biológii. Potenciálne rie enia sú zvy ajne ozna ované pojmom jedinci (individuals). Pre vektorové reprezentácie, jednotlivé premenné sú asto ozna ované ako gény (genes) a ich hodnoty ako alely (alleles). Hodnotiaca funkcia, ktorej hodnoty rastú s kvalitou rie ení, je vä inou ozna ovaná pojmom fitnes funkcia (fitness function) i ú elová funkcia.

3 Evolu n algoritmus pracuje s populáciou jedincov. Táto populácia obsahuje oby ajne vä í po et jedincov, asto stovky a tisícky. V tejto kapitole budeme ve kos populácie ozna ova symbolom N. Prvá populácia je zvy ajne vygenerovaná náhodne tak, aby pravdepodobnos vygenerovania ka dého potenciálneho rie enia bola rovnaká. Táto populácia je následne obnovovaná pomocou troch základn ch operátorov: 1. V ber. Zo sú asnej populácie sa vyberie rodi ovská populácia. Existuje nieko ko spôsobov v beru, ale základn princíp v etk ch t chto metód je v tom, e rie enia vy ej kvality majú vä iu pravdepodobnos v beru a vy í o akávan po et kópií vo vybratej populácii rodi ov. Jedna z populárnych metód je v ber zalo en na turnajoch medzi jedincami (tournament selection). Na v ber ka dého nového jedinca sa v tejto metóde najprv z populácie náhodne vyberie podmno ina k > 1 jedincov a následne sa vyberie najlep í spomedzi nich. Procedúry v beru a turnaja sa opakujú a k m sa nevyberie dostato n po et jedincov. Zvy ajne obsahuje populácia pred v berom a po v bere rovnak po et jedincov. Hlavnou in piráciou pre operátor v beru je prirodzen v ber pod a Darwina [8], kde najschopnej í jedinci pre ívajú a majú potomkov s vy ou pravdepodobnos ou ako tí menej schopní. 2. Variácia. Varia né operátory (variation operators) sú následne pou ité na vytvorenie novej populácie jedincov (populácie detí) na základe populácie rodi ov. Cie om varia n ch operátorov je vytvori jedincov, ktorí kombinujú vlastnosti rodi ov. Tieto operátory sú zvy ajne in pirované genetick mi operátormi odpozorovan mi pri rozmno ovaní v prírode. Krí enie (crossover) mô e by pou ité na vytvorenie rie ení, ktoré kombinujú asti rie ení nieko k ch rodi ov. Mutácia (mutation) mô e by pou itá na náhodné zmeny rodi ovsk ch rie ení. 3. Nahradenie. Na konci základnej iterácie evolu ného algoritmu sa z pôvodnej populácie pred v berom a novovytvorenej populácie po aplikácii varia n ch operátorov vytvorí nová populácia rie ení. Napríklad, pôvodná populácia mô e by úplne nahradená populáciou nov ch jedincov. Kroky v beru, variácie a nahradenia sa opakujú s cie om získava populácie neustále sa zlep ujúcich rie ení. Na dosiahnutie tohto cie a je dôle itá najmä kombinácia operátorov v beru a variácie. Operátor v beru upriami pozornos na najlep ie rie enia zo sú asnej populácie. Varia né operátory vytvoria nové rie enia podobné t mto najlep ím rie eniam. To samozrejme znamená, e operátory variácie musia by schopné efektívneho vyu itia informácie v populácii rodi ov na to, aby nové rie enia boli obdobne kvalitné ako rodi ia, prípadne lep ie. Sú asne je dôle ité, aby ve k po et nov ch rie ení bol in ako boli pôvodné rie enia. Cyklus v beru, variácie a nahradenia je zvy ajne ozna ovan ako jedna generácia alebo iterácia evolu ného algoritmu. Evolu n algoritmus zopakuje mno stvo tak chto generácií. V ideálnom prípade by mala populácia obsahova rie enia postupne vy ej a vy ej kvality a v sledná populácia by mala obsahova globálne optimum. Celkov po et generácií na dosiahnutie rie ení po adovanej kvality sa mení v závislosti od konkrétneho

4 Martin Pelikan algoritmu, problému, ako aj samotn ch po iadaviek na kvalitu dosiahnut ch rie ení, ale zvy ajne sa jedná o desiatky, stovky, alebo aj viac generácií. Cyklus obnovy populácie pomocou základn ch operátorov je preru en po splnení stanoven ch podmienok. Napríklad, cyklus mô e by preru en, ke bol dosiahnut dan maximálny po et generácií alebo ke populácia neobsahuje dostato ne diverzifikovanú zbierku jedincov. Základn evolu n algoritmus je zhrnut v nasledovnom pseudokóde: Evolu n algoritmus (EA) t := 0; náhodne vygeneruj prvú populáciu P(0); k m nie sú splnené kritéria pre zastavenie { S(t) := vyber populáciu rodi. rie ení z P(t); O(t) := aplikuj varia né operátory na S(t); P(t+1) := skombinuj P(t) a O(t); t := t+1; }; Rôzne evolu né algoritmy sa lí ia najmä v reprezentácii a varia n ch operátoroch. Rozdiely medzi rôznymi skupinami evolu n ch algoritmov v ak asto nie sú jasne definované a lenenie evolu n ch algoritmov na podskupiny nie je v dy jednozna né. Nasledovné podkapitoly sa venujú najpopulárnej ím oblastiam evolu n ch algoritmov, a to genetick m algoritmom, genetickému programovaniu a evolu n m stratégiám. Najviac priestoru bude venovaného genetickému algoritmu, ktor bude slú i ako v chodisko pre zvy ok kapitoly. 3 Jednoduch genetick algoritmus V tejto podkapitole je predstaven jednoduch genetick algoritmus (simple genetic algorithm) [14,17]. Podkapitola za ína vysvetlením samotného jednoduchého genetického algoritmu. innos jednoduchého genetického algoritmu bude potom znázornená na dvoch príkladoch. Podkapitola skon í na rtnutím teórie schém alebo ablón, ktorá je jedn m z najpopulárnej ích nástrojov na pochopenie innosti genetick ch algoritmov a ich vlastností. 3.1 Základn algoritmus V jednoduchom genetickom algoritme [14,17] sú jedinci reprezentovaní binárnymi re azcami danej d ky n>0. Prvá populácia pozostáva z N>0 náhodne vygenerovan ch binárnych re azcov. Na v ber populácie rodi ov je pou it proporcionálny v ber na základe hodnôt fitnes funkcie (fitness proportionate selection). Táto metóda predpokladá, e hodnoty fitnes funkcie sú pozitívne pre v etky potenciálne rie enia. Pravdepodobnos v beru ka dého jedinca je priamoúmerná fitnes hodnote tohto jedinca. Napríklad, ak má

5 jedinec X fitnes f(x)=6 a jedinec Y má fitnes f(y)=3, pravdepodobnos v beru jedinca X, ako aj o akávan po et jeho kópií v populácii rodi ov sú dvojnásobné v porovnaní s jedincom Y. Na implementáciu proporcionálneho v beru je mo né pou i algoritmus zalo en na analógii s ruletou. Pre ka dého lena X pôvodnej populácie P sa najprv vypo íta pravdepodobnos jeho v beru,, kde f(x) je fitnes jedinca X. Ka dému jedincovi je potom pridelen úsek d ky p(x) na kru nici (rulete) s obvodom 1 tak, aby sa úseky pridelené rôznym jedincom neprekr vali. Ke e sú et pravdepodobností v etk ch jedincov v P sa rovná 1, ka d bod na obvode kru nice patrí jednému jedincovi z P. Jeden bod kru nice sa prehlási za po iatok (zvy ajne sa jedince naná ajú na kru nicu od po iatku v smere hodinov ch ru i iek). Pre v ber ka dého nového jedinca sa najprv vygeneruje náhodné íslo r z intervalu [0, 1) s rovnomernou distribúciou na tomto intervale. Jedinec, ktorému prislúcha bod kru nice vzdialen r od po iato ného bodu v smere hodinov ch ru i iek, je potom pridan do populácie rodi ov. Náhodn v ber sa opakuje, a k m je ve kos populácie rodi ov zhodná s ve kos ou N pôvodnej populácie. O akávan po et kópií ka dého jedinca je priamo úmern jeho hodnote fitnes a preto je pravdepodobné, e populácia rodi ov obsahuje nieko ko kópií najlep ích jedincov k m najhor í jedinci sa do tejto populácie nedostanú vôbec. Samozrejme, na v ber rodi ov je mo né pou i aj iné metódy, ako napríklad vy ie uvedenú metódu zalo enú na turnajoch medzi jedincami. Populácia nov ch jedincov je vytvorená z populácie rodi ov pomocou operátorov krí enia a mutácie. Prv krok pozostáva z krí enia, ktoré je aplikované na páry rodi ov. Druh krok pozostáva z mutácie, ktorá je aplikovaná na ka dého v sledného jedinca. Z populácie rodi ov obsahujúcej N jedincov sa náhodne vytvorí N/2 rodi ovsk ch párov. Ke e ale proporcionálny v ber pou íva tú istú distribúciu pre v ber ka dého jedinca, páry rodi ov mô eme v tomto prípade vybera postupne, za ínajúc s prv mi dvoma jedincami a kon iac s posledn mi dvoma. Na ka d z t chto párov sa s danou pravdepodobnos ou p c (pravdepodobnos krí enia) aplikuje operátor krí enia. Ako metódu krí enia dvoch jedincov, jednoduch genetick algoritmus pou íva zvy ajne krí enie v jednom bode (one-point crossover). Krí enie v jednom bode za ína náhodn m v berom jednej z pozícií v re azci reprezentujúcom jedincov. Rodi ia si potom vymenia chvost svojich binárnych re azcov za ínajúci v tejto náhodne vygenerovanej pozícii. Ke e po v mene v etk ch bitov zostávajú rodi ia ur ite nezmenení, zvy ajne sa v ber pozície zú i na v etky pozície okrem prvej. Príklad krí enia v jednom bode je znázornen na obrázku 1. Pravdepodobnos krí enia, p c, je jedn m zo vstupn ch parametrov jednoduchého genetického algoritmu. Tento parameter je vä inou v rozmedzí od 10% do 90% a jeho naj astej ie pou ívaná hodnota je 60% na základe [10].

6 Martin Pelikan Obr. 1. Krí enie v jednom bode a mutácia na binárnych re azcoch d ky 9. Podobne ako v genetike, hlavná úloha krí enia je skombinova informáciu obsiahnutú v rodi och pomocou v meny ich astí. Rodi ia reprezentujú v ber najkvalitnej ích rie ení daného problému. Ak je krí enie efektívne, malo by by schopné s ve kou pravdepodobnos ou skombinova tie vlastnosti rodi ov, v aka ktor m majú rodi ia vysokú fitnes. Mutácia v jednoduchom genetickom algoritme zmení hodnotu ka dého bitu v danom re azci s pravdepodobnos ou p m. Pravdepodobnos zmeny, p m, je zvy ajne ve mi malá a preto je priemern po et zmenen ch bitov zvä a 1 alebo iná malá kon tanta nezávisle od konkrétnej d ky jedincov. Pre niektoré problémy je mo né vypo íta optimálnu hodnotu tohto parametra [1,19], ale v praxi je naj astej ím v berom 1/n, kde n je d ka vektora (po et bitov). Príklad aplikácie mutácie je znázornen na obrázku Ru ná simulácia jednoduchého genetického algoritmu Pre jednoduchos pou ijeme ako fitnes funkciu tzv. onemax, kde je hodnota fitnes vypo ítaná ako sú et bitov v ohodnocovanom re azci. ím má re azec viac bitov 1, t m je jeho fitnes vy ia. Optimum (najlep ie mo né rie enie) je re azec s bitom 1 v ka dej pozícii. In mi slovami, fitnes jedinca X = (X 1, X 2,, X n ), kde X i ozna uje bit na i-tej pozícii tohto jedinca, je vypo ítaná pomocou nasledovnej funkcie:. Na v ber rodi ov pou ijeme metódu zalo enú na turnajoch medzi náhodne vybrat mi pármi jedincov z pôvodnej populácie. Táto metóda je jednoduch ia ako proporcionálny v ber a vo vä ine prípadov vedie k zv enej efektivite genetického algoritmu. Parametre budú v simulácii nastavené pod a tab. 1. Tabu ka 1. Nastavenia parametrov v simulácii parameter vysvetlenie hodnota n d ka re azca 8 N ve kos populácie 10 p c pravdepodobnos krí enia 0.6 p m pravdepodobnos zmeny v mutácii 1/8

7 Prv krok pozostáva z náhodného vygenerovania N=10 binárnych re azcov d ky n=8. Mo n m v sledkom tejto operácie je nasledovná populácia 2 : jedinec fitnes V ber rodi ov za ína náhodn m v berom 10 párov rie ení z pôvodnej populácie. Z ka dého páru vyberieme najlep ieho jedinca na základe fitnes funkcie (v prípade rovnakej kvality oboch rie ení sa vyberie ví az náhodne). turnaj rodi (ví az) fitnes , , , , , , , , , , U na prv poh ad je zrejmé, e fitnes hodnoty v populácii rodi ov sú v priemere vy ie ako tie v pôvodnej populácii. Toto je následok tlaku na kvalitu jedincov prostredníctvom turnajov. V al om kroku je na páry rodi ov aplikované krí enie v jednom bode, pri om pravdepodobnos krí enia je 60%. Ke e populácia desiatich jedincov obsahuje 5 párov, dá sa o akáva, e v priemere budú skrí ené 3 páry jedincov. Na v sledn ch jedincov je potom aplikovaná mutácia, ktorá by mala v priemere zmeni jeden bit, ke e n=8 a p m =1/8. Po krí ení a mutácii vyzerá populácia nasledovne (bity vymenené krí ením, ako aj bity zmenené mutáciou, sú zv raznené hrub m písmom; v zátvorke je uvedená pozícia, od ktorej si rodi ia vymenia hodnoty pri krí ení): 2 Ako zdroj náhodn ch ísel pre túto simuláciu bol pou it MATLAB.

8 Martin Pelikan rodi ia po krí ení po mutácii fitnes (3) (2) (6) Po vytvorení nov ch jedincov pomocou v beru, krí enia a mutácie je pôvodná populácia nahradená populáciou nov ch rie ení, ktorá slú i ako základ pre al iu generáciu genetického algoritmu. Ako by bolo mo né kvantifikova v sledky prvej generácie v na ej simulácii? Jednou z mo ností je vypo íta priemernú fitnes prvej populácie a porovna ju s priemernou fitnes populácie nov ch jedincov. Priemerná fitnes pôvodnej populácie je 3,5. Priemerná fitnes novej populácie je 4,5. Za pomoci v beru, krí enia a mutácie sme tak boli schopní vytvori populáciu lep ích rie ení ako bola tá pôvodná. Sú asne sa tieto rie enia vo vä ine prípadov odli ujú od pôvodn ch rie ení. Boli sme preto schopní vytvori lep ie rie enia, ktoré sú síce podobné najlep ím rie eniam v pôvodnej populácii, ale sú sú asne aj iné. Simulácia al ích generácií by mala vies k al iemu zvy ovaniu kvality na ej populácie a po nieko k ch generáciách, populácia by mala obsahova optimálny re azec Simulácia genetického algoritmu na vä om probléme V tejto sekcii sú uvedené v sledky simulácie jednoduchého genetického algoritmu na funkcii onemax d ky n=100. Na v ber jedincov je opä pou it v ber na základe turnajov ve kosti 2. Ve kos populácie je N=100, pravdepodobnos krí enia je p c =0.6 a pravdepodobnos mutácie je p m =0.01. V sledky sú uvedené na obrázku 2.

9 Obr. 2. V sledky simulácie genetického algoritmu na onemax d ky n=100 bitov. V sledky ukazujú, e priemerná fitnes populácie sa pomerne stabilne zvy uje. Na za iatku je priemerná fitnes blízko svojej o akávanej hodnote 50 (náhodne vygenerované binárne re azce d ky 100 by mali obsahova v priemere 50 bitov hodnoty 1). Priemerná fitnes potom rastie a na hodnotu okolo 95,7 v generácii 86. Postupn rast mô e by spozorovan aj pre minimálnu a maximálnu fitnes, aj ke tieto hodnoty sa v niektor ch generáciách do asne zhor ujú. V tejto simulácii, genetick algoritmus na iel optimálne rie enie s fitnes 100 v 86. generácii. al ie generácie by viedli k al iemu zvy ovaniu kvality populácie, a k m by optimálni jedinci nezabrali takmer celú populáciu. Ke e je v tomto príklade d ka jedincov n=100, celkov po et potenciálnych rie ení je , Optimálne rie enie bolo nájdené v 86. generácii, i e celkovo bolo ohodnoten ch 86 N = 8600 jedincov (niektoré re azce boli pravdepodobne ohodnotené nieko kokrát). Celkovo bolo teda ohodnoten ch len 6, % potenciálnych rie ení a napriek tomu bolo nájdené globálne optimum. 3.4 Schémy Na vysvetlenie základn ch princípov fungovania genetického algoritmu sa asto pou íva teória schém alebo ablón (schema theory) [14,17]. Pre binárne re azce d ky n, schéma je definovaná ako re azec tej istej d ky nad abecedou zlo enou z troch symbolov: {0, 1, #}. Ka dá schéma definuje podmno inu binárnych re azcov. Binárny re azec X=(X 1, X 2,, X n ) patrí do schémy H=(H 1, H 2,..., H n ) vtedy a len vtedy, ke je zhodn so schémou v ka dej pozícii, kde schéma obsahuje hodnotu 0 alebo 1. Napríklad, re azce a patria oba do schémy ##11#, k m re azce a do tejto schémy nepatria. Ka d binárny re azec d ky n patrí do 2 n schém. Jedn m zo spôsobov charakterizácie populácie genetického algoritmu, ako aj dynamiky zmien v tejto populácii, je práve teória schém. Po et reprezentantov rôznych schém vyjadruje truktúru populácie, k m zmeny v po te reprezentantov rôznych schém medzi jednotliv mi generáciami vyjadrujú dynamiku zmien v populácii. Fitnes

10 Martin Pelikan hodnota schémy vyjadruje priemernú fitnes hodnotu reprezentantov tejto schémy. Fitnes schémy mô e by vypo ítaná bu na základe rovnomernej distribúcie nad priestorom v etk ch binárnych re azcov danej d ky patriacich tejto schéme, na základe konkrétnej populácie tak chto re azcov, alebo aj na základe inej distribúcie nad binárnymi re azcami patriacimi tejto schéme. Pre jednoduch príklad pou itia schém pri túdiu genetick ch algoritmov sa vrá me k simulácii genetického algoritmu na funkcii onemax. Na pochopenie dynamiky zmien v populácii po as základného cyklu genetického algoritmu sa sústre me na schémy 0###...# a 1###...#. Schéma 0###...# reprezentuje jedincov s 0 v prvej pozícii, k m schéma 1###...# reprezentuje jedincov s bitom 1 v prvej pozícii. Ke e po iato ná populácia bola vygenerovaná náhodne, predpokladan po et reprezentantov ka dej z t chto schém je N/2, lebo o akávan po et symbolov 0 a 1 na ka dej pozícii je N/2. Z definície v beru zalo eného na turnajoch je zrejmé, e jedinci s vy ou fitnes by mali by vybratí astej ie ako tí s ni ou fitnes. Ke e jedinci patriaci schéme 1###...# by mali ma v priemere vy iu fitnes ako jedinci patriaci schéme 0###...# (lebo majú o jeden bit 1 viac a fitnes je daná po tom bitov 1), po et reprezentantov schémy 1###...# by sa mal po v bere zv i. Po as krí enia sa tento po et nezmení, k m po as mutácie sa tento po et zmení len málo. Preto mô eme o akáva, e po et reprezentantov schémy 1###...# sa bude postupne zvy ova. Analogická úvaha je mo ná aj pre al ie pozície v binárnych re azcoch. Preto mô eme o akáva, e po et bitov 1 sa bude zvy ova a s ním sa bude postupne zvy ova aj fitnes populácie, ako aj konkrétnych jedincov v populácii. Proporcie jedincov prislúchajúcim schéme 1###...# v na ej simulácii genetického algoritmu na funkcii onemax d ky 100 bitov sú znázornené na obrázku 3. Dynamika zmien proporcií jednotliv ch schém súhlasí s na ou intuíciou a po et reprezentantov schém s hodnotou 1 na jednej pozícii sa postupne zvy uje. Obr. 3. Proporcia zástupcov schémy 1###...# na funkcii onemax d ky 100 bitov (na avo) a obdobné proporcie pre al ie pozície v binárnych re azcoch na tom istom probléme (napravo). Existuje nieko ko teoretick ch modelov zalo en ch na schémach, ktoré sa sna ia odhadnú dynamiku zmien v po te reprezentantov rôznych schém v závislosti od vlastností konkrétnej fitnes funkcie a operátorov [14,22]. Existuje tie mno stvo in ch

11 teoretick ch prístupov, zalo en ch napríklad na Markovov ch re azcoch (Markov chains) [20,25] a dimenzionálnych modeloch (dimensional models) [15,16]. 3.5 Iné reprezentácie a operátory v genetick ch algoritmoch V tejto podkapitole sme pou ili binárne re azce ako základnú reprezentáciu a predstavili sme niektoré základné operátory pou ívané v prv ch implementáciách genetick ch algoritmov. Samozrejme, existuje ve a problémov, kde potenciálne rie enia nie sú reprezentované binárnymi re azcami. Jedn m z najjednoduch ích prístupov k rie eniu tak chto problémov je definova zobrazenie medzi mno inou potenciálnych rie ení (prípadne podmno inou t chto rie ení) a priestorom binárnych re azcov. Následne je mo né pou i genetick algoritmus pre binárne re azce, kde pred ohodnotením fitnes ka dého jedinca sa tento jedinec najprv zobrazí do danej reprezentácie, a a potom sa na neho aplikuje fitnes funkcia. V sú asnosti v ak existuje mno stvo verzií genetick ch algoritmov, ktoré sú schopné priamo pracova s in mi reprezentáciami, ako sú napríklad vektory reálnych premenn ch alebo re azce premenlivej d ky. Bolo tie navrhnut ch mno stvo rôznych operátorov v beru, krí enia, ako aj mutácie. Zvy ok tejto podkapitoly sa v ak bude venova al ím populárnym oblastiam evolu n ch algoritmov, a to genetickému programovaniu a evolu n m stratégiám. 4 Genetické programovanie Genetické programovanie [2,7,18] je v podstate genetick algoritmus aplikovan na evolúciu ohodnoten ch stromov (labeled trees), ktoré zvy ajne reprezentujú programy s danou syntaxou alebo matematické v razy nad danou mno inou funkcií, premenn ch a kon tánt. Základn rozdiel medzi jednoduch m genetick m algoritmom a genetick m programovaním teda spo íva v reprezentácii jedincov a v následn ch zmenách operátorov pracujúcich nad jedincami, konkrétne, v krí ení a mutácii. V sú asnosti jestvuje mno stvo rôznych prístupov ku genetickému programovaniu. V tejto kapitole sa v ak budeme venova len t m najjednoduch ím, podobne ako tomu bolo v prípade genetick ch algoritmov. 4.1 Reprezentácia jedincov Jedinci sú v genetickom programovaní zvy ajne reprezentovaní stromami s ohodnoten mi vrcholmi (labeled trees). Vnútorné vrcholy t chto stromov obsahujú funkcie z danej mno iny prípustn ch funkcií, pri om podstromy definujú jednotlivé parametre t chto funkcií. Listy obsahujú tzv. terminálne symboly, ktoré zvä a reprezentujú premenné, kon tanty alebo funkcie bez parametrov. Ako základn vstup je potrebné definova mno inu prípustn ch funkcií a terminálnych symbolov, ako aj ich interpretáciu. Syntax pou itého jazyka a interpretácia jednotliv ch ohodnoten ch stromov sú v prvom rade závislé od problému, ktor chceme genetick m programovaním rie i.

12 Martin Pelikan Ako jednoduch príklad mô eme pou i aplikáciu genetického programovania pre optimalizáciu matematick ch v razov s jednou reálnou premennou x. Jednou z mo ností pre v ber funkcií je zvoli mno inu {+, -, *, / } a ako terminálne symboly pou i reálne ísla a symbol x pre túto vstupnú premennú. Príklad mo ného stromu vytvoreného z t chto symbolov je uveden na obrázku 4. Obr. 4. Príklad aritmetického v razu reprezentovaného ohodnoten m stromom. Okrem samotného stromu je uveden aj matematick v raz reprezentovan t mto stromom. Jednotlivé funkcie mô u zodpoveda konkrétnym príkazom v danom programovacom jazyku. Napríklad, funkcia mô e reprezentova príkaz if s troma parametrami, pri om tieto tri parametre by mohli by interpretované ako podmienka, v sledok v prípade splnenia tejto podmienky a v sledok v prípade nesplnenia tejto podmienky. Pre zlo itej ie jazyky s mo nos ami cyklov alebo podmienok je samozrejme dôle ité, aby bolo mo né ak ko vek tak to program jednoducho interpretova a otestova pomocou fitnes funkcie z h adiska rie eného problému. 4.2 Fitnes funkcia Podobne, ako v genetick ch algoritmoch, aj v tomto prípade definuje fitnes funkcia optimaliza n problém, ktor by malo genetické programovanie rie i. Pre ka dé potenciálne rie enie, ktoré je v tomto prípade reprezentované ohodnoten m stromom, vráti fitnes funkcia hodnotu. Táto hodnota slú i ako íselné ohodnotenie kvality tohto stromu. Cie om je nájs ohodnoten strom najvy ej kvality. Konkrétny tvar fitnes funkcie zále í od problému, ktor chceme rie i. Jedn m zo tandardn ch problémov rie en ch genetick m programovaním je symbolická regresia, kde jednotliví jedinci reprezentujú matematické v razy podobné tomu, ktor sme pou ili ako príklad ohodnoteného stromu v genetickom programovaní na obrázku 4. Na vstupe je daná mno ina dvojíc, kde ka dá dvojica pecifikuje jeden z mo n ch vstupov, ako aj o akávan v stup. Vstup vä inou pozostáva z reálneho vektora a v stup pozostáva z jednej reálnej hodnoty. Cie om je nájs matematick v raz, definovan na reálnych premenn ch zodpovedajúcim jednotliv m súradniciam vstupného vektora, ktor o najbli ie zodpovedá dan m párom vstupov a v stupov. Jeden zo spôsobov definície fitnes funkcie pri rie ení symbolickej regresie za ína vyhodnotením matematického v razu reprezentovaného ohodnocovan m jedincom pre ka dú vstupnú dvojicu. Fitnes funkcia je potom vypo ítaná na základe sú tu tvorcov

13 rozdielov medzi skuto n mi a o akávan mi v stupmi pre v etky tieto dvojice. Cie om je minimalizácia tohto sú tu. Príklad v sledku dosiahnutého genetick m programovaním pre jednoduch problém symbolickej regresie definovan pre jednu vstupnú premennú je uveden na obrázku 5. Obr. 5. Príklad aplikácie genetického programovania na symbolickú regresiu. Genetické programovanie sa asto pou íva aj na rie enie problémov, kde stromy reprezentujú programové kódy v danom programovacom jazyku. Pre vypo ítanie hodnoty fitnes funkcie sa ohodnocovan kód zvy ajne odsimuluje na mno ine dan ch príkladov a fitnes funkcia je potom vypo ítaná na základe dosiahnut ch v sledkov a ich kvality vzh adom na rie en problém. Ka d program mô e napríklad reprezentova pravidlá, na základe ktor ch sa mô e agent rozhodova, ako bude reagova na rôzne senzorické vstupy konkrétnymi akciami a fitnes funkcia mô e by vypo ítaná na základe anal zy ur it ch modelov ch situácií poskytnut ch pou ívate om. Ak napríklad chceme, aby sa agent vyh bal preká kam, fitnes mô e by zní ená pre ka dú kolíziu agenta s preká kou po as simulácie. Podobne, ako v in ch evolu n ch algoritmoch, aj v genetickom programovaní mô u by jedince ohodnocované vzájomn m porovnaním na základe simulácie, i turnaja. Ak napríklad reprezentujú jedince stratégie na hru achu, ka dá stratégia mô e by ohodnotená simuláciou partie s ka dou inou stratégiou v sú asnej populácii. Fitnes hodnota stratégie potom mô e by ur ená ako po et vyhrat ch partií mínus po et prehrat ch partií. 4.3 Generovanie náhodn ch stromov Generovanie náhodn ch stromov je potrebné na naplnenie prvej populácie stromov, ako aj na nahradenie náhodne vybrat ch podstromov pri mutácii. Stromy sa vä inou generujú od kore ového vrcholu jednoduch m rekurzívnym algoritmom. Pre ka d vrchol sa najprv náhodne vyberie jedna funkcia alebo terminál. Pokia je v sledkom tohto v beru funkcia, jej parametre (podstromy) sú následne náhodne vygenerované

14 Martin Pelikan pomocou rekurzívneho volania toho istého algoritmu. Generovanie kon í v listov ch vrcholoch. Na obmedzenie zlo itosti vygenerovan ch stromov je mo né ur i maximálnu h bku, ím sa ka d vrchol v tejto maximálnej h bke obmedzí na terminálne symboly. Pri generovaní prvej populácie stromov je nielen dôle ité zabezpe i, aby vygenerované stromy neboli príli ve ké (hlboké), ale aj aby po iato ná populácia obsahovala stromy rôznej h bky. Na toto je mo né pou i variácie vy ie uvedeného rekurzívneho algoritmu. Asi najpopulárnej ia metóda na generovanie po iato nej populácie v genetickom programovaní je tzv. ramped half-and-half algoritmus. 4.4 Krí enie a mutácia Existuje mno stvo prístupov k mutácii a krí eniu v genetickom programovaní. Princíp t chto operátorov je v ak rovnak ako v tradi n ch genetick ch algoritmoch. Krí enie slú i na kombinovanie informácie obsiahnutej v rodi och, k m mutácia slú i na men ie zmeny v sledn ch rie ení. Obidva operátory sú zvy ajne aplikované s danou pravdepodobnos ou. Tu uvedieme azda najjednoduch ie z t chto prístupov [18]. Obr. 6. Krí enie a mutácia na matematick ch v razoch v genetickom programovaní. Pre ka d strom je uveden aj matematick v raz, ktor je t mto stromom reprezentovan. Genetické programovanie samozrejme pracuje priamo so stromami a nie s v razmi nimi reprezentovan mi. Jednobodové krí enie za ína v berom náhodného vrcholu v ka dom z dvoch jedincov. Títo jedinci si následne vymenia podstromy za ínajúce v t chto náhodne

15 vybrat ch vrcholoch. Mutácia najprv vyberie náhodn vrchol stromu. Podstrom za ínajúci v tomto vrchole je potom nahraden náhodne vygenerovan m stromom. Príklad krí enia a mutácie je uveden na obrázku 6. 5 Evolu né stratégie Genetické algoritmy a evolu né stratégie (evolution strategies) [23,24] sa lí ia najmä v dvoch aspektoch. K m v genetick ch algoritmoch sú jedinci zvy ajne reprezentovaní diskrétnymi vektormi pevnej d ky, evolu né stratégie pracujú zvä a s reálnymi vektormi. al ím rozdielom je to, e variácia v genetick ch algoritmoch vä inou prikladá vä í dôraz na krí enie, k m v evolu n ch stratégiách je vä í dôraz kladen na mutáciu. Napriek tomu sú v sú asnosti pomerne be né genetické algoritmy pracujúce s reálnymi vektormi a v oboch skupinách evolu n ch algoritmov sa be ne pou íva aj krí enie aj mutácia. Preto je delenie evolu n ch algoritmov na genetické algoritmy a evolu né stratégie hlavne v sledkom historického v voja a hranice medzi t mito dvoma typmi evolu n ch algoritmov nie sú v sú asnosti jednozna né. V tejto podkapitole predstavíme tzv. (1+ )-evolu nú stratégiu alebo (1+ )-ES, kde 1 je parameter ur en pou ívate om. (1+ )-ES pracuje s populáciou zlo enou len z jedného jedinca reprezentovaného reálnym vektorom danej d ky. Po iato n vektor je vygenerovan náhodne. Ka dá súradnica po iato ného vektora je zvy ajne generovaná pomocou rovnomernej distribúcie na danom intervale. Ka dá iterácia (1+ )-ES za ína vygenerovaním jedincov opakovan m pou itím operátora mutácie na sú asné rie enie. Mutácia sa aplikuje na ka dú súradnicu osobitne. Pre ka dú súradnicu sa najprv vygeneruje náhodné íslo z normálnej distribúcie so strednou hodnotou 0 a tandardnou odch lkou, kde parameter je vyjadruje silu mutácie (mutation strength). Toto náhodné íslo sa potom pripo íta k príslu nej súradnici. Ka dá súradnica prechádza mutáciou osobitne a nezávisle od ostatn ch súradníc. Po -násobnej aplikácii mutácie je vytvoren ch nov ch vektorov, ktoré sa síce lí ia od pôvodného vektora, ale sú mu sú asne ve mi podobné, ke e sila mutácie je vä inou pomerne malá. Po vytvorení nov ch vektorov porovnáme v etk ch +1 vektorov (pôvodn vektor a nov ch vektorov) na základe ich kvality z poh adu rie enia daného optimaliza ného problému vyjadrenou pomocou fitnes funkcie. al ia populácia je tvorená najlep ím z t chto jedincov a iterácie sa opakujú, a k m nie sú splnené podmienky na ukon enie. Jednou z najzaujímavej ích oblastí v skumu v evolu n ch stratégiách je automatická adaptácia parametrov mutácie (adaptive mutation). Tu predstavíme jeden z prv ch a sú asne najjednoduch ích prístupov k adaptácii mutácie. Základnou motiváciou pre adaptáciu parametrov mutácie je fakt, e optimálna ve kos sily mutácie závisí najmä od vzdialenosti sú asnej populácie od optimálneho rie enia. ím je táto vzdialenos vy ia, t m by mali by zmeny spôsobené mutáciou vä ie. Naopak, ím je populácia bli ie k optimu, t m by mali by zmeny spôsobené mutáciou ni ie. Pre pochopenie tejto závislosti mô eme pou i jednoduch príklad,

16 Martin Pelikan kde je cie om minimalizova hodnotu nasledovnej kvadratickej funkcie nad n reálnymi premenn mi: V sledky simulácie (1+1)-ES na kvadratickej funkcii s n=10 reálnymi premenn mi a dvoma hodnotami sily mutácie ( =0.2 a =0.05) sú uvedené na obrázku 7. Z v sledkov je zrejmé, e silnej ia mutácia je v hodná najmä v prvej fáze evolu nej stratégie, ke je rie enie pomerne vzdialené od optima vo funk nej hodnote 0 a zv ená mutácia umo uje r chlej í postup k tomuto optimu. Naopak, ako náhle je rie enie bli ie k optimu, simulácia so silnej ou mutáciou za ala stagnova a slab ia mutácia bola schopná dosiahnu rie enia vy ej kvality. Vo v eobecnosti by sa sila mutácie mala zvy ova so vzdialenos ou od optima.. Obr. 7. Porovnanie (1+1)-ES na kvadratickej funkcii 10-tich reálnych premenn ch pre dve nastavenia sily mutácie. Jednou z metód na automatické nastavovanie mutácie po as samotného behu evolu nej stratégie je 1/5 pravidlo (1/5 rule) [23]. 1/5 pravidlo zaznamenáva po et úspe n ch a neúspe n ch mutácií, pri om úspe ná mutácia je tá, ktorá vedie k vylep eniu rie enia. V ur it ch intervaloch (napríklad po ka d ch desiatich iteráciách) sa vypo íta pomer p s úspe n ch mutácií k celkovému po tu mutácií a na základe tohto pomeru sa upraví sila mutácie pomocou nasledovného pravidla: kde c<1 je reálna kon tanta (zvy ajne sa pou íva c=0.8 alebo c=0.9). Toto pravidlo je úspe né najmä pre vy ie uvedenú kvadratickú funkciu, pre ktorú by mal by optimálny pomer úspe n ch mutácií k celkovému po tu mutácií zhruba 1/5.

17 6 Niektoré úspe né aplikácie evolu n ch algoritmov Existuje ve ké mno stvo zaujímav ch aplikácií evolu n ch algoritmov, z ktor m spomenieme v tejto podkapitole iba niektoré. Jedn m z najznámej ích príkladov úspe nej aplikácie genetick ch algoritmov v rozvrhovaní a plánovaní je firma Optimax, ktorej hlavn m produktom bol program ur en na tvorbu plánov a rozvrhov zalo en na jednoduchom genetickom algoritme. Tento program bol napríklad pou it firmou John Deere, ktorá s jeho pomocou vyrie ila rozvrhovanie v robn ch liniek v piatich fabrikách. Firma Optimax bola v roku 1997 odkúpená firmou i2 za zhruba 60 miliónov americk ch dolárov. Jestvuje mno stvo al ích úspe n ch aplikácií genetického algoritmu na rozvrhovanie. Napríklad, genetick algoritmus bol pou it aj na rozvrhovanie peciálnych olympijsk ch hier v Barcelone v roku Vo finan níctve firma First Quadrant pou íva genetick algoritmus ako jeden z nástrojov na podporu riadenia investícií v hodnote zhruba 28 miliárd americk ch dolárov. Genetick algoritmus bol tie pou it na zv enie efektivity prúdového motora známeho dopravného lietadla Boeing 777. Motor tohto lietadla bol vyroben firmou General Electrics, ktorá je jedn m z najstar ích a najprominentnej ích pou ívate ov technológií zalo en ch na genetick ch algoritmoch v in inierstve. Evolu né algoritmy si na li svoju cestu aj do oblasti kriminalistiky, kde bolo navrhnuté pou itie genetick ch algoritmov na ná rty osôb podozriv ch z trestnej innosti. Táto aplikácia je zaujímavá najmä t m, e kvalita jednotliv ch ná rtov je ohodnocovaná svedkom, ktor rozhoduje, ktoré z ná rtov vyzerajú presnej ie a ktoré naopak menej presne. Evolu né algoritmy boli tie pou ité pri tvorbe kompilátorov (Microsoft), návrhoch pevn ch a mobiln ch komunika n ch sietí (Cox Associates), komponovaní d ezov ch sól, i návrhu elektronick ch obvodov (napr. audio filtrov). 7 Záver Evolu né algoritmy sú robustné stochastické optimaliza né algoritmy, ktoré sú schopné s vysokou pravdepodobnos ou nájs globálne extrémy zlo it ch funkcií. Menovite v opera nom v skume a v diskrétnej matematike poskytujú koncep ne jednoduché optimaliza né prístupy, ktoré nevy adujú od rie ite a hlboké preniknutie do matematick ch základov daného problému a sú pou ite né pre irokú kálu rôznych typov problémov vrátane funkcií s ve k m po tom premenn ch a lokálnych extrémov, prípadne funkcií ovplyvnen ch umom. Evolu né algoritmy sa stali v sú asnosti integrálnou sú as ou umelej inteligencie a kognitívnej vedy, kde reprezentujú jednoduch numerick nástroj pre simuláciu Darwinovej evolúcie ako v multiagentov ch systémoch, tak aj v teórii neurónov ch sietí pri evolu nom návrhu ich architektúry tak, aby o najlep ie rie ili po adované aktivity. V umelej inteligencii dokonca vznikol in iniersky odbor naz van v po tová inteligencia, ktorá je kombináciou troch subsymbolick ch prístupov, a to neurónov ch sietí, fuzzy logiky

18 Martin Pelikan a evolu n ch algoritmov. Metódami v po tovej inteligencie sme schopní rie i in inierske problémy v mnoh ch oblastiach aplikovanej umelej inteligencie prostredníctvom tandardn ch numerick ch metód. Tento nov vedn odbor v rámci umelej inteligencie sa stal alternatívou klasickej umelej inteligencie, zalo enej na operáciách so symbolmi, ktorá dominovala do konca osemdesiatych rokov 20. storo ia. V sú asnosti sa be ne pou ívajú tak klasická umelá inteligencia, ako aj v po tová inteligencia, asto na rie enie rozdielnych typov problémov. Po akovanie: This project was sponsored by the National Science Foundation under CAREER grant ECS , by the Air Force Office of Scientific Research, Air Force Materiel Command, USAF, under grant FA , and by the University of Missouri in St. Louis through the High Performance Computing Collaboratory sponsored by Information Technology Services, and the Research Award and Research Board programs. The U.S. Government is authorized to reproduce and distribute reprints for government purposes notwithstanding any copyright notation thereon. Any opinions, findings, and conclusions or recommendations expressed in this material are those of the authors and do not necessarily reflect the views of the National Science Foundation, the Air Force Office of Scientific Research, or the U.S. Government. 8 Literatúra [1] Bäck, T.: Optimal mutation rates in genetic search. In Forrest, S. (Ed.): Proceedings of the 5th International Conference on Genetic Algorithms. Morgan Kaufmann, pp. 2-8, [2] Banzhaf, W., Nordin, P., Keller, R. E., Francone, F. D.: Genetic Programming An Introduction. Morgan Kaufmann, [3] Barricelli, N. A.: Esempi numerici di processi di evoluzione. Methodos 6 (21-22), pp , [4] Biles, J.: GenJam: A genetic algorithm for generating jazz solos. In International Computer Music Conference, pp , [5] Caldwell, C. and V. Johnston. Tracking a criminal suspect through face-space with a genetic algorithm, In Proceedings of the 4 th International Conference on Genetic Algorithms, pp , [6] Chen S.-H. (ed.): Evolutionary Computation in Economics and Finance. Physica- Verlag Heidelberg, [7] Cramer, N. A.: Representation for the Adaptive Generation of Simple Sequential Programs. In Grefenstette, J.: Proceedings of the International Conference on Genetic Algorithms and their Applications, Lawrence Erlbaum Associates, pp , 1985.

19 [8] Darwin, C.: On the Origin of Species by Means of Natural Selection, or the Preservation of Favoured Races in the Struggle for Life. London: John Murray, 1859 (Pôvod druhov. Kalligram, 2006). [9] Dasgupta, D., Michalewicz, Z. (Eds): Evolutionary Algorithms in Engineering Applications. Springer, [10] De Jong, K.: An analysis of the behaviour of a class of genetic adaptive systems. Ph.D. thesis, University of Michigan, [11] Fonseca, C. M., Fleming, P. J.: Genetic algorithms for multiobjective optimization: Formulation, discussion, and generalization. In Proceedings of the 5 th International Conference on Genetic Algorithms, , [12] Fogel, L. J., Owens, A. J., and Walsh, M. J.: Artificial Intelligence through Simulated Evolution. New York: John Wiley, [13] Fraser, A. S.: Simulation of genetic systems by automatic digital computers. I. Introduction. Aust. J. Biol. Sci. 10, , [14] Goldberg, D. E.: Genetic Algorithms in Search, Optimization, and Machine Learning. Addison-Wesley, [15] Goldberg, D. E.: The race, the hurdle, and the sweet spot: Lessons from genetic algorithms for the automation of design innovation and creativity. In Bentley, P. J. (ed.): Evolutionary Design by Computers, [16] Goldberg, D. E.: The Design of Innovation: Lessons from and for Competent Genetic Algorithms. Kluwer Academic Publishers, [17] Holland, J. H.: Adaptation in Natural and Artificial Systems. University of Michigan Press, Ann Arbor, MI, [18] Koza, J. R.: Genetic Programming: On the Programming of Computers by Means of Natural Selection. MIT Press, [19] Mühlenbein, H. How Genetic Algorithms Really Work: Mutation and Hillclimbing. In Parallel Problem Solving From Nature, pp , [20] Nix, A. E., Vose, M. D.: Modeling genetic algorithms with Markov chains. Annals of Mathematics and Artificial Intelligence 5, pp , [21] Parmee, I. C.: Evolutionary and Adaptive Computing in Engineering Design. Springer, [22] Poli, R.: Recursive conditional schema theorem, convergence and population sizing in genetic algorithms. In Spears, W. M. and Martin, W. (eds.): Proceedings of the Foundations of Genetic Algorithms Workshop (FOGA 6), pp , [23] Rechenberg, I.: Evolutionsstrategie - Optimierung technischer Systeme nach Prinzipien der biologischen Evolution. Ph.D. thesis, Berlin Tech. Univ., [24] Schwefel, H.-P.: Numerische Optimierung von Computer-Modellen. Ph.D. thesis, Berlin Technical University, [25] Vose, M. D.: The Simple Genetic Algorithm: Foundations and Theory. MIT Press, 1999.