RIADENIE DYNAMICKÝCH SYSTÉMOV POUŽITÍM Q-UENIA CONTROL OF DYNAMICS SYSTEMS BASED ON Q-LEARNING

Transcription

1 19 Riadenie dynaických systéov použití Q-uenia RIADENIE DYNAMICÝCH SYSÉMOV POUŽIÍM Q-UENIA CONROL OF DYNAMICS SYSEMS BASED ON Q-LEARNING Anna Filasová, Juraj lacik, Ján ašprišin atedra kybernetiky a uelej inteligencie, Elektrotechická fakulta, echnická Univerzita ošice, 04200, ošice Abstrakt Cieo tohto lánku je prezentova výsledky riešenia probléu riadenia nelineárnych systéov použití algoritu Q-uenia, ktorý patrí do skupiny algoritov návrhu adaptívneho kritika (ACD z.angl. Adaptive Critic Designs). Výhodou tohto prístupu oproti ostatný zo skupiny ACD je, že na nájdenie riadiacej postupnosti regulátora nie je potrebný odel systéu. Na overenie efektívnosti algoritu bol použitý odel energetického systéu. Suary he purpose of the paper is to present an algorith for solving nonlinear systes control proble based on Q-learning, which is a odel-free approach belonging to the adaptive critic faily of designs and its advantage over other algoriths of this faily is that it does not need a odel of the syste. he exaple application is concerning the odel of power syste. 1. ÚVOD V odernej teórii riadenia sú všetky požiadavky na riadenie zhrnuté do kritéria kvality a problé riadenia je transforovaný na optializaný problé inializácie kritéria kvality. Pri toto prístupe existujú dva zásadné probléy. Prvý je vhodná voba kritéria kvality, ktorá by zahrnula všetky naše požiadavky na riadenie a druhý je riešitenos takto forulovaného optializaného probléu. Najviac používaný kritério kvality riadenia je kvadratické kritériu, ktoré pre lineárne systéy vedie na lineárny zákon riadenia. V teórii riadenia sa preto na riešenie probléu nájdenia optiálneho riadenia lineárnych systéov používa tzv. LQ riadenie (z angl. Linear Quadratic). Pre nelineárne systéy je použitie tohto prístupu vei koplikované, a preto je potrebné siahnu po iných prístupoch, ako je napr. Q-uenie, ktoré na nájdenie optiálneho riadenia v zysle kvadratického kritéria využíva poznatky uelej inteligencie, konkrétne teóriu uelých neurónových sietí. 2. LINEÁRNE VADRAICÉ RIADENIE Uvažuje lineárny diskrétny asovo optiálny systé ktorého stavový opis je: x ( k + 1) = Fx + Gu( (1) y = Hx( + Iu (2) kde x( je vektor stavových veliín, u( vektor vstupných a y( vektor výstupných veliín v asovo okaihu k. Úlohou LQ riadenia je nájs také u( = - (x( pre systé popísaný rovnicai (1), (2), aby bolo inializované kvadratické kritériu (funkcionál) N 1 ( ) * J = x N Q x( N) + ( x Qx + u Ru ) (3) k = 1 kde N je prirodzené íslo, Q * je syetrická kladne seidefinitná atica, Q syetrická kladne seidefinitná atica, R syetrická kladnene definitná atica a ( je postupnos atíc spätnoväzbových zosilnení. Úlohou kladnene definitnej atice R vo funkcionáli (3) je zabezpei ohranienie aplitúd prvkov vektora riadiacich veliín u( na fyzikálne realizovatené hodnoty. Zyslo zavedenia kladne seidefinitnej atice Q je zabezpei konvergenciu aplitúd zložiek stavového vektora do nuly. Optiálne riadenie, okre inializácie funkcionálu (3), usí zabezpeova asyptotickú stabilitu uzavretého regulaného obvodu, o ožno dosiahnu vytvorení odifikovaného funkcionálu na základe Ljapunovovej funkcie, poocou ktorej sa asyptotická stabilita riadenia zabezpeí. Najjednoduchší tvar Ljapunovovej funkcie pre diskrétny lineárny systé je poda [1], [2] J( x( k + 1)) = x ( k + 1) P x ( k + 1) (4) Postupnos atíc zosilnení riadenia ( pre k = N 1, N 2,... 0 je ožné na základe (3), (4), poda [1], [2] vypoíta ako 1 ( ) ( k = R + G P G) G P F (5) prio postupnos atíc P(, k = N 1, N 2,... 0, pre P(N - 1) = Q * je daná riešení Riccatiho rovnice ( 1) P k = Q + F P F F P G (6) Vlastnosou LQ riadenia pre asovo-invariantné systéy a kvadratické funkcinály je, že optiálna postupnos atíc zosilnení konverguje ku konštantnej atici spätnoväzobných zosilnení. Riadenie

2 Advances in Electrical and Electronic Engineering 20 s ustálenou hodnotou riešenia atice je poto ožné zapísa v tvare u = x (7) 3. MEÓDY NÁVRHU ADAPÍVNEHO RIIA Metódy návrhu adaptívneho kritika (Adaptive critic designs - ACD) predstavujú úinný nástroj na riešenie probléu optializácie s využití neurónových sietí. Spájajú v sebe výhody uenia na základe hodnotenia innosti (Reinforceent learning - RL) a dynaického prograovania (DP) za úelo optializácie riadenia nelineárnych systéov pracujúcich v prítonosti porúch a šuov. Ak je proces optializácie uvažovaný na asovo intervale < 0; 1 >, poto je ožné poda [2] važova optializané kritériu (Bellanovu rovnicu) v tvare J γ U ( k + i), (8) = i=0 i kde γ (0, 1> je takzvaný znižovací koeficient a U je úelovou funkciou (kvadratický kritério). U = x Qx + u Ru (9) prio x(, u( sú vektory stavov, resp. vstupov systéu a atice Q a R sú váhovýi aticai stavov, resp. vstupov systéu, prio ich funkcia je rovnaká ako v prípade LQ riadenia. ahko je ožné dokáza, že vzah (8) sa dá nahradi tzv. Bellanovou rekurziou takto J ( x ) = U + J ( x( k + 1)) (10) kde J je funkciou, ktorá v zysle riadenia odpovedá Ljapunovej funkcii (4). Návrh adaptívneho kritika vo všeobecnosti zaha oduly Aktuátor (Action), ritik (Critic) a Model, ktoré sú spravidla realizované poocou uelých neurónových sietí, kde odul Model siuluje cie riadenia, ritik odhaduje hodnoty funkcie J z Bellanovej rovnice (8) dynaického prograovania (resp. jej deriváciu, v závislosti od použitej etodiky) vzhado na stavy ciea riadenia. Modul Aktuátor slúži na hadanie optiálnej postupnosti vektorov riadenia u( pri optiálnej estiácii funkcie J (resp. jej derivácie) z odulu ritik, prio riadenie je dané ako u = Ax(, (11) kde A predstavuje váhy siete Aktuátor A = -, prio je atica spätnoväzobných zosilnení. 3.1 Prehad etód ACD V roku 1979 existovali tri prístupy k realizácii adaptívneho kritika [3] Heuristické dynaické prograovanie (Heuristic dynaic prograing HDP), Duálne heuristické prograovanie (Dual heuristic prograing DHP), Globalizované DHP (Globalized DHP GDHP). ieto prístupy boli navrhnuté tak, že pre riadenie vyžadujú znalos ateatického odelu riadeného systéu. V praxi nie je vždy ožné pre daný systé nájs vhodný ateatický odel. Preto bola navrhnutá etóda Q-uenia, ktorá rieši tento nedostatok. 3.2 Q-uenie V roku 1989 bola dvoa nezávislýi skupinai vedcov navrhnutá odifikácia heuristického dynaického prograovania, ktorá bezprostredne spája oduly Aktuátor a ritik (Model nie je potrebný). Skupina okolo P. Werbosa nazvala túto odifikáciu aktuátorovo-závislý návrho (action-dependent design AD) a skupina okolo C. Watkinsa Q-uení (Q-learning). V lánku budee používa poje Q- uenie. Na obrázku (Obr. 1) je znázornený princíp adaptácie váh sietí Aktuátor a ritik v Q-uení. Obr. 1 Základná schéa Q-uenia Fig. 1 he Q-learning basic structure Váhy siete Aktuátor sú adaptované v zysle hadania lokálneho extréu funkcie J ktorá je výstupo siete ritik vzhado na výstup z odulu Aktuátor u(. Výstupnú chybu siete Aktuátor je ožné vypoíta ako J( x) ea = u (12) Adaptáciu váh siete Aktuátor je poto ožné na základe (12) použití etódy spätného šírenia chyby (z angl. backpropagation BP) uri na základe vzahu

3 21 Riadenie dynaických systéov použití Q-uenia J( ) wij = µ x u u w ij (13) prio výraz J(x()/ u( je získaný priao spätný šírení signálu cez sie ritik sero k výstupu siete Aktuátor. eže sie ritik aproxiuje funkciu J z Bellanovej rovnice DP, jej váhy sú adaptované etódou BP, tak, aby bola inializovaná výstupná chyba siete, ktorá je na základe (10) daná ako e = J γ J( k + 1) U (14) k Adaptácia váh siete ritik je poto vypoítaná ako: J wij = µ ( J γ J( k + 1) U ) w ij (15) 3.3 Popis algoritu Q-uenia Riešenie probléu kvadraticky optiálneho riadenia sústav použití Q-uenia ôžee zhrnú poda [4] do týchto bodov: 1. Zistenie hodnôt jednotlivých koeficientov stavového vektora x( riadeného systéu (eraní, v prípade ak to povaha systéu dovouje, resp. odhadovaní na základe pozorovatea stavu), 2. Šírení stavového vektora x( cez sie Aktuátor je na jej výstupe získaný akný zásah u(, 3. Šírení stavového vektora x( a akného zásahu u( cez sie ritik je na jej výstupe získaná hodnota funkcie J(k+1), 4. Na základe (9) je vypoítaná úelová funkcia U(, ktorá slúži na výpoet chyby siete ritik ek ( k ) poda (14), 5. Adaptácia váh siete ritik etódou spätného šírenia chyby, 6. Hodnota parciálnej derivácie J(x()/ u( je urená spätný šírení signálu 1 cez neurónovú sie ritik sero k výstupu z Aktuátora, í sa získa výstupná chyba neurónovej siete Aktuátor e a( k ), 7. Adaptácia váh siete Aktuátor etódou spätného šírenia chyby, 8. Na vstup do systéu je privádzaný akný zásah u( generovaný sieou Aktuátor a algoritus pokrauje bodo 1. Pre ilustráciu je algoritus Q-uenia nartnutý na obrázku (Obr. 2). 4. SIMULÁCIE A VÝSLEDY Efektívnos prezentovaného algoritu bola overovaná v Matlabe, siuláciai na odeli energetického systéu 4. rádu, ktorý je popísaný sústavou nelineárnych diferenciálnych rovníc Obr. 2 Schéa algoritu Q-uenia Fig. 2 he Q-learning algorith configuration dδ = ϖ dω M = d + U + E yv sin( δ δ Θ ) dδ 2 ' ' ' = 2 + E0 y0v cos( δ + Θ0 ) ' ( y0 cos Θ0 + y cosθ ) V + E y V cos( δ δ + Θ ) k 4 dv 2 2 = pw qvv + ( pw qv pv ) V ' ' pw [ 0 0 δ E y V cos( + Θ h) E y V cos( δ δ + Θ h) + + ( y cos( Θ h) + y cos( Θ h)) V ] ' kde k 4 = pv a h = tan -1 ( / pw ). 2 + (16) Noinálne hodnoty koeficientov v rovniciach (16) sú: pw = 0.4, pv = 0.3, = -0.03, qv = -2.8, qv2 = 2.1, = 8.5, E 0 = 1.0, y 0 = 8.0, θ 0 = -12.0, E 0 = 2.5, y = 5.0, θ = -5.0, E = 1.0, M = 0.3 a d = 0.5. akto definovaný odel systéu je v otvorenej sluke nestabilný. Preto bolo potrebné adaptova váhy sietí Aktuátor a ritik taký spôsobo, že siulácia bola spúšaná vždy po piatich sekundách znovu, s nový poiatoný stavový vektoro. ý bolo zabezpeené, že stavy neprekraovali v dôsledku nedostatonej adaptácie váh sietí Aktuátor a ritik axiálne (fyzikálne realizovatené) hodnoty. Po ukonení procesu adaptácie váh neurónových sietí, tieto predstavovali optiálny adaptívny regulátor.

4 Advances in Electrical and Electronic Engineering 22 Množina poiatoných stavových vektorov systéu pozostávala zo šiestich prvkov a bola spustená v troch cykloch. Váhy neurónových sietí boli v procese inicializácie nastavené náhodne na hodnoty z intervalu <-0.01; 0.01>. Výsledky siulácií pre rôzne atice Q a R sú uvedené v tabuke 1. Proces konvergencie prvkov atice zosilnení, ktorá je aproxiovaná sieou Aktuátor, je pre jednotlivé prípady z tabuky (ab. 1) zachytené na obrázkoch (Obr. 3, 4, 5). ab. 1 Výsledky siulácií (I- jednotková atica 4x4) able 1 Results fro siulation (I-identity atrix 4*4) Obr. 3 onvergencia váh siete Aktuátor Fig.3 Action network weights convergence Obr , , Obr , , Obr , , γ c /γ a Q R *I 0.004*I *I Dôležitý prvý kroko pri návrhu regulátora použití Q-uenia je zvoli vhodnú úelovú funkciu U(, a to tak, aby v sebe zahrovala všetky ciele pre riadený systé. Rovnako ako pri LQ riadení, aj v prípade Q-uenia, je ožné vhodnou vobou atíc Q a R ladenie regulátora z hadiska požadovaných vlastností (prechodové a frekvenné charakteristiky, obedzenie vstupných veliín a pod.), no na rozdiel od LQ riadenia Q-uenie nezaruuje iplicitne stabilitu regulaného obvodu. Obr. 4 onvergencia váh siete Aktuátor Fig. 4 Action network weights convergence Obr. 5 onvergencia váh siete Aktuátor Fig. 5 Action network weights convergence Vekou výhodou tohto prístupu je to, že nie je potrebný odel sústavy. Pre návrh regulátora je postaujúce pozna vnútorné stavy riadeného systéu (ak nie sú eratené, je potrebné použi pozorovate stavov), ktoré tvoria spolu s generovaný riadiaci vektoro trénovaciu nožinu pre adaptáciu neurónových sietí Aktuátor a ritik. Pri realizácii Q-uenia sa ako vei efektívne ukázalo norovanie n-rozerného stavového priestoru R n na interval < -1, 1> n. Všetky stavy, ktoré vstupujú do neurónovej siete Aktuátor sa teda delia ich axiálnou ožnou hodnotou. V prípade, že pre neurónovú sie Aktuátor sa norovanie nerealizuje dochádza k extréneu nárastu hodnôt synaptických váh neurónovej sieti, o následne vedie k zahlteniu a zlyhaniu celého procesu návrhu regulátora. V prípade ak hodnota stavu prekroí jeho axiálnu ožnú hodnotu, o je v prípade nestabilných systéov pravdepodobné, je potrebné pozastavi proces uenia, systé nastavi do inicializaného stavu danej periódy a následne opä pokraova v uení, prio váhy neurónových sietí sa poas inicializácie stavového vektora neenia. Urenie norovacích koeficientov ôže by analitické na základe axiálnych ožných hodnôt stavových preenných, alebo epirické na základe pozorovania správania sa systéu. áto

5 23 Riadenie dynaických systéov použití Q-uenia hodnota do znanej iery ovplyvuje celý proces návrhu regulátora. Algoritus je vei citlivý na nastavenie uiacich paraetrov sietí ritik a Aktuátor, ako aj na poiatonú inicializáciu váh oboch sietí. Aby sa zabezpeila relatívna necitlivos na poiatoné nastavenia váh oboch sietí, je potrebné zvoli dostatone alý interval hodnôt, z ktorého sa budú váhy neurónových sietí náhodne inicializova. ento interval však závisí aj od konkrétnej sústavy. V uvažovano príklade uiace paraetre boli stanovené experientálne. 5. VYHODNOENIE VÝSLEDOV Pre nelineárne sústavy je návrh LQ riadenia vei zložitý a vyžaduje linearizáciu sústavy v každo pracovno bode. Z tohto hadiska je Q-uenie vei vhodnou etódou pre návrh riadenia nelineárnych a ažko identifikovatených sústav. Jeho nedostatko je však relatívne vysoká asová náronos, ktorá vyplýva z nutnosti adaptácie váh neurónových sietí iteraný spôsobo. Jeho vekou výhodou je naopak to, že ateatický odel riadeného systéu nie je potrebný, o predstavuje znaný prínos v prípade riadenia ažko identifikovatených sústav. Význaný potenciálo Q-uenia, ako aj ostatných etód zo skupiny ACD je ich schopnos adaptova sa na zeny v paraetroch regulovanej sústavy. ZOZNAM POUŽIEJ LIERAÚRY [1] rokavec, D., Filasová, A.: Optiálne stochastické systéy. Elfa, ošice 2002, 284s. ISBN [2] Filasová, A., ašprišin, J., rokavec, D.: Robust LQ control. In Proceedings of the 5 th International Scientific echnical Conference Process Control 2002, June, 2002, outy nad Desnou, Czech Republic, [CD-ROM] / S. rejí, I. aufer, B. Jakeš, J. otyk, J. Macháek, (eds), (Abstract Proceedings, s.46), ISBN [3] ašprišin, J.: Algoritizácia alanovho estiátora stavu heuristický dynaický prograovaní. Diploová práca. UI FEI U, ošice [4] lacik, J.: Riadenie dynaických systéov použití Q-uenia Diploová práca. UI FEI U, ošice [5] Filasová, A., ašprišin, J., rokavec, D.: Stabilization of power transient process. In he 5 th International Conference on Control of Power & Heating Systes 2002, June, 2002, Zlín, Czech Republic, [CD-ROM] / J. Balát, B. Chracov, M. Princ (eds), (Proceedings of Annotations, s.110), ISBN X. [6] rokavec, D.: Minial error variance risk-sensitive control. In Proceedings of the 14 th International Conference on Process Control 03, June, 2003, Štrbské Pleso, Slovak Republic, [CD-ROM] / J. Mikleš, J. Dvoran, M. Fikar (eds), s (Suaries Volue s.93), ISBN