ALGORITMI ZA SIMBOLIČKA MATRIČNA IZRAČUNAVANJA I OPTIMIZACIJU

Transcription

1 Univerzitet u Nišu Prirodno-Matematički fakultet Ivan P. Stanimirović ALGORITMI ZA SIMBOLIČKA MATRIČNA IZRAČUNAVANJA I OPTIMIZACIJU Doktorska disertacija Niš, decembar 202.

2 Simboličko izračunavanje (ili kompjuterska algebra) je važan koncept u matematici i računarskim naukama. Odnosi se na izučavanje i izradu algoritama i softvera za manipulaciju matematičkim izrazima i drugim matematičkim objektima. Simboličko izračunavanje podrazumeva ekzaktno izračunavanje izraza koji sadrže promenljive koje nemaju zadatu vrednost i time su uzimane kao simboli (otuda i naziv simboličko izračunavanje). Kada se traži rezultat izračunavanja bez numeričkih grešaka, simboličko računanje je apsolutno nezamenljiva tehnika. Zbog toga je razvijeno dosta softverskih alata koji pružaju mogućnosti simboličkog izračunavanja (sistema za kompjutersku algebru). Med u njima je najmoćniji i najviše u upotrebi programski paket MATHEMATICA. Na samim počecima simboličkog izračunavanja, oko 970. godine, kada su implementirani prvi složeniji algoritmi, ispostavilo se da su veoma neefikasni. Zato je obimno istraživanje bilo usmereno ka reviziji klasične algebre u smislu efikasnosti i da bi se razvili efikasni algoritmi. Tipičan primer je izračunavanje polinomijalnog najvećeg zajedničkog delioca, koji je neophodan kod simplifikacije razlomaka. Danas je kompjuterska algebra široko u upotrebi pri eksperimentima u matematici i izradi formula korišćenih u numeričkim programima. Takod e se koristi za kompletna izračunavanja, kada ne uspevaju čisto numerički metodi. U ovoj disertaciji razmatrane su dve primene simboličkih transformacija: simboličko izračunavanje uopštenih inverza konstantnih, racionalnih i polinomijalnih matrica i višekriterijumska optimizacija. Disertacija je rezultat našeg višegodišnjeg bavljenja tematikom što je dovelo do publikovanja većeg broja naučnih radova u časopisima svetskog i nacionalnog značaja. Ova doktorska disertacija se prvenstveno oslanja na originalne radove [77, 78, 96, 83. Pojedini rezultati iz ove disertacije prezentovani su na med unarodnoj konferenciji pod nazivom 4th Applied Stochastic Models and Data Analysis Conference održanoj u Rimu juna 20. godine.

3 Sa posebnim zadovoljstvom zahvaljujem se svom mentoru, Prof. dr Milanu Tasiću, ne samo na pomoći pri izradi ove disertacije, već i na velikoj pažnji i vremenu koje mi je posvetio uvodeći me u probleme sa simboličkom implementacijom i izračunavanjem, još od vremena kada mi je kao učeniku gimnazije predavao. Kao rezultat zajedničkog rada i njegove nesebične pomoći, publikovano je nekoliko naučnih radova u vrhunskim i istaknutim med unarodnim časopisima, kao i u vodećim časopisima nacionalnog značaja. Veliku zahvalnost dugujem Prof. dr Marku Petkoviću i Prof. dr Nebojši Stojkoviću, pre svega na dosadašnoj uspešnoj naučnoj saradnji na polju višekriterijumske optimizacije, kao i na nizu korisnih sugestija i saveta koji su drastično poboljšali kvalitet ove disertacije. Zahvaljujem se profesorima i kolegama sa kojima sam naučno sarad ivao: Prof. dr Miroslavu Ćiriću, Prof. dr Predragu Stanimiroviću, Doc. dr Jeleni Stefanović- Marinović, Doc. dr Milanu Zlatanoviću i Doc. dr Aleksandru Iliću. Zahvaljujem se i grčkim kolegama sa univerziteta u Atini: Doc. dr Dimitrios Pappasu i Doc. dr Vasilios Katsikisu, sa kojima sam sarad ivao u radovima sa simboličkim izračunavanjem nekih uopštenih inverza matrica. Najtoplije se zahvaljujem članovima svoje porodice, koji su razumevanjem i podrškom tokom mojih doktorskih studija takod e doprineli da ova doktorska disertacija bude kompletirana. U Nišu, Ivan Stanimirović

4 Sadržaj Uvod 3. Osnovni pojmovi Predstavljanje uopštenih inverza faktorizacijom potpunog ranga LU dekompozicija Struktura i organizacija rada Simbolička matrična izračunavanja 3 2. Izračunavanje {i, j, k} inverza i uopštenih inverza racionalnih matrica Implementacioni detalji i rezultati testiranja LDL dekompozicija potpunog ranga polinomijalne matrice Numerički primeri Implementacioni detalji i razultati testiranja Izračunavanje Moore-Penrose-ovog inverza polinomijalne matrice Numerički primeri Implementacioni detalji LDL dekompozicija potpunog ranga racionalne matrice Izračunavanje Moore-Penrose-ovog inverza racionalne matrice Numerički primeri i rezultati testiranja Izračunavanje A (2) T,S inverza LDL dekompozicijom Numerički primeri Implementacioni detalji i rezultati testiranja Reprezentacije potpunog ranga zasnovane na QR dekompoziciji Složenost i implementacija algoritama QRATS2 i qrginv Od QRATS2 do qrginv i obratno Numerički eksperimenti za Moore-Penrose-ov inverz Numerički eksperimenti za Drazinov inverz Simboličko izračunavanje A (2) T,S inverza QDR faktorizacijom Eksperimenti sa polinomijalnim i racionalnim matricama Implementacioni detalji i rezultati testiranja Uopšteni inverzi blokovskih matrica Blokovske reprezentacije generalisanih inverza Blokovska LDL dekompozicija potpunog ranga Inverzi n n blokovskih matrica Moore-Penrose-ovi inverzi 2 2 blokovskih matrica Grevilov metod pregrad ivanja

5 SADRŽAJ 2 3 Višekriterijumska optimizacija 2 3. Osnovni pojmovi Simboličke transformacije u višekriterijumskoj optimizaciji Ispitivanje Pareto optimalnosti Metod težinskih koeficijenata Linearni metod težinskih koeficijenata Implementacioni detalji za dvodimenzionalni slučaj Implementacioni detalji za trodimenzionalni slučaj Leksikografska višekriterijumska optimizacija Primena geometrijskog metoda u leksikografskom metodu Modifikovani algoritam leksikografskog metoda Numerički eksperimenti Analiza drugih metoda višekriterijumske optimizacije Relaksirani leksikografski metod Metod ε-ograničenja Metodi rastojanja Zaključak 53 Literatura 56

6 . Uvod U matematici i računarskim naukama, algoritam predstavlja korak-po-korak proceduru kojom se vrše izračunavanja. Algoritmi se primenjuju za izračunavanja, procesiranje podataka i automatsko zaključivanje. Preciznije, algoritam je efikasan metod izražen nekom konačnom listom definisanih instrukcija. Počev od inicijalnog koraka i ulaza (koji može biti i prazan), instrukcije opisuju izračunavanje, koje, nakon izvršenja, dovodi do konačnog broja sukcesivnih koraka, dajući izlazni rezultat u poslednjem koraku. Kompleksnost (složenost) nekog algoritma se može opisati kao broj primitivnih operacija ili osnovnih koraka koje je potrebno izvršiti za odredjene ulazne podatke (više o analizi algoritama može se naći u [5). Matrična izračunavanja nalaze primenu u većini naučnih oblasti. U svakoj grani fizike, uključujući klasičnu mehaniku, optiku, elektro-magnetizam, matrična izračunavanja se koriste za izučavanje fizičkih fenomena. U kompjuterskoj grafici, matrice se koriste za projektovanje 3-dimenzionalne slike na 2-dimenzionalni ekran. U teoriji verovatnoća i statistici, stohastičke matrice se koriste za opisivanje skupova verovatnoća. Matrice imaju veoma dugu istoriju primene u rešavanju linearnih jednačina. Veoma bitna grana numeričke analize je posvećena izradi efikasnih algoritama za matrična izračunavanja. Ovaj problem je vekovima poznat, i danas predstavlja rastuće polje istraživanja. U linearnoj algebri, matrična dekompozicija predstavlja faktorizaciju matrice u neku kanoničku formu. Metodi matrične dekompozicije pojednostavljuju dalja izračunavanja, bilo teoretska ili praktična. Postoje algoritmi koji su pravljeni za pojedine tipove matrica, npr. retko posednute ili skoro-dijagonalne matrice. Postoji mnogo metoda za dekompoziciju matrica, gde se svaka koristi u zasebnim klasama problema. Dekompozicije vezane za rešavanje sistema linearnih jednačina su LU dekompozicija, LU redukcija, Block LU dekompozicija, rang faktorizacija, Cholesky dekompozicija, QR dekompozicija, Singularna vrednosna dekompozicija. Simboličko izračunavanje je koncept koji označava upotrebu kompjuterskih alata za transformaciju matematičkih simboličkih izraza. Najčešće se primenjuje za izračunavanje eksplicitnih rezultata bez numeričkih grešaka. Zato se simboličko izračunavanje uvek primenjuje na loše uslovljenim problemima. Metodi sa simboličkim izračunavanjem imaju veliku primenu u manipulisanju komplikovanim izrazima više promenljivih. To mogu biti racionalne funkcije ili polinomi od jedne ili više promenljivih. Postoji više različitih programskih paketa za kompjutersku algebru (eng. Computer Algebra Software) koji podržavaju simboličko izračunavanje, kao što su MATHEMATICA, MAPLE, MATLAB. Tradicionalni programski jezici su proceduralni jezici (C, C++, Fortran, Pascal, Basic). Proceduralni program je napisan kao lista instrukcija, koje se izvršavaju korak po korak 3

7 4 [9. Programi u proceduralnim kompjuterskim jezicima kao što je C, se mogu koristiti u izračunavanjima, ali su ograničeni u razumevanju složenijih algoritama, jer daju malo informacije o med ukoracima. Mnogo istraživača koristi mogućnost razvijanja rapidprototype koda za testiranje ponašanja algoritma pre ulaganja truda u razvoj koda za algoritam u proceduralnom jeziku. Pristup sa MATHEMATICA-om ima velikih prednosti u istraživanju nad proceduralnom programiranju dostupnom u MAPLE-u i u proceduralnim jezicima [9. MATHEMATICA dopušta nekoliko programskih paradigmi: objektnoorijentisano, proceduralno, simboličko i funkcionalno programiranje [9. Naš glavni cilj istraživanja bio je izrada algoritama podesnih za implementaciju kako u MATHEMATICA, tako i u proceduralnim programskim jezicima. Pod matricom sa simboličkim elementima podrazumevamo matricu čiji su elementi iz odgovarajućeg komutativnog prstena. Mnoge primene uključuju problem invertovanja matrice sa simboličkim elementima [ ili slične probleme, kao npr. konstruisanje matrice minora. Faktorizacija polinomijalne matrice A, tj. matrice čiji su elementi polinomi, se često koristi za izračunavanje inverza i uopštenih inverza matrice A, [49, 67. Kada je matrica A nesingularna, Gauss-ov algoritam je efikasan način za odred ivanje inverza A. Neki polinomijalni algoritmi iz kompjuterske algebre su posmatrani u radu [2. Programski paketi kao što su MATHEMATICA [3, MAPLE i MATLAB, koji podrazumevaju simbolička izračunavanja, sadrže ugrad ene funkcije za faktorizaciju matrica. Med utim, zbog teškoća kod simplifikacije, nije praktično implementirati matrične faktorizacije na skupovima polinomijalnih ili racionalnih matrica u proceduralnim programskim jezicima. Takod e, dekompozicija polinomijalne (racionalne) matrice, odnosno matrice sa elementima koji su polinomi (racionalne funkcije), je dosta drugačija i komplikovanija (videti [49, 67). Nekoliko skorijih unapred enja na ovom polju smanjila su kompleksnosti većine problema sa polinomijalnim matricama na red veličine kompleksnosti množenja matrica, što je dosad najveće dostignuće kod kompleksnosti [24, 40, 52, 94. Izračunavanje uopštenih inverza polinomijalne matrice A(x) je važan problem numeričke analize, koji se često javlja u inverznim sistemima [54 i rešenjima sistema diofantskih jednačina [42. Jedan od algoritama za izračunavanje generalisanog inverza polinomijalne matrice A(x) je uveo Karampetakis u [42. Zasnovan na ideji da se polinomijalna matrica može predstaviti kao lista konstantnih matrica, nekoliko novih algoritama za izračunavanje različitih tipova uopštenih inverza je izvedeno u radovima [99, 00. Jedna od poteškoća kod ovih algoritama je njihova zavisnost od stepena matrice A(x). U tom smislu smo uveli modifikacije poznatih algoritama baziranih na faktorizacijama potpunog ranga racionalnih matrica, radi poboljšanja vremena izračunavanja i stabilnosti. Jedan od naših ciljeva bio je primena QDR i LDL dekompozicije potpunog ranga Hermitske polinomijalne matrice A (metod dobijen u [96) na reprezentaciju uopštenog inverza A (2) T,S iz rada [70. Metod uveden u [70 je izveden na osnovu F G dekompozicije potpunog ranga matrice A. Time smo izveli proširenje ovog algoritma, primenljivu za izračunavanje široke klase A (2) T,S inverza, a ne samo Moore Penrose-ovog inverza. Štaviše, razvijeno je proširenje ovog algoritma na skupu polinomijalnih matrica jedne promenljive. Umesto F G dekompozicije matrice A koristili smo QDR i LDL dekompozicije potpunog ranga odgovarajuće odabrane matrice M.

8 .. Osnovni pojmovi 5. Osnovni pojmovi Skup svih komplesnih m n matrica označava se sa C m n, dok je C m n r = {X C m n rang(x) = r} njegov podskup koji se sastoji od kompleksnih matrica ranga k. Neka C(x) (respektivno R(x)) označava skup racionalnih funkcija sa kompleksnim (respektivno realnim) koeficijentima. Tada se skup svih m n matrica sa elementima u C(x) (respektivno R(x)) označava sa C(x) m n (respektivno R(x) m n ). Sa I r i I ćemo označavati jedniničnu matricu reda r, odnosno jediničnu matricu odgovarajućeg reda, respektivno. Sa O se označava nula matrica odgovarajućeg reda veličine. Za proizvoljnu matricu A C(x) m n posmatrajmo sledeće matrične jednačine po nepoznatoj X, gde označava konjugovano transponovanu matricu: () AXA=A (2) XAX =X (3) (AX) =AX (4) (XA) =XA. U slučaju m = n posmatraćemo i sledeće matrične jednačine (5) AX = XA ( k ) A k+ X = A k. Posmatrajmo sada skup S {, 2, 3, 4}. Tada se skup matrica koje zadovoljavaju jednačine sa indeksima iz skupa S označava sa A{S}. Proizvoljna matrica iz A{S} se naziva S-uopšteni inverz matrica A. Matrica X = A je Moore-Penrose-ov inverz matrice A ako zadovoljava jednačine () (4). Grupni inverz A # je jedinstveni {, 2, 5} inverz matrice A, i postoji ako i samo ako je ind(a) = min k {k : rang(a k+ ) = rang(a k )} =. Rang uopštenog inverza A se često koristi u izračunavanjima, pa je potrebno posmatrati podskup A{i, j, k} s skupa A{i, j, k}, koji se sastoji od {i, j, k}-inverza ranga s (videti [3). U ovoj disertaciji označavamo opseg (eng. range) matrice A C(x) m n sa R(A), a jezgro (kernel) (eng. null space) matrice A sa N (A). Takod e, sa nrang(a) ćemo označavati normalni rang matrice A (tj. rang nad skupom C(x)) a sa C(x) m n r skup racionalnih matrica iz C(x) m n normalnog ranga r. Slično, rang(a) označava rang konstantne matrice A a C m n r označava skup kompleksnih matrica C m n ranga r. Ovde navodimo stav iz [3, 05 kojim se definiše A (2) T,S uopšteni inverz. Stav... [3, 05 Ako je A C m n r, T podprostor prostora C n dimenzije t r a S podprostor od C m dimenzije m t, tada matrica A ima {2}-inverz X takav da je R(X) = T i N (X) = S ako i samo ako je AT S = C m, i u tom slučaju je X jedinstven i označava se sa A (2) T,S. Verovatno najviše izučavana klasa generalisanih inverza je klasa spoljašnjih inverza definisane slike i jezgra. Generalisani inverzi, kao što su Moore-Penrose-ov A, težinski Moore-Penrose-ov A M,N, Drazinov AD i grupni inverz A #, kao i Bott-Duffin-ov inverz A ( ) (L) i uopšteni Bott-Duffin-ov inverz A ( ) (L), se mogu ujediniti na ovaj način i reprezentovati kao uopšteni inverzi A (2) T,S (pri čemu se posmatraju odgovarajuće matrice T i S). Za datu matricu A C m n (x) važe sledeće reprezentacije (za više detalja videti [3, 05): A = A (2) R(A ),N (A ), A M,N = A(2) R(A ),N (A ), (..)

9 .2. Predstavljanje uopštenih inverza faktorizacijom potpunog ranga 6 gde su M, N pozitivno definitne matrice odgovarajućih dimenzija, a A = N A M. Za datu kvadratnu matricu A C n n (x) Drazinov inverz i grupni inverz su dati sledećim izrazima (videti [3, 05): A D = A (2) R(A k ),N (A k ), A# = A (2) R(A),N (A), (..2) pri čemu je k = ind(a). Ako je L podprostor od C n i ako je A L-positivna semi definitna matrica koja zadovoljava uslove AL L = C n, S = R(P L A), tada važe sledeći identiteti, [, 05: A ( ) (L) = A (2) L,L, A ( ) (L) = A(2) S,S. (..3) Efektivni metod podele za izračunavanje težinskog Moore-Penrose-ovog inverza je izrad en u [6. U ovoj disertaciji izučavani su direktni metodi za izračunavanje uopštenih inverza matrica. Primenom direktnih metoda se svaki element uopštenog inverza izračunava eksplicitno i bez iterativnih numeričkih poboljšanja. Ovo su neke od poznatih grupa metoda reprezentacije uopštenih inverza:. izračunavanje uopštenih inverza pomoću potpune rang faktorizacije; 2. metodi bazirani na matričnim faktorizacijama; 3. metodi koji proističu iz blokovskih dekompozicija; 4. metodi pregrad ivanja (eng. partitioning method); 5. determinantska reprezentacija; 6. metodi zasnovani na uopštenju Frameovog rezultata; 7. metodi zasnovani na razbijanju matrica (eng. matrix splitting)..2 Predstavljanje uopštenih inverza faktorizacijom potpunog ranga Opšte je poznat sledeći rezultat da svaka matrica poseduje dekompoziciju potpunog ranga. Lema.2.. Svaka matrica A C m n r može se predstaviti u obliku proizvoda A = P Q dve matrice potpunog ranga P C m r r i Q C r n r. Ovakva dekompozicija nije jedinstvena. Med utim, ako je jedna od matrica P ili Q zadata, tada je druga matrica jednoznačno odred ena. Potpuna rang faktorizacija se može upotrebiti za izračunavanje različitih klasa uopštenih inverza. Na potpunoj rang faktorizaciji su bazirane veoma korisne faktorizacije uopštenih inverza Ovde navodimo neke rezultate o uopštenom predstavljanju generalisanih inveza, u smislu potpune rang faktorizacije i adekvatno odabrane matrice. U sledećoj lemi pokazaćemo ekvivalentnost izmed u dva predstavljanja {,2}-inverza, koja je dokazana u [64.

10 .2. Predstavljanje uopštenih inverza faktorizacijom potpunog ranga 7 Lema.2.2. Neka je A = P Q potpuna rang faktorizacija od A C m n r. Neka su U,V matrice koje pripadaju skupovima matrica tipa m m i n n respektivno. Takod e, neka matrice W i W 2 pripadaju skupovima matrica tipa n r i r m respektivno. Onda skupovi S = {V Q (P UAV Q ) P U : U C m m, V C n n, rang(p UAV Q ) = r} S 2 = {W (W 2 AW ) W 2 : W C n r, W 2 C r n, rang(w 2 AW ) = r} zadovoljavaju S = S 2 = A{, 2}. Dokaz. Koristeći poznat rezultat [64, lako je zaključiti da X {, 2} ako i samo ako se može predstaviti u obliku X = V Q (QV Q ) (P UP ) P U = V Q (P UAV Q ) P U, U C m m, V C n n, rang(p UAV Q ) = r. Ovo povlači S = A{, 2}. Na dalje, da bismo kompletirali dokaz, pokažimo da je S = S 2. Pretpostavimo da je X S proizvoljno. Onda postoje matrica U C m m i V C n n takve da je rang(p UAV Q ) = r i X se može predstaviti u obliku X = V Q (P UAV Q ) P U. Nakon zamene V Q = W C n r, P U = W 2 C r m, direktno dobijamo X S 2. Sa druge strane, pretpostavimo da je X S 2. Onda postoje W C n r i W 2 C r m, takve da je rang(w 2 AW ) = r i X = W (W 2 AW ) W 2. Matrične jednačine W = V Q i W 2 = P U su konzistentne. Zaista,jednačina W = V Q je konzistentna ako i samo ako postoji Q () takva da je W Q () Q = W. Na primer, možemo uzeti proizvoljan levi inverz od Q. Konzistentnost matrične jednakosti W 2 = P U se dokazuje na sličan način. Dakle, za neke matrice U C m m i V C n n, prozivoljno izabrana matrica X S 2 može se napisati u obliku X = V Q (P UAV Q ) P U, rang(p UAV Q ) = r, što povlači X S. U sledećoj teoremi iz [82 uvedeno je uopšteno predstavljanje klase {2}-inverza. odred en je sledećom jed- Teorema.2.3. Skup {2}-inverza date matrice A C m n r nakošću: A{2} = {W (W 2 AW ) W 2, W C n t, W 2 C t m, rang(w 2 AW ) = t, t =,..., r} Dokaz. Neka je X proizvoljan {2}-inverz od A. Koristeći Teoremu 3.4. iz [64, može se predstaviti u uopštenom obliku X = C(DAC) (,2) D, gde su C C n p i D C q m proizvoljni. Takod e, poznato je da rang(x) = rang(dac) [64 [Teorema Pretpostavimo da je rang(dac) = t min{p, q} r. Primenom Leme..2 dobijamo uopšteno predstavljanje za X: X = CJ(HDACJ) HD, J C p t, H C t q, rang(hdacj) = t. Nakon zamene CJ = W,HD = W 2, lako je primetiti da je X {W (W 2 AW ) W 2, W C n t, W 2 C t m, rang(w 2 AW ) = t, t =,..., r}. Obrnuto, za proizvoljno X zadato sa X {W (W 2 AW ) W 2, W C n t, W 2 C t m, rang(w 2 AW ) = t, t =,..., r}. lako je pokazati da zadovoljava jednakost XAX = X.

11 .2. Predstavljanje uopštenih inverza faktorizacijom potpunog ranga 8 U sledećoj teoremi iz [82 uvedeno je uopšteno predstavljanje Drazinovog inverza kvadrtane matrice A, u smislu potpune rang faktorizacije invarijantnog stepena A l, l ind(a) matrice A. Teorema.2.4. Neka je A C n n r, k = ind(a) i l k je proizvoljno celobrojno. Ako je A l = P Q potpuna rang faktorizacija matrice A l, onda Drazinov inverz od A ima sledeće predstavljanje: A D = P (QAP ) Q. Dokaz. Neka je T C n n nesingularna matrica takva da je [ C O A = T T O N jezgro-nilpotent razlaganje od A, gde je C nesingularna i N nilpotentna matrica indeksa k. Lako je primetiti da je [ C A l l O = T T O O za svako l ind(a). Ovo povlači sledeće potpuno rang razlaganje A l = P Q: [ C l P = T, Q = [ I O r, O T. Koristeći ovu činjenicu i poznati kanonički oblik predstavljanja za A D [6, dobijamo [ [ C A D O C = T T [ = T Ir, O T = P C (l+) Q. O O O Dokaz kompletiramo koristeći C l+ = [ C, O [ C l = [ I O r, O [ C O T T O N [ C T l T O = QAP. Napomena.2.. Predstavljanje Drazinovog inverza uvedeno u Teoremi.2.4 je prirodno uopštenje sledeće karakterizacije inverza grupe, uvedeno u [4: Ako je A = P Q potpuna rang faktorizacija od A, onda postoji A # ako i samo ako je matrica QP invertibilna, i važi A # = P (QP ) 2 Q = P (QAP ) Q. Faktorizacija potpunog ranga matrice se može odrediti na više načina. Neki metodi potpune rang faktorizacije matrica mogu se uzeti različite matrične dekompozicije, kao na primer LU dekompozicija, QR faktorizacija, SV D Singularno Vrednosna Dekompozicija, i druge. Potpuna rang faktorizacija se može dobiti i koristeći bilo koju od blokovskih reprezentacija matrica. Ovi metodi će biti izučavani u drugom poglavlju.

12 .3. LU dekompozicija 9.3 LU dekompozicija U ovoj disertaciji posmatraćemo kako uopštenu LU dekompoziciju, tako i njene varijante: Cholesky, odnosno LL dekompoziciju i LDL dekompoziciju. Sledeće tvrd enje je dobro poznato iz literature. Stav.3.. Svaka matrica A C m n r se može transformisati u oblik A = LU, gde je L donja trougaona matrica sa jedinicama na glavnoj dijagonali, a U je gornja trougaona matrica. Dokaz. LU faktorizacija se može izvesti iz Gaussovog metoda eliminacije sa potpunim izborom glavnog elementa. Matrica A = A 0 C m n r se transformiše redom u matrice A,..., A r. Matrica A k, 0 k r jeste m n matrica oblika ( ) [ A k = a (k) Uk V ij = k, O gde je U k trougaona matrica dimenzija k k. Označimo (i, j)-element u bloku W k sa w ij. Ako je w αβ najveći po modulu element u bloku W k vrši se zamena α vrste sa k+ vrstom i β vrste sa k + kolonom matrice A k. Izvršenjem analognih zamena nad vrstama jedinične m m matrice dobija se permutaciona matrica E k = P (k +, α), dok se analognom zamenom kolona jedinične n n matrice dobija permutaciona matrica F k = P (k +, β). Uz pretpostavku a () ij = a ij, i m, j n, Gaussova eleminacija matrice A k jeste sledeća transformacija: a (k+) ij = a (k) ij v ik = a(k) ik a (k) kk, W k v ik a (k) kj, ( i = k +,..., m j = k +,..., n Kao rezultat ove transformacije dobija se matrica [ Uk+ V A k+ = k+ O W k+ Posle r koraka dobija se matrica [ Ur V A k = r O W r =. ), k =,..., r. a () a () 2... a () r... a () n 0 a (2) a (2) 2r... a (2) 2n a (r) rr... a (r) rn Za matricu U se može uzeti prvih r vrsta matrice A r. Matrica L je definisana sa v L = v r v r... v r,r v m v m2... v m,r v m,r

13 .3. LU dekompozicija 0 Na kraju transformacije dobija se: EAF = LU A = E LUF, Gde su E i F permutacione matrice definisane kao proizvod elementarnih matrica: E = E E r, F = F F r. Stav.3.2. Ako A = LU predstavlja LU faktorizaciju matrice A, tada je A = U L = U (UU ) (L L) L Primer.3.. Za matricu A = dobija se sledeća LU faktorizacija: 0 3 L = , U = LU faktorizacija je u programskom paketu MATHEMATICA implementirana pomoću standardne funkcije LUDecomposition. Cholesky faktorizacija podrazumeva dekompoziciju simetrične pozitivno definitne matrice A oblika A = LL, gde je L donja trougaona matrica sa strogo pozitivnim dijagonalnim elementima. Očigledno, elementi matrice L mogu sadržati kvadratne korene, što izaziva poteškoće u daljem simboličkom izračunavanju. Iz ovog razloga se često koristi bez-korena Cholesky dekompozicija u obliku A = LDL. Proizvoljna racionalna Hermitska matrica A se može predstaviti u obliku proizvoda matrica A = LDL, gde je L donja trougaona, a D dijagonalna matrica. Ova forma premošćava upotrebu elemenata koji sadrže kvadratne korene. Jednostavno je pokazati da, u slučaju pozitivno definitne matrice A, dijagonalni elementi u D moraju biti nenegativni. Neka je data polinomijalna Hermitska matrica A(x) C(x) n n sa elementima po promenljivoj x:. A(x) = A 0 + A x + + A q x q = q A i x i (.3.) i=0 pri čemu su A i, i = 0,..., q konstantne matrice dimenzija n n. Alternativna forma Cholesky faktorizacije simetrične polinomijalne matrice A(x) generiše dodatnu dijagonalnu matricu D(x), u cilju izbegavanja elemenata sa kvadratnim korenima (videti [25). Prema tome, LDL faktorizacija matrice A(x) je bez-korena Cholesky dekompozicija sledećeg oblika: A(x) = L(x)D(x)L (x),

14 .4. Struktura i organizacija rada gde je L(x) donja trougaona, a D(x) dijagonalna matrica, 0 0 d (x) 0 0 l 2 (x) 0 L(x) =......, D(x) = 0 d 2 (x) l n (x) l n2 (x) 0 0 d n (x) (.3.2) pri čemu su l ij, d j, j < i n racionalne funkcije. Pritom, L (x) označava konjugovano transponovanu matricu matrice L(x). Zamena LL dekompozicije LDL faktorizacijom radi izbegavanja izračunavanja korenih elemenata je dobro poznata tehnika numeričke analize, opisana na primer od strane Goluba i Van Loana u [25. Ova tehnika je od esencijalne važnosti kod polinomijalnih i q racionalnih elemenata matrica L i D. Ukoliko se radi sa npr. A i x i simbolički, gde su A i, i = 0,..., q konstantne n n matrice, to može biti veoma teško. Zato je naša motivacija modifikovanje algoritama sa direktnom Cholesky faktorizacijom polinomijalne matrice A(x). Prema tome, navedene dekompozicije potpunog ranga se mogu koristiti za simboličko izračunavanje uopštenih inverza koristeći brojne tehnike, uvedene u radovima kao što su [87, 70. Implementacija ovih algoritama rešava problem simboličkih izračunavanja uopštenih inverza u proceduralnim programskim jezicima..4 Struktura i organizacija rada i=0 Doktorska disertacija podeljena je u pet glava, svaka glava je podeljena na nekoliko poglavlja a poglavlja se sastoje od odeljaka. U prvoj glavi, koja je podeljena u četiri poglavlja, predstavljeni su uvodni pojmovi. Prva tri poglavlja sadrže definicije i opšta svojstva pojmova iz glavne oblasti ove doktorske disertacije: dekompozicija potpunog ranga matrica, LU dekompozicija i izračunavanje uopštenih inverza matrica. U poslednjem poglavlju dat je opšti prikaz organizacije same doktorske disertacije. Rezultati sadržani u drugoj glavi odnose se na efikasno izračunavanje dekompozicija matrica i uopštene inverze matrica i njihovo efikasno računanje. U prvom poglavlju ove glave dat je prikaz osnovnih definicija i pojmova generalisanih inverza proizvoljnih matrica sa posebnim osvrtom na izracunavanje {i, j,..., k} inverza i Moore-Penrose-ovog inverza. Drugo poglavlje prezentuje rezultate za LDL dekompoziciju potpunog ranga polinomijalne matrice, kao i numeričke primere i implementacione detalje. Treće poglavlje sadrži nove metode za izračunavanje Moore-Penrose-ovog inverza polinomijalne matrice zasnovane na metodu iz drugog poglavlja, kao i neke numeričke primere.

15 .4. Struktura i organizacija rada 2 Četvrto poglavlje prezentuje rezultate dobijene o LDL dekompoziciji potpunog ranga racionalnih matrica. Peto poglavlje sadrži nove metode za izračunavanje Moore-Penrose-ovog inverza racionalne matrice zasnovane na metodu iz četvrtog poglavlja, kao i neke numeričke primere i implementacione detalje. Šesto poglavlje prezentuje nove metode za izracunavanje A(2) T ;S inverza LDL dekompozicijom koristeći metode iz drugog i četvrtog poglavlja. Sedmo poglavlje prezentuje nove reprezentacije potpunog ranga uopštenih inverza zasnovane na QR dekompoziciji. Osmo poglavlje podrazumeva simboličko izračunavanje A (2) T ;S inverza QDR faktorizacijom, kao i numeričke primere i implementacione detalje. Deveto poglavlje daje rezultate vezane za uopštene inverze blokovskih matrica i blokovske reprezentacije generalisanih inverza. Deseto poglavlje sadrži blokovsku LDL dekompoziciju potpunog ranga i izračunavanje inverza n n blokovskih matrica. Jedanaesto poglavlje sadrži opis i implementaciju Greville-ovog metoda podele. Treća glava ovog doktorata posvećena je opštim metodama višekriterijumske optimizacije i njihovim implementacijama. U prvom poglavlju ove glave definisani su osnovni pojmovi vezani za višekriterijumsku optimizaciju i Pareto optimalnost. U drugom poglavlju dat je opšti pregled prednosti simboličke implementacije u višekriterijumskoj optimizaciji. Treće poglavlje sadrži metod i algoritam za ispitivanje Pareto optimalnosti problema višekriterijumske optimizacije. Četvrto poglavlje je posvećeno poznatom metodu težinskih koeficijenata, gde su navedeni novi teorijski rezultati i načini implementacije. U petom poglavlju prikazan je i detaljno proučen leksikografski metod višekriterijumske optimizacije, i navedena modifikacija ovog metoda, kao i numerički primeri i rezultati testiranja. Šesto poglavlje sadrži analizu i implementaciju drugih metoda višekriterijumske optimizacije: relaksirane leksikografske metode, metoda ɛ-ograničenja i metoda rastojanja. U četvrtoj glavi izveden je zaključak i izvršena sistematizacija svih predstavljenih rezultata; takod e, dato je nekoliko predloga za dalja izučavanja i na taj način su prikazane smernice za budući naučno-istraživački rad.

16 2. Simbolička matrična izračunavanja Simboličko izračunavanje uopštenih inverza se najčešće izvodi preko dekompozicije potpunog ranga odgovarajuće matrice. U ovoj glavi su korišćene prednosti LDL i QDR dekompozicije u odnosu na njihove klasične varijante (videti [77, 78, 74, 96). Pritom su korišćene modifikacije u smislu da su sve matrice iz dekompozicija potpunog ranga. Metod iz [9, u kome je primenjena LU faktorizacija za izračunavanje pseudo-inverza matrica, proširen je u radu [77. Očigledan je cilj napraviti algoritam za simboličko izračunavanje uopštenih inverza korišćenjem LDL dekompozicije racionalne matrice A C(x) m n. Motivacija je proistekla iz prednosti korišćenja bez-korene dekompozicije (dekompozicije koja ne sadrži korene) u algoritmima za polinomijalne i racionalne matrice. Na ovaj način se mogu izbeći poteškoće sa simboličkim izračunavanjima polinomijanih matrica i njihovih inverza, koje nastaju kroz pojavljivanje elemenata sa korenima. Takod e, pokazano je da LDL dekompozicija povećava efikasnost izračunavanja uopštenih inverza. 2. Izračunavanje {i, j, k} inverza i uopštenih inverza racionalnih matrica Za datu kompleksnu Hermitsku matricu A, sledeće rekurzivne relacije važe za elemente matrica D i L, dobijenih iz LDL dekompozicije matrice A: j d jj = a jj l jk ljkd kk, k= l ij = j (a ij l ik l d jkd kk ), za i > j. (2..) j k= Ideja da je ova izračunavanja dovoljno izvoditi za j =, r, gde je r = rang(a), izneta je u radu [77. Ovim se dobija faktorizacija potpunog ranga matrice A, pri čemu L ne sadrži nula-kolone, a matrica D ne sadrži nula-vrste i nula-kolone. Dakle, za datu matricu A C m n r = {X C m n rang(x) = r}, njena dekompozicija potpunog ranga bez kvadratnih korena je data sa A = LDL, gde je L C m r a D C r r je odgovarajuća dijagonalna matrica. Representacije {, 2, 3} i {, 2, 4}-inverza, uvedene u radu [3, modifikovane su sledećom lemom iz rada [9. Takod e su ove reprezentacije, poznate za kompleksne matrice, proširene na skup racionalnih matrica jedne nepoznate. 3

17 2.. Izračunavanje {i, j, k} inverza i uopštenih inverza racionalnih matrica4 Lema 2... Neka je data matrica A C(x) m n r i neka su m, n r fiksirani prirodni brojevi. Tada važe sledeća tvrd enja za skupove A{, 2, 4}, A{, 2, 3} i za Moore-Penrose-ov inverz matrice A: (a) A{, 2, 4} = { (Y A) Y Y C(x) n m, Y A C(x) n n r (b) A{, 2, 3} = { Z(AZ) Z C(x) n m, AZ C(x) m m r (c) A = (A A) A = A (AA ). Sada je moguće izvesti sledećih nekoliko tvrd enja za izračunavanje {, 2, 3} i {, 2, 4} inverza date matrice A C(x) m n r. Teorema [77 Neka je data racionalna matrica A C(x) m n r i proizvoljna m n racionalna matrica R, gde je n r. Neka je LDL bez-korena Cholesky faktorizacija potpunog ranga matrice G = (R A) (R A), pri čemu su L C(x) n r i D C(x) r r. Tada važe sledeća tvrd enja: }. }. A{, 2, 4}= { L(L GL) L (R A) R R C(x) m n, R A C(x) n n r }. (2..2) Dokaz. Posmatrajmo sledeći izraz za izračunavanje Moore-Penrose-ovog inverza proizvoda matrica A i B (tj. (AB) ), koji je uveden u [65: (AB) = B (A ABB ) A. (2..3) Primenom ove jednačine za slučaj A = R A, B = I, Moore-Penrose-ov inverz (R A) se može dobiti kao (R A) = ((R A) (R A)) (R A). (2..4) Koristićemo LDL dekompoziciju matrice (R A) (R A) = LDL. Zamenom ovih vrednosti u jednačini (2..4), dobijamo (R A) = (LDL ) (R A). (2..5) Dalje, zamenom A = L, B = DL u jednačini (2..3), imamo (LDL ) = (DL ) (L LDL (DL ) ) L = LD (L LDL LD ) L. Tada množenjem (R A) sa R s desne strane, saglasno sa poslednjom jednačinom i jednačinom (2..5) dobijamo (R A) R = LD (L LDL LD ) L (R A) R = L(L LDL L) L (R A) R. Ovde priemtimo da matrica L ne sadrži nula kolone, L ne sadrži nula vrste, a D je bez nula kolona i nula vrsta. Pritom je matrica L LDL L kvadratna, što povlači da je invertibilna. Sada dokaz našeg tvrd enja sledi na osnovu Leme 2.., dela pod (a). Posledica [77 Neka je data racionalna matrica A R(x) m n r i proizvoljna m n realna matrica R, gde je n r. Pretpostavimo da je LDL T bez-korena Cholesky faktorizacija potpunog ranga matrice G = (R T A) T (R T A), pri čemu je L R(x) n r i D R(x) r r. Tada su zadovoljena sledeća tvrd enja: A{, 2, 4}= { L(L T GL) L T (R T A) T R T R R m n, R T A R(x) n n r }. (2..6)

18 2.. Izračunavanje {i, j, k} inverza i uopštenih inverza racionalnih matrica5 Teorema [77 Neka je data racionalna matrica A C(x) m n r i proizvoljna m n racionalna matrica T, pri čemu je m r. Pretpostavimo da je LDL bez-korena Cholesky faktorizacija potpunog ranga matrice G = (AT )(AT ), gde je L C(x) m r i D C(x) r r. Tada su sledeća tvrd enja validna: A{, 2, 3}= { T (AT ) L(L GL) L T C(x) m n, AT C(x) m m r }. (2..7) Dokaz. Dokaz je sličan dokazu Teoreme 2..2, sa razlikom u primeni tvrd enja pod (b) Lemme 2... Uzimanjem A = I i B = AT u jednačini (2..3), dobijamo (AT ) = T A (AT (AT ) ). (2..8) Uzimajući da je LDL dekompozicija potpunog ranga matrice (AT )(AT ), imamo da je (AT ) = T A (LDL ). (2..9) Sada, dokaz sledi na osnovu tvrd enja (b) Leme 2.., analogno kao u dokazu Teoreme Primetimo da se u tom slučaju, m i m pojavljuju umesto n i n, respektivno. Posledica [77 Neka je data racionalna matrica A R(x) m n r i proizvoljna m n realna matrica T, gde je m r. Pretpostavimo da je LDL T bez-korena Cholesky faktorizacija potpunog ranga matrice G = (AT T )(AT T ) T, pri čemu su L R(x) m r i D R(x) r r. Tada važe sledeća tvrd enja: A{, 2, 3}= { T T (AT T ) T L(L T GL) L T T R m n, AT T R(x) m m r }. (2..0) Teorema [77Neka je data racionalna matrica A C(x) m n r. Ako je LDL bezkorena Cholesky faktorizacija matrice G = (A A) (A A), gde je L C(x) m r i D C(x) r r, tada važi: A =L(L GL) L (A A) A. (2..) Ako je LDL bez-korena Cholesky faktorizacija matrice H = (AA )(AA ), L C(x) m r i D C(x) r r, tada je zadovoljeno: A = A (AA ) L(L HL) L. (2..2) Dokaz. Dokaz sledi na osnovu Leme 2.., tvrd enja pod (c). Posledica [77 Neka je data racionalna matrica A R(x) m n. Pretpostavimo da je LDL T bez-korena Cholesky faktorizacija potpunog ranga matrice G = (A T A) T (A T A), gde je L R(x) m r i D R(x) r r. Sledeće tvrd enje je zadovoljeno: A =L(L T GL) L T (A T A) T A T. (2..3) Ako je LDL T bez-korena Cholesky faktorizacija matrice H = (AA T )(AA T ) T, gde je L R(x) m r i D R(x) r r, tada važi: A = A T (AA T ) T L(L T HL) L T. (2..4)

19 2.. Izračunavanje {i, j, k} inverza i uopštenih inverza racionalnih matrica6 Na osnovu prethodno dokazanih tvrd enja, uveden je sledeći Algoritam 2. nazvan LDLGInverse za izračunavanje skupova A{, 2, 4} i A{, 2, 3} za datu racionalnu m n matricu A, kao i za izračunavanje Moore-Penrose-ovog inverza matrice A. Algoritam 2. Izračunavanje {i, j, k} i Moore-Penrose-ovog inverza racionalne matrice - Algoritam LDLGInverse Ulaz: Racionalna matrica A C(x) r m n. : if = {, 2, 4} then 2: Nasumično generisati matricu R C m n, n r 3: G := (R A) (R A) 4: else if = {, 2, 3} then 5: Nasumično generisati matricu T C m n, m r 6: G := (AT )(AT ) 7: else 8: G := (A A) (A A) {ovaj korak je za MP-inverz} 9: end if 0: Izračunati LDL faktorizaciju potpunog ranga matrice G. : if = {, 2, 4} then 2: M = L(L GL) L (R A) R 3: else if = {, 2, 3} then 4: M = T (AT ) L(L GL) L 5: else 6: M = L(L GL) L (A A) A 7: end if 8: Rezultat: Rezultujuća matrica M. Primer 2... Posmatrajmo matricu A 6 iz [7, gde je a neka konstanta. Da bismo izračunali {, 2, 4} i {, 2, 3} inverze matrice A 6, konstantna matrica R = T T je nasumično generisana. A 6 = a + 5 a + 3 a + 2 a + 4 a + 3 a + 2 a + 3 a + 4 a + 2 a + 3 a + 3 a + 2 a + 2 a + 2 a + 2 a + 2 a + 2 a + a + 4 a + 3 a + 2 a + 3 a + 3 a + 2 a + 3 a + 3 a + 2 a + 3 a + 2 a + 2 a + 2 a + 2 a + a + 2 a + 2 a a + a a + a + a + a, R = T T = Rezultati za {, 2, 4}, {, 2, 3} i MP inverze matrice A 6, dobijeni primenom algoritma LDLGInverse, su sledeći: 3 a a a 3(233+8a) a 3 + a a 55 3 a a a a 3 + a a a 55 A (,2,4) 2 a 2 543a 433a a 2 + a + 543a a 55 6 = a 4 + a a 55 5 a 3 a a 8(3+6a), (382+8a) 3 + a a 55 3 a 4 a a a a 2 + a a 55 2 a 2 a a a

20 2.. Izračunavanje {i, j, k} inverza i uopštenih inverza racionalnih matrica7 A (,2,3) 6 = A 6 = 3 a 3 a 4 + a 3 + a 3(3+a) 4 +5a 5+3a a 3 + a 4 3(2+a) 4 5(2+a) 3(2+a) a 3 + a 4 2 a 5+3a 4 3+5a 3(3+a) 4 3(3+a) a 5+3a 4 +5a a 2 + a +3a 4 5 a 3 a 5+3a +5a 3+a 4 2+a 4 3+a a a a 4 a 5+3a 7+5a 4 2 a 2 a 5+3a 4 3+a 4 Primetimo da su dobijeni {, 2, 3}-inverz i Moore-Penrose-ov inverz matrice A 6 jednaki u prethodnom primeru. 2.. Implementacioni detalji i rezultati testiranja Na osnovu skraćene iterativne procedure (2..), moguće je izvesti sledeću implementaciju LDL dekompozicije proizvoljne matrice u MATHEMATICA. Sledeća funkcija kao jedini argument podrazumeva matricu zadatu u obliku liste. LDLDecomposition A_List : Module i, j, k, n MatrixRank A, m Length A, L, D, L Table 0, m, n ; D Table 0, n, n ; For j, j n, j, L j,j ; D j,j Simplify A j,j L j,k 2 D k,k ; ; For i j, i m, i, L i,j Simplify Return L, D ; j D j,j A i,j k j k L i,k L j,k D k,k ; ; Na osnovu Algoritma 2. imamo sledeći modul kojim se odred uje Moore-Penrose-ov inverz proizvoljne matrice A. LDLGInverse A_List : Module L, D, G, G, M, Y, G Transpose A.A; G G.G; L, D LDLDecomposition G ; M Simplify Inverse Transpose L.L.D.Transpose L.L ; Y L.M.Transpose L.G.Transpose A ; Return Simplify Y ;. Primer Uporedimo različite algoritme za izračunavanje uopštenih inverza sa algoritmom LDLGInverse. U sledećoj tabeli data su vremena izvršavanja na različitim test matricama dobijena primenom implementiranih algoritama u programskom paketu MATHEMATICA. Matrice za testiranje su uzete iz [7, pri čemu je posmatran parcijalni slučaj a =.

21 2.. Izračunavanje {i, j, k} inverza i uopštenih inverza racionalnih matrica8 Test matrica A 0 A 50 A 00 S 0 S 50 S 00 F 0 F 50 F 00 PseudoInverse [ Partitioning [ Lev.-Faddeev [ Courrieu [ ModCholesky [ LDLGInverse Tabela 2... Vremena izvršenja (u sekundama) dobijena na osnovu nekoliko algoritama i LDLGInverse algoritma. Prva vrsta Tabele 2.. sadrži nazive test matrica iz [7. Primetimo da su ispitivane tri grupe test matrica. Poslednja vrsta tabele sadrži vremena dobijena primenom LDLGInverse algoritma. Znak - označava veliko vreme izračunavanja. Primer Posmatrajmo sada nasumično generisane retko posednute matrice iz skupa A R m n r različitih dimenzija i gustina, pri čemu je najveća sopstvena vrednost matrice A A data sa k r, a najmanja ne-nula sopstvena vrednost matrice A A je jednaka (videti [7). Neki od dobijenih rezultata su prikazani u Tabeli Tabela 2..3 prikazuje razlike izmed u vremena izvršavanja algoritama za odred ene matrice iz kolekcije Matrix- Market (videti [53). m k r Potpuni rang Rang-deficientna Tabela Prosečna vremena izračunavanja (u sekundama) za nasumično generisane retko posednute matrice. Matrica gr illc850 watt well033 well850 Veličina Gustina Vremena Tabela Prosečna vremena izračunavanja (u sekundama) za neke test matrice iz kolekcije Matrix-Market. Primećeno je da su neki vrlo brzi metodi numerički nestabilni ukoliko je matrica (ne singularna ali) loše uslovljena (za pojašnjenje videti [7, 03). Uvedeni metod za izračunavanje uopštenih inverza u [77 je vrlo efikasan, med utim nije i najefikasniji. Očigledno su rang-deficientne matrice procesuirane brže nego matrice potpunog ranga istih dimenzija, s obzirom da su matrice L i D manjih dimenzija, u slučaju rang-deficijentnih matrica. Med utim, vremena izračunavanja rapidno rastu povećanjem dimenzija i gustina matrica. U opštem slučaju, izračunavanje inverza racionalne matrice je O(n 3 ) problem, a takod e i veoma osetljiv na loše uslovljene matrice. Dobro je poznato da kondicioni broj za inverziju matrica u odnosu na matričnu normu kvadratne matrice A, definisan kao κ(a) = A A, predstavlja meru stabilnosti ili osetljivosti inverzne matrice od numeriških operacija [25. Matrice sa kondicionim brojem bliskim se nazivaju dobro-uslovljene, a one sa većim kondicionim brojem od jedan se nazivaju loše-uslovljene. Primetimo da svih pet matrica uzetih iz MatrixMarket testiranih u Tabeli 2..3 imaju kondicione brojeve veće od jedan, pri čemu MATHEMATICA

22 2.2. LDL dekompozicija potpunog ranga polinomijalne matrice 9 prikazuje informaciju results for inverse of badly conditioned matrix may contain significant numerical errors. Algoritam LDLGInverse je napravljen primarno za simbolička izračunavanja sa racionalnim i polinomijalnim matricama gde je poželjno izbeći kvadratne korene. 2.2 LDL dekompozicija potpunog ranga polinomijalne matrice Kao što je rečeno, zamena LL faktorizacije sa LDL, tako da se izbegnu izračunavanja elemenata sa kvadratnim korenima, je od velike važnosti pri radu sa polinomijalnim i racionalnim matricama. Prema tome, motivacija je modifikovati metod Cholesky decompozicije polinomijalne matrice A(x), uvod enjem dodatne dijagonalne matrice D koja osigurava ne-pojavljivanje elemenata koji sadrže kvadratne korene. Očigledno, LDL dekompozicija je mnogo prikladnija za rad sa polinomijalnim matricama, a kasnije se može iskoristiti za nalaženje uopštenih inverza faktorisane matrice. Podsetimo se da za slučaj kompleksne Hermitske matrice A, moguće je odrediti njenu LDL decompoziciju koristeći recurzivne relacije (2..). U radovima [77 i [96 predložili smo da je izračunavanja (2..) potrebno izvršavati samo za j =, r, gde je r = rang(a). U tom slučaju, iterativna procedura (2..) generiše fakorizaciju potpunog ranga matrice A, pri čemu će matrica L biti bez nula kolona, a matrica D bez nula vrsta i nula kolona (s obzirom da su matrice L i D tada takod e ranga r). Posmatrajmo polinomijalnu Hermitsku matricu A C(x) n n r ranga r sa elementima: a q a ij (x) = a k,i,j x k, i, j n, (2.2.) pri čemu je maksimalni eksponent matrice A(x) označen sa a q. Tada je bez-korena Cholesky dekompozicija potpunog ranga matrice A data sa A = LDL, gde je L C(x) n r, l ij = 0 za i < j, a D C(x) r r je odgovarajuća dijagonalna racionalna matrica. Ne-nula elementi racionalnih matrica L(x) i D(x) su oblika: d jj (x) = l ij (x) = d q d q l q l q d k,j,j x k d k,j,j x k, l jj(x) =, j r, l k,i,j x k l k,i,j x k, j n, i r, j < i. (2.2.2) Greville-ov metod pregrad ivanja [27 i Leverrier Faddeev algoritam su najčešće korišćeni u simboličkim implementacijama generalisanih inverza. Nekoliko ekstenzija algoritma particije na skupovima racionalnih i polinomijalnih matrica je uvedeno. Prva generalizacija je

23 2.2. LDL dekompozicija potpunog ranga polinomijalne matrice 20 ekstenzija Greville-ovog algoritma na skup polinomijalnih i/ili racionalnih matrica jedne nepoznate, uvedena u [87. Dalje primene i modifikacije algoritama za izračunavanje težinskih Moore-Penrose-ovih inverza se mogu naći u radovima [85, 98. Za više informacija o izračunavanju Drazinovog inverza, Moore-Penrose-ovog inverza i težinskog Moore-Penrose-ovog inverza, videti [9, 2, 20, 86, 90. Motivacija je usavršiti efikasni metod za simboličko izračunavanje Moore-Penrose-ovog inverza polinomijalne matrice. Korišćenjem LDL faktorizacije umesto klasične Cholesky dekompozicije, izbegnuto je dobijanje elemenata sa kvadratnim korenima, što je od esencijalne važnosti u simboličkom polinomijalnom izračunavanju. Za simboličko izračunavanje Moore-Penrose-ovog inverza primenjena je Teorema 2..6, uvedena u radu [77, na polinomijalnim matricama koje se javljaju tokom izračunavanja. Već navedena iterativna procedura (2..) se može modifikovati tako da proizvodi kao rezultat dekompoziciju potpunog ranga polinomijalne matrice A(x). Prema tome, važe sledeće relacije za racionalne elemente matrica D(x) and L(x) za svako j =, r: f ij (x) = j l ik (x)ljk(x)d kk (x), za i = j, n, (2.2.3) k= d jj (x) = a jj (x) f jj (x), (2.2.4) l ij (x) = d jj (x) (a ij(x) f ij (x)), za i = j +, n. (2.2.5) Ove rekurentne relacije su iskorišćene u sledećoj teoremi za izračunavanje koeficijenata racionalnih matrica L i D. U nastavku disertacije, promenljive sa jednom crtom će označavati koeficijente u brojiocu, dok će promenljive sa dve crte označavati koeficijente u imeniocu razlomka. Teorema [96 LDL dekompozicija potpunog ranga Hermitske polinomijalne matrice A(x) C(x) n n r sa elementima oblika (2.2.) jednaka je A(x) = L(x)D(x)L(x), gde su L(x) i D(x) racionalne matrice oblika (2.2.2), pri čemu su koeficijenti elemenata d jj (x) i l ij (x) dati sledećim izrazima: k d k,j = a k k,j,jf k,j,j f k,j,j, 0 k d q = max(a q + f q, f q ), (2.2.6) k =0 d k,j = f k,j,j, 0 k d q = f q, (2.2.7) ( k k ) l k,i,j = d k k,j a k k 2,i,jf k2,i,j f k,i,j, l k,i,j = k =0 k 2 =0 0 k l q = d q + max(a q + f q, f q ), (2.2.8) k d k k,jf k,i,j, 0 k l q = d q + f q, (2.2.9) k =0 gde su koeficijenti f k,i,j jednaki f k,i,j = k j k 2 =0 k 3 =0 p k k2,i,j,k 3 q k2,i,j,k 3, 0 k f q = 2l q + d q + f q 2l q d q, (2.2.0)

24 2.2. LDL dekompozicija potpunog ranga polinomijalne matrice 2 a f k,i,j, 0 k f q, su koeficijenti sledećeg polinoma: P olinomijalnin ZS pri čemu je 2l q +d q 2l q +d q p k,i,j, x k, 2l q +d q p k,i,j,2 x k,..., p k,i,j,j x k, (2.2.) p t,i,j,k = p t,i,j,k = t t t 2 t 2 =0 t 3 =0 t t t 2 t 2 =0 t 3 =0 l t3,i,kl t t 2 t 3,j,kd t2,k, 0 t 2l q +d q, l t3,i,kl t t 2 t 3,j,kd t2,k, 0 t 2l q +d q, dok su vrednosti q k,i,j,t koeficijenti polinoma q i,j,t (x) = f q f k,i,j x k. 2lq+dq p k,i,j,t x k Dokaz. Kako su elementi matrica L(x) i D(x) racionalne funkcije, jednačina (2.2.3) dobija sledeći oblik: f ij (x) = = = j k= j k= l q t=0 l q t=0 2l q+d q t =0 2l q+d q t =0 l t,i,k x t l t,i,k x t l q l d q t,j,kx t t=0 t=0 l q l d q t,j,kx t t=0 t=0 p t,i,j,kx t p t,i,j,kx t = 2l q+d q t =0 2l q+d q t =0 d t,k x t d t,k x t = p t,i,j,x t p t,i,j,x t j k= + 2l q +d q t =0 2l q +d q t =0 2l q+d q t =0 2l q+d q t =0 ( t t t 2 l t3,i,kl t t 2 t 3,j,kd t2,k t 2 =0 t 3 =0 ( t t t 2 l t3,i,kl t t 2 t 3,j,kd t2,k t 2 =0 t 3 =0 p t,i,j,2x t p t,i,j,2x t l q+d q t =0 2l q+d q t =0 ) x t ) x t p t,i,j,j x t p t,i,j,j x t S obzirom da je najmanji zajednički sadržalac (NZS) polinoma u imeniocima označen kao: P olinomijalnin ZS i važe jednakosti 2l q+d q 2l q+d q p k,i,j, x k, 2l q+d q p k,i,j,2 x k,..., f q p k,i,j,j x k = f k,i,j x k,. q i,j,t (x) = f q 2l q+d q f k,i,j x k p k,i,j,t x k = f q 2l q d q q k,i,j,t x k, t< j < i,

25 2.2. LDL dekompozicija potpunog ranga polinomijalne matrice 22 polinomi f ij (x) se mogu izraziti kao f ij (x) = = j f q k= k =0 f q k ( k k =0 k 2 =0 k 3 =0 p k k 2,i,j,kq k2,i,j,k k 2 =0 j f q f k,i,j x k ) x k p k k 2,i,j,k 3 q k2,i,j,k 3 x k f q f k,i,j x k = Primetimo da iz jednačine (2.2.4) sledi sledeća jednačina: f q f q f k,i,j x k f k,i,j x k. d jj (x) = = a q a k,j,j x k max(a q+f q,f q ) k =0 f q f q ( k k 2 =0 f k,j,j x k f k,j,j x k = a q f q a k,j,j x k a k k 2,j,jf k2,j,j f k,j,j f q f q f k,j,j x k ) x k f k,j,j x k f k,j,j x k = d q d q f q d k,j x k f k,j,j x k d k,j x k. Konačno, na osnovu jednačine (2.2.5), naredna jednakost je validna: l ij (x) = = = d q d q d q d q d k,j x k a q a k,i,j x k d k,j x k d k,j x k d k,j x k d q +max(a q +f q,f q ) max(a q+f q,f q ) k =0 ( k ( k k 2 =0 f q f q d k k,j k =0 d q +f q ( k f k,i,j x k f k,i,j x k a k k 2,i,jf k2,i,j f k,i,j f q ( k f k,j,j x k k 2 =0 d k k,jf k,i,j k =0 ) x k a k k 2,i,jf k2,i,j f k,i,j )) x k ) x k = l q l q l k,i,j x k l k,i,j x k.

26 2.2. LDL dekompozicija potpunog ranga polinomijalne matrice 23 Teorema 2.2. pruža praktičan metod za kalkulaciju koeficijenata koji se pojavljuju u elementima l ij (x) i d jj (x) na osnovu prethodno izračunatih l ik (x), l jk (x) i d kk (x), za k < j. Sada se algoritam za izračunavanje LDL dekompozicije potpunog ranga date Hermitske polinomijalne matrice A(x) = {a ij (x)} n i,j= može formulisati. Algoritam 2.2 Izračunavanje LDL dekompozicije potpunog ranga zadate Hermitske polinomijalne matrice Ulaz: Hermitska polinomijalna matrica A(x) ranga r. : Inicijalizacija: d (x) := a (x), l i (x) := a i(x) a (x) za i = 2, n. Postaviti dijagonalne elemente matrice L(x) na vrednost. Za j = 2, r ponavljati korake 2, 3, 4. 2: Izračunati koeficijente polinoma f ij (x) kroz sledeće korake. Za i = j, n ponoviti Korak 2., Korak 2.2, Korak 2.3 i Korak : Za svako k =, j izračunati f q p t,i,j,k = p t,i,j,k = t t t 2 t 2 =0 t 3 =0 t t t 2 t 2 =0 t 3 =0 f k,i,j x k = P olinomijalninzs l t3,i,kl t t 2 t 3,j,kd t2,k, 0 t 2l q +d q, l t3,i,kl t t 2 t 3,j,kd t2,k, 0 t 2l q +d q. 2.2: Odrediti polinomijalni najmanji zajdenički sadržalac generisanih polinoma koji odred uju imenioce: ( 2l q +d q ) 2l q +d q p k,i,j, x k,..., p k,i,j,j x k. 2.3: Za svako t =, j i svako i > j podeliti polinom polinomom: 2l q +d q p k,i,j,t x k, i količnik označiti kao q i,j,t (x) = f q 2l q d q q k,i,j,t x k. 2.4: Uvesti smenu f q = 2l q + d q + f q 2l q d q, i izračunati f k,i,j = k j k 2 =0 k 3 =0 p k k2,i,j,k 3 q k2,i,j,k 3, 0 k f q. f q f k,i,j x k 3: Uvesti smene d q = max(a q + f q, f q ) i d q = f q. Izvršiti sledeće evaluacije: d k,j = k a k i,j,j f i,j,j f k,j,j, 0 k d q i=0 d k,j = f k,j,j, 0 k d q. sledećim

27 2.2. LDL dekompozicija potpunog ranga polinomijalne matrice 24 4: Uvesti smene l q = d q + max(a q + f q, f q ) i l q = d q + f q. Za svako i = j +, n izvršiti sledeće evaluacije: ( k k ) l k,i,j = d k k,j a k k 2,i,jf k2,i,j f k,i,j, 0 k l q, 5: Rezultat: l k,i,j = k =0 k 2 =0 k d k k,jf k,i,j, 0 k l q. k =0 d j (x) = d q d q d k,j x k d k,j x k, l i,j(x) = l q l q l k,i,j x k l k,i,j x k, j =, r, i = j +, n. Ovde navedeni algoritam primenjuje samo operacije množenja, deljenja i sumiranja matričnih elemenata. Pritom, ovaj metod ne podrazumeva korišćenje kvadratnih korena, što kao posledicu podrazumeva kreiranje nove dijagonalne matrice. Očigledno, ovaj algoritam je vrlo pogodan za implementaciju u proceduralnim programskim jezicima Numerički primeri Primer Posmatrajmo simetričnu polinomijalnu matricu ranga 2 generisanu u radu [7: + x x + x S 3 = x + x x. + x x + x Za j = je d = + x, i prema tome je Za slučaj j = 2 imamo da je l 2 (x) = f 22 (x) = Na osnovu ovih rezultata je zadovoljeno: x + x, l 3(x) = + x + x =. x2 + x, f 32(x) = x. d 22 (x) = + x, l 32(x) = d 22 (x) (x f 32(x)) = 0, pa se prema tome dobijaju sledeće racionalne matrice: 0 [ L(x) = x + x 0 +x, D(x) = 0 0 +x.

28 2.2. LDL dekompozicija potpunog ranga polinomijalne matrice 25 Primer Posmatrajmo simetričnu polinomijalnu matricu + x 2 x 2 + x 3 + x A(x) = x + x 3 + x x 2 + x 3 + x + x + x 3 + x x + x x Na osnovu Koraka Algoritam 2.2 stavićemo d (x) = + x 2 i Za j = 2 imamo da je l 2 (x) = x + x 2, l 3(x) = 2 + x + x 2, l 4(x) = 3 + x + x 2. f 22 (x)= x2 + x, f x(2 + x) 32(x)= 2 + x, f ( 3 + x)x 42(x)=. 2 + x 2 Prema tome, jednostavno se dobija a ne-nula elementi matrice L su Za j = 3 se dobija pa prema tome sledi d 22 (x) = ( + x 2x 2 + x 3 )/( + x 2 ) l 32 (x) = 3 x + 2x2 + x 3 + x 2x 2 + x 3, l 42(x) = x (4 x + x2 ) + x 2x 2 + x 3. f 33 (x)= 5 6x + 3x2 + 5x 3 + x 4, f + x 2x 2 + x 3 43 (x) = 6 + 7x 3x2 + 2x 3 + x 4 + x 2x 2 + x 3 d 33 (x) = 4 + 4x 8x3 + x 2x 2 + x, l 43(x) = 7 + 7x 2x2 + 3x x + 8x 3 Konačno, za j = 4 se dobija f 44 (x) = ( x 2x 2 x 3 + 8x 4 )/(4 4x + 8x 3 ). Ovaj rezultat vodi do d 44 (x) = 85 83x 2x2 + x x + 8x 3 Prema tome, dobijene su sledeće matrice iz faktorizacije: L(x) = D(x) = x 0 0 +x 2 2+x 3 x+2x 2 +x 3 0 +x 2 +x 2x 2 +x 3 3+x x(4 x+x 2 ) 7+7x 2x 2 +3x 3 +x 2 +x 2x 2 +x 3 4 4x+8x 3, + x x 2x 0 2 +x x 2 4+4x 8x x 2x 2 +x x 2x x 3 4 4x+8x 3.

29 2.2. LDL dekompozicija potpunog ranga polinomijalne matrice Implementacioni detalji i razultati testiranja S obzirom da je LDL dekompozicija iste složenosti kao i Cholesky faktorizacija, efikasnost našeg algoritma neće biti drugačija od efikasnosti algoritma LL dekompozicije. Algoritam 2.2 podrazumeva jedno više množenje matrice i dijagonalne matrice. Prema tome, algoritamska složenost će biti reda veličine O(n 3 m 2 ), pri čemu je O(n 3 ) složenost LDL dekompozicije, a m je maksimalni eksponent svih polinoma dobijenih u algoritmu. Očito ponekad koeficijenti polinoma mogu veoma rasti u med u-koracima, i pored toga što se izvršava simplifikacija. One possible solutions to this problem is to consider implementacija large number operations. Another possibility is to handle this with matrix elements being quotients two polinomijalnas, thereat doing simplification after each step. polinomijalna matrices containing a relativno small number nonzero entries are often considered in practical computations. In this case, previous algoritam is not very effective because many redundant operations. Procedura PolynomialLDLDecomposition[A List za testiranje i proveru koraka algoritma u paketu MATHEMATICA, navedena je u [78, i ovde je data u celosti. PolynomialLDLDecomposition A_List : Module i, j, k, n Length A, r MatrixRank A, L, D, f, p, q, Num, Den, DNum, LNum, LDen, UpperLim 0, x, r, L f Table 0, n, r ; D Table 0, r, r ; p q Table 0, 3 n, 3 n ; D, A, ; For j, j r, j, L j, j ; A i, For i 2, i n, i, L i, Simplify A, ; For j 2, j r, j, For i j, i n, i, For k, k j, k, ; Num k 0; Den k 0; For r 0, r 2 Exponent L i, k, x Exponent D k, k, x, r, p r, k 0; q r, k 0; r p r, k r r2 r2 0 r3 0 Coefficient Numerator L i, k, x, r3 Coefficient Numerator L j, k, x, r r2 r3 Coefficient Numerator D k, k, x, r2 ; r q r, k r r2 r2 0 r3 0 Coefficient Denominator L i, k, x, r3 Coefficient Denominator L j, k, x, r r2 r3 Coefficient Denominator D k, k, x, r2 ; Num k p r, k x ^ r; Den k q r, k x ^ r; ; j Num k f i, j Simplify Den k ; ; k Print "f ", i, j, " ", f i, j ;

30 2.2. LDL dekompozicija potpunog ranga polinomijalne matrice 27 DNum 0; UpperLim Max Max Exponent A, x Max Exponent Denominator f j, j, x, Max Exponent Numerator f j, j, x ; For k 0, k UpperLim, k, k DNum Coefficient A j, j, x, k i i 0 Coefficient Denominator f j, j, x, i Coefficient Numerator f j, j, x, k x ^ k ; DNum D j, j Simplify Denominator f j, j ; For i j, i n, i, LNum 0; For k 0, k Max Exponent Denominator f i, j, x UpperLim, k, k LNum Coefficient Denominator D j, j, x, k k LDen 0; k 0 k Coefficient A i, j, x, k k2 Coefficient Denominator f i, j, k2 0 x, k2 Coefficient Numerator f i, j, x, k x ^ k; ; For k 0, k Max Exponent Denominator f i, j, x UpperLim, k, k LDen Coefficient Numerator D j, j, x, k k k 0 Coefficient Denominator f i, j, x, k x ^ k; ; L i,j Simplify LNum LDen ; ; ; Return Simplify L, Simplify D ; Dizajniran je i paket PolynomialMatrix u Java za simboličke operacije na matricama sa polinomijalnim elementima iz skupa Z[x. Ovaj paket sadrži četiri glavne klase: Polynomial, RationalFunction, Matrix i Decompositions. Polinomijalna implementacija je implementirana na dva načina: koristeći nizove koeficijenata i heš tabele za nenula koeficijente kod retkih polinoma. Čak i ako su ulazni i izlazni polinomi u algoritmima vrlo kratki, koeficijenti u med u-koracima mogu biti ogromni. Zato su korišćena dva tipa za koeficijente: long and BigInteger (paket za celobrojne operacije u JAVA). Prema tome, imamo četiri dobijene klase, pri čemu uvek koristimo najpogodniju. Četiri osnovne operacije su podržane Karatsuba algoritmom za množenje i polinomijalno deljenje za odred ivanje ostataka. Korišćen je brzi modularni nzd algoritam za odred ivanje najvećeg zajedničkog delioca dva polinoma (primenjujući Kinesku teoremu o ostacima i Euklidov algoritam). Polinom P (x) je prost ako su svi njegovi koeficijenti uzajamno prosti. Koeficijenti i parcijalni rezultati rastu vrlo brzo u Euklidovom algoritmu kod polinomijalne sekvence ostataka. Zato je moguće izračunati prosti deo ostatka u svakom koraku. Med utim, izračunavanje prostog dela zahteva izračunavanje najvećih zajedničkih delilaca polinoma čiji koeficijenti

31 2.2. LDL dekompozicija potpunog ranga polinomijalne matrice 28 mogu biti veliki. Konačno, koristili smo modularni pristup iz rada [2, a koristeći Landay Mignotte granicu, svaki koeficijent nzd-a celobrojnih polinoma a(x) = m i=0 a ix i i b(x) = n i=0 b ix i, gde je a m 0 i b n 0, je ograničen po apsolutnoj vrednosti sa 2 min(m,n) nzd(a m, b n ) min m a 2 i a, n b 2 i. m b n Sledeća lema je fundamentalna za implementaciju u JAVA. Lema Neka su a, b Z[x dva zadata polinoma, i neka je p prost broj koji ne deli vodeće koeficijente polinoma a(x) i b(x). Neka su a (p) i b (p) slike od a i b po modulu p, respektivno. Neka je c = nzd(a, b) nad Z. Tada je st(nzd(a (p), b (p) )) st(nzd(a, b)). Štaviše, ako p ne deli rezultante a/c i b/c, tada nzd(a (p), b (p) ) = c mod p. Naravno, nzd polinoma nad Z p je odred en sa tačnošću samo do proizvoda sa konstantom. Tada koristimo Kinesku teoremu o ostacima za rekonstrukciju koeficijenata najvećeg zajedničkog delioca. Racionalne funkcije su sačuvane kao ured eni parovi brojilaca i imenilaca, koji su prosti polinomi. Nakon svake operacije, izvršava se simplifikacija razlomka deljenjem sa nzd-om brojioca i imenioca. Kako radimo sa matricama dimenzije reda maksimalno 00, koristili smo regularno matrično množenje složenosti O(n 3 ), i Gauss-Jordan-ovu eliminaciju za izračunavanje inverza, ranga i determinante matrice. Primer Ovde prezentujemo uporedne rezultate kod izračunavanja posmatrajući vremena izvršavanja različitih implementacija algoritma 2.2 u MATHEMATICA i JAVA. Svi testovi su izvršeni na sistemu Intel Core 2 Duo T GHz sa 2 GB RAM memorijom, na Windows operativnom sistemu, koristeći JRE i MATHEMATICA 7.0. Svako vreme je dobijeno kao srednja vrednost od 20 nezavisnih izvršavanja. Naš skup test matrica se sastojao od n n matrica sa slučajnim ne-nula koeficijentima iz intervala [ 0, 0 i stepana d. Ovde je MATHEMATICA implementacija algoritma 2.2 bila superiorna u odnosu na ostale implementacije. Glavni razlog su česte simplifikacije koje su izvršavane u MATHEMATICA. Implementacija osnovne procedure (2.2.3)-(2.2.5) je označena kao MATH. osnovni algoritam i očigledno je dosta sporija od implementacije algoritma 2.2, koja je označena kao MATH. algoritam 2.2. n d MATH. osnovni algoritam MATH. algoritam 2.2 Java algoritam Tabela Vremena izračunavanja u sekundama dobijena različitim implementacijama Algoritma 2.2 na nasumičnim test matricama. i=0 i=0

32 2.3. Izračunavanje Moore-Penrose-ovog inverza polinomijalne matrice Izračunavanje Moore-Penrose-ovog inverza polinomijalne matrice Na osnovu prethodne Teoreme 2.2. moguće je izvesti sledeću posledicu Teoreme Teorema [96 Neka je A C(x) m n r polinomijalna matrica sa elementima oblika (2.2.). Posmatrajmo LDL faktorizaciju potpunog ranga matrice (A A) (A A), gde su L C(x) n r i D C(x) r r matrice sa elementima oblika (2.2.2). Označimo elemente inverzne matrice N = (L LDL L) C(x) r r sa n ij (x) = n q t=0 n q t=0 n t,k,l x t n t,k,l x t. Tada se proizvoljni element Moore-Penrose-ovog inverza matrice A može izračunati kao A ij (x) = Γ ij(x), gde je Γ i (x) Γ ij (x) = Γ q b q +b q t=0 n µ= min{µ,r} l= Γ i (x) =P olinomijalninzs min{i,r} k= b q t=0 n m t λ= κ= t =0 β t,i,j,k,l,µ,κ,λγ t t,i,k,l,µ x t, β t,i,k,l,µ x t µ =, n, k =, min{i, r}, l =, min{µ, r} (2.3.) pri čemu je Γ q maksimalni eksponent u polinomima Γ i (x), i m, vrednosti γ t,i,k,l,µ, 0 t Γ q b q, su koeficijenti polinoma Γ i,k,l,µ (x) = bq t=0 Γ i (x) β t,i,k,l,µ x t, za svako µ =, n, k =, min{i, r}, l =, min{µ, r}, pri čemu su korišćene sledeće notacije za κ =, m, λ =, n: t β t,i,j,k,l,µ,κ,λ = p t,i,k,l,µα t t,j,µ,κ,λ, 0 t b q = 2l q + n q + 3a q, t =0 t t t β t,i,k,l,µ = l t,i,kn t t t 2,k,ll t 2,µ,l, 0 t b q = 2l q + n q, t =0 t 2 =0 t t t p t,i,k,l,µ = t =0 t 2 =0 l t,i,kn t t t 2,k,ll t 2,µ,l, 0 t 2l q + n q t t t α t,j,µ,κ,λ = a t,κ,λa t t t 2,κ,µa t 2,j,λ, 0 t 3a q. t =0 t 2 =0 (2.3.2)

33 2.3. Izračunavanje Moore-Penrose-ovog inverza polinomijalne matrice30 Dokaz. Primetimo da su sledeće jednakosti zadovoljene: ( r r ) r (LNL ) ij = l ik n kl ljl = ((A A) A ) ij = l= k= ( n m ) a kl a ki a jl = l= k= l= n l= r l ik n kl ljl, k= m a kl a kia jl. Na osnovu prvog tvrd enja Teoreme 2..6, proizvoljni (i, j)-ti element Moore-Penroseovog inverza matrice A se može izračunati kao: ( min{µ,r} min{i,r} n n ) m A ij = l ik n kl lµl a κλ a κµa jλ = µ= n µ= l= min{µ,r} l= k= min{i,r} k= n λ= κ= λ= κ= k= m l ik n kl lµla κλ a κµa jλ. Dalje, razvojem polinoma u prethodnom izrazu, (i, j)-ti element matrice A se može izračunati kao: A ij (x) = n = = µ= min{µ,r} l= min{i,r} k= a q a q a t,κ,λ x t t=0 n µ= n µ= min{µ,r} l= min{µ,r} l= t=0 min{i,r} k= min{i,r} k= n m λ= κ= l q t=0 l q l t,i,k x t l t,i,k x t t=0 a q a t,κ,µx t a t,j,λx t n t=0 m λ= κ= n λ= κ= 2l q+n q t=0 2l q +n q Prema tome, imamo da je A ij (x) = Γ ij(x), pri čemu važi Γ i (x) =P olinomijalninzs Γ q = γ t,i x t, t=0 b q t=0 Γ i (x) m t=0 b q t=0 n q t=0 n q t=0 n t,k,l x t n t,k,l x t l q l t,µ,lx t t=0 l q l t,µ,lx t t=0 p t,i,k,l,µ x t 3a q α t,j,µ,κ,λ x t β t,i,k,l,µ x t β t,i,j,k,l,µ,κ,λ x t b q t=0 β t,i,k,l,µ x t. t=0 β t,i,k,l,µ x t µ =, n, k =, min{i, r}, l =, min{µ, r}

34 2.3. Izračunavanje Moore-Penrose-ovog inverza polinomijalne matrice3 Γ ij (x) = n µ= min{µ,r} l= min{i,r} k= Γ i,k,l,µ (x) gde je svaki polinom Γ i,l,k,µ (x) jednak Γ i (x)/ tome Γ ij (x) = n µ= min{µ,r} l= min{i,r} k= n m λ= κ= ( Γ q b q+b q t=0 n m b q λ= κ= t=0 b q t=0 β t,i,k,l,µ x t ) ( t t =0 što se poklapa sa formom (2.3.26), čime je dokaz kompletan. β t,i,j,k,l,µ,κ,λ x t, = Γ q b q t=0 β t,i,j,k,l,µ,κ,λγ t t,i,k,l,µ γ t,i,k,l,µ x t. Prema Očigledno je moguće izvesti sličnu teoremu posmatrajući drugo tvrd enje Teoreme Dobijene rezultate je moguće sumirati sledećim algoritmom. Algoritam 2.3 Simboličko izračunavanje Moore-Penrose-ovog inverza korišćenjem LDL decompozicije potpunog ranga Ulaz: Polinomijalna matrica A(x) C(x) m n r sa elementima oblika a ij (x) = ) x t, a q t=0 a t,i,j x t. : Generisati LDL decompoziciju potpunog ranga matrice (A A) (A A), gde su L C(x) n r i D C(x) r r matrice sa elementima oblika (2.2.2), primenom metoda datog jednačinama (2.3.2) iz Teoreme : Transformisati racionalnu matricu M = L LDL L u oblik M = M p(x), pri čemu je p(x) polinom a M polinomijalna matrica. 3: Izračunati inverz matrice M primenom Algoritma 3.2 iz rada [98. Generisati inverznu matricu N = M = p(x)m, a onda je redukovati na formu: n ij (x) = ( nq ) ( ) / n q n k,i,j x k n k,i,j x k. 4: Za svako i =, m, µ =, n, k =, min{i, r}, l =, min{µ, r} izračunati sledeće koeficijente: p t,i,k,l,µ = β t,i,k,l,µ = t t t l t,i,kn t t t 2,k,ll t 2,µ,l, 0 t 2l q + n q (2.3.3) t =0 t 2 =0 t t t l t,i,kn t t t 2,k,ll t 2,µ,l, 0 t 2l q + n q. (2.3.4) t =0 t 2 =0 5: Za svako j =, n, µ =, n, κ =, m, λ =, n izvršiti sledeće evaluacije: t t t α t,j,µ,κ,λ = a t,κ,λa t t t 2,κ,µa t 2,j,λ, 0 t 3a q. (2.3.5) t =0 t 2 =0

35 2.3. Izračunavanje Moore-Penrose-ovog inverza polinomijalne matrice32 6: Uvesti oznake b q = 2l q + n q + 3a q, b q = 2l q + n q i za svako i =, m, j =, n, µ =, n, k =, min{i, r}, l =, min{µ, r}, κ =, m, λ =, n izračunati β t,i,j,k,l,µ,κ,λ = t=0 t p t,i,k,l,µα t t,j,µ,κ,λ, 0 t b q. (2.3.6) t =0 7: Za i =, m evaluirati polinome u imeniocima elementa A i,j na sledeći način: b q Γ i (x) =P olinomijalninzs β t,i,k,l,µ x t µ =, n, k =, min{i, r}, l =, min{µ, r} (2.3.7) i označiti ih sa Γ i (x) = Γ q t=0 γ t,ix t. 8: Za svako i =, m, µ =, n, k =, min{i, r}, l =, min{µ, r} odrediti sledeći polinom: Γ i (x)/ ( b q t=0 β t,i,k,l,µ x t ), and denote it as Γ i,l,k,µ (x) = 9: Za i =, m, j =, n izračunati polinome brojilaca: Γ ij (x) = Γ q b q +b q t=0 n µ= min{µ,r} l= min{i,r} k= n m t λ= κ= t =0 Γ q b q t=0 β t,i,j,k,l,µ,κ,λγ t t,i,k,l,µ γ t,i,k,l,µ x t. x t. (2.3.8) 0: Za i =, m, j =, n postaviti (i, j)-ti element Moore-Penrose-ovog inverza A na Γ ij (x)/γ i (x). LDL dekompozicija je jednake složenosti kao i Cholesky dekompozicija. Primetimo da LDL dekompozicija daje jednu dodatnu dijagonalnu matricu, ali vraća rezultat bez kvadratnih korena, pogodniji za dalja simbolička izračunavanja. Takod e, totalni broj ne-nula elemenata je jednak kao i za Cholesky dekompoziciju. Primetimo još da se (i, j)-ti element matrice (A A) (A A) može izračunati kao n l= m k= κ= m a kla ki a κla κj. Tada su ovi polinomi ulazne vrednosti algoritma 2.3, korišćenog za odred ivanje LDL dekompozicije u Koraku. Slična ideja je korišćena i u Koraku 3 gore navedenog algoritma, pri odred ivanju ulaznih vrednosti Algoritma 3.2 iz [ Numerički primeri Primer Neka je data polinomijalna matrica S 3 iz [7. Da bismo izračunali elemente matrice A, LDL dekompozicija matrice (S 3S 3 ) S 3S 3 se odred uje direktnim

36 2.3. Izračunavanje Moore-Penrose-ovog inverza polinomijalne matrice33 množenjem elemenata matrica L C(x) 3 2 i D C(x) 2 2 na osnovu Algoritma 2.2. Prema tome, L= 0 5x+2x 2 +27x 3 +27x x+57x 2 +54x 3 +27x 4 0, D = [ x + 57x x x x+57x 2 +54x 3 +27x 4 Nakon transformisanja matrice L LDL L na način opisan u algoritmu, primenom Algoritma 3.2 iz [98 imamo: N = (L LDL L) = [ ( 32 4x + 2x x 4) 85x 657x x x x 5 809x 6 503x 7 287x x+824x x x 4 85x 657x x x x 5 809x 6 503x 7 287x x+824x x x x+42905x x x x x x x x x x +7747x x+6952x x x x x x x 8 Evaluacija koeficijenata iz Koraka 4-6 se jednostavno izvodi, kao i evaluacija polinomijalnog najmanjeg zajedničkog sadržaoca potrebnog u Koraku 7. Primetimo da je simplifikacija od ključnog značaja u Koraku 8, gde se izračunavaju koeficijenti γ t,i,k,l,µ, i =, 3, k =, 2, l =, 3, µ =, 3. Konačno, generalisani inverz S 3 = x 4 x x 2 x 4 x x 2 2 x 4 je dobijen nakon simplifikacije svakog elementa koji je u formi razlomka Γ ij (x)/γ i (x), i =, 3, j =, 3, računanjem najvećeg zajedničkog delioca svakog para brojilaca i imenilaca. Primer Posmatrajmo sledeću 4 3 polinomijalnu matricu A 3 generisanu u [7: 3 + x 2 + x + x A 3 = 2 + x + x x + x x + x. x + x 2 + x S obzirom da je rang matrice A 3 jednak 2, naša LDL dekompozicija potpunog ranga matrice (A 3A 3 ) A 3A 3 daje matrice L C(x) 3 2 i D C(x) 2 2 sa sledećim elementima: x+37x L= 2 +8x 3 +6x 4, D = x+52x 2 +24x 3 +6x 4 9+6x+22x 2 +2x 3 +6x x+52x 2 +24x 3 +6x 4 2 x 2 x 4 [ x+46x 2 +92x 3 +48x x+52x 2 +24x 3 +6x 4 Primenom Algoritma 2.3 na matrice A 3, L i D, dobijamo Moore-Penrose-ov inverz matrice A 3 : 3 ( + x) (8 3x) (7 + 3x) (2 + 3x) A = ( + 3x) ( 4 + 3x) 3 ( 3x) (2 + x)

37 2.3. Izračunavanje Moore-Penrose-ovog inverza polinomijalne matrice Implementacioni detalji Na osnovu formulacije Algoritma 2.3 moguće je implementirati sledeću proceduru za izračunavanje Moore-Penrose-ovog inverza polinomijalne matrice. Jedinstveni argument sledeće funkcije je polinomijalna matrica A zadata u obliku liste. Primetimo da je korišćena funkcija LDLDecomposition za izračunavanje LDL faktorizacije matričnog proizvoda (A A) 2. LDLGInverse A_List : Module t, i, j, k, l, mu, m Length A, n Length A, r MatrixRank A, L, D, N, GInv, f, p, beta, beta2, alpha, kap, lam, r, L, D LDLDecomposition Conjugate Transpose A.A.Conjugate Transpose A.A ; L ExpandDenominator ExpandNumerator L ; D ExpandDenominator ExpandNumerator Together D ; N Simplify Inverse Conjugate Transpose L.L.D.Conjugate Transpose L.L ; N ExpandDenominator ExpandNumerator N ; p Table 0, 2 Max Exponent L, x Max Exponent N, x, m, r, r, n ; alpha Table 0, 3 Max Exponent A, x 35, n, n, m, n ; beta Table 0, m, n, r, r, n, m, n ; beta2 Table 0, m, r, r, n ; GInv Table 0, m, n ; For i, i m, i, For k, k Min i, r, k, For l, l Min mu, r, l, For mu, mu n, mu, beta2 i, k, l, mu 0; For t 0, t Max Exponent L i, k, x Max Exponent N k, l, x Max Exponent L mu, l, x, t, p t, i, k, l, mu t t t t 0 t2 0 Coefficient Numerator L i, k, x, t Coefficient Numerator N k, l, x, t t t2 Conjugate Coefficient Numerator L mu, l, x, t2 ; beta2 i, k, l, mu x ^ t ; ; ; ; ; For j, j n, j, For mu, mu n, mu, t t t t 0 t2 0 Coefficient Denominator L i, k, x, t Coefficient Denominator N k, l, x, t t t2 Conjugate Coefficient Denominator L mu, l, x, t2 ; For kap, kap m, kap, For lam, lam n, lam, For t 0, t 3 Max Exponent A, x, t, alpha t, j, mu, kap, lam t t t t 0 t2 0 ; ; ; ; ; Coefficient A kap, lam, x, t Conjugate Coefficient A kap, mu, x, t t t2 Conjugate Coefficient A j, lam, x, t2 ;

38 2.4. LDL dekompozicija potpunog ranga racionalne matrice 35 For i, i m, i, For j, j n, j, For k, k Min i, r, k, For l, l Min mu, r, l, For mu, mu n, mu, For kap, kap m, kap, For lam, lam n, lam, For t 0, t 2 Max Exponent Numerator L, x Max Exponent Numerator N, x 3 Max Exponent Numerator A, x, t, beta i, j, k, l, mu, kap, lam x ^ t p t, i, k, l, mu alpha t t, j, mu, kap, lam ; ; ; ; ; ; ; ; ; For i, i m, i, For j, j n, j, For mu, mu n, mu, For l, l Min mu, r, l, For k, k Min i, r, k, br beta2 i, k, l, mu. x ; If br 0, For lam, lam n, lam, For kap, kap m, kap, beta i, j, k, l, mu, kap, lam GInv i, j Simplify ; beta2 i, k, l, mu ; ; ; ; ; ; ; ; Return Simplify GInv ; ; t t LDL dekompozicija potpunog ranga racionalne matrice Neka je data racionalna Hermitska matrica A(s) C[s n n r, sa elementima koji predstavljaju količnik dva polinoma po nepoznatoj s: a ij (s) = a q a q a k,i,j s k a k,i,j s k, i, j n. (2.4.) Alternativna forma Cholesky faktorizacije, korišćena u radu [74, podrazumeva LDL

39 2.4. LDL dekompozicija potpunog ranga racionalne matrice 36 dekompoziciju simetrične racionalne matrice A(s) oblika A(s) = L(s)D(s)L (s), i=0 gde su L(s) i D(s) donja trougaona i dijagonalna matrica, respektivno, i imaju oblik dat sa (.3.2). Koristeći LDL faktorizaciju, izbegava se izračunavanje elemenata sa kvadratnim korenima. Na primer, raditi sa izrazom A i s i simbolički, gde su A i, i = 0,..., q q konstantne n n matrice, je veoma teško. Zbog navedenog je u [74 dat algoritam za simboličko izračunavanje uopštenih inverza racionalnih matrica korišćenjem tehnike opisane u [87. Ovaj metod pojednostavljuje problem simboličkog izračunavanja uopštenih inverza racionalnih matrica u proceduralnim programskim jezicima. Kao što je ranije uočeno, rekurentne relacije (2.2.3) (2.2.5) je potrebno izvršavati samo za j =, rang(a). Ovaj metod generiše reprezentaciju potpunog ranga matrice A, gde je L bez nula kolona, a matrica D ne sadrži nula vrste i nula kolone. Prema tome, za datu racionalnu matricu A C(s) m n r = {X C m n rang(x) = r}, posmatrajmo dekompoziciju A = LDL potpunog ranga, pri čemu L C(s) m r, l ij = 0 za i < j, a D C(s) r r je dijagonalna racionalna matrica. Kako su matrice L(s), D(s) ranga r, one su oblika 0 0 l 2, (s) d (s) d 2 (s) 0 L(s) = l r, (s) l r,2 (s), D(s) =. l r+, (s) l r+,2 (s) l r+,r (s)....., d r (s) l n, (s) l n,2 (s) l n,r (s) (2.4.2) pri čemu su ne-nula elementi racionalnih matrica L(s) i D(s) oblika (2.2.2). Upravo ćemo relacije (2.2.3)-(2.2.5) primenjivati za direktno izračunavanje koeficijenata matričnih elemenata u L(s) i D(s). Kao i ranije, promenljive sa jednom crtom će označavati koeficijente polinoma u brojiocu, a promenljive sa dve crte koeficijente polinoma u imeniocu. Jednačina (2.2.3) se u polinomijalnom obliku može zapisati kao: f i,j (s) = = j l ik (s)ljk(s)d k (s) = k= j k= 2l q +d q r =0 2l q +d q r =0 ( r j k= l q t=0 l q t=0 l t,i,k s t l t,i,k s t r r 2 l r3,i,kl r r 2 r 3,j,kd r2,k r 2 =0 r 3 =0 ( r r r 2 l r3,i,kl r r 2 r 3,j,kd r2,k r 2 =0 r 3 =0 l q l d q t,j,ks t t=0 t=0 l q l d q t,j,ks t t=0 t=0 ) s r ). s r d t,k s t d t,k s t

40 2.4. LDL dekompozicija potpunog ranga racionalne matrice 37 Uvedimo sledeće oznake: p r,i,j,k = p r,i,j,k = Tada je zadovoljeno r r r 2 r 2 =0 r 3 =0 r r r 2 r 2 =0 r 3 =0 l r3,i,kl r r 2 r 3,j,kd r2,k, 0 r 2l q +d q, l r3,i,kl r r 2 r 3,j,kd r2,k, 0 r 2l q +d q. f i,j (s) = = j k= 2l q +d q r =0 2l q+d q r =0 2l q+d q r =0 2l q+d q r =0 p r,i,j,ks r p r,i,j,ks r p r,i,j,s r p r,i,j,s r + 2l q +d q r =0 2l q+d q r =0 p r,i,j,2s r p r,i,j,2s r l q +d q r =0 2l q+d q r =0 p r,i,j,j s r p r,i,j,j s r Sada odredimo najmanji zajednički sadržalac (NZS) polinoma u imeniocima i označimo ga na sledeći način: 2l q +d q 2l q +d q 2l q +d q f q P olinomijalnin ZS p k,i,j, s k, p k,i,j,2 s k,..., p k,i,j,j s k = f k,i,j s k. Takod e uvedimo oznake. q i,j,t (s) = f q 2l q +d q f k,i,j s k p k,i,j,t s k = f q 2l q d q q k,i,j,t s k, t j, i > j. Neka je sada f q = 2l q + d q + f q 2l q d q. Nastavljajući sa izračunavanjima elemenata f i,j (s) imamo ( k f i,j (s) = = j f q k= k =0 f q k p k k 2,i,j,kq k2,i,j,k k 2 =0 j k =0 k 2 =0 k 3 =0 f q f k,i,j s k ) s k p k k 2,i,j,k 3 q k2,i,j,k 3 s k f q f k,i,j s k = f q f q f k,i,j s k f k,i,j s k,

41 2.4. LDL dekompozicija potpunog ranga racionalne matrice 38 gde je f k,i,j = k j k 2 =0 k 3 =0 p k k2,i,j,k 3 q k2,i,j,k 3, 0 k f q. Primetimo sada da za svako j =, r, na osnovu jednakosti (2.2.4), sledi sledećih nekoliko evaluacija d j (s) = = = a q a q a q +f q k =0 a k,j,j s k a k,j,j s k ( k f q f q f k,j,j s k f k,j,j s k = a k k 2,j,jf k2,j,j k 2 =0 max(a q +f q,a q +f q ) k =0 ( k k 2 =0 a q+f q k =0 a q a q f q a k,j,j s k ) a q +f s k q k =0 f q a k,j,j s k a q ( k f k,j,j s k f k,j,j s k a q f q a k,j,j s k f q a k,j,j s k f k,j,j s k a k k 2,j,jf k2,j,j k 2 =0 (a k k 2,j,jf k2,j,j a k k 2,j,jf k2,j,j) ( k a k k 2,j,jf k2,j,j k 2 =0 ) s k ) s k ) s k = d q d q f k,j,j s k d k,j s k d k,j s k, pri čemu je d q = max(a q + f q, a q + f q ), d q = a q + f q, k d k,j = (a k i,j,j f i,j,j a k i,j,j f i,j,j ), 0 k d q, d k,j = i=0 k a k i,j,j f i,j,j, 0 k d q. Konačno, na osnovu jednakosti (2.2.5), zadovoljeno je l i,j (s) = = d q d q d q d q d k,j s k d k,j s k d k,j s k d k,j s k i=0 a q a q a k,i,j s k a k,i,j s k max(a q+f q,a q+f q ) k =0 f q f q ( k a q +f q k =0 k 2 =0 f k,i,j s k f k,i,j s k (a k k 2,i,jf k2,i,j a k k 2,i,jf k2,i,j) ( k a k k 2,i,jf k2,i,j k 2 =0 ) s k ) s k

42 2.4. LDL dekompozicija potpunog ranga racionalne matrice 39 = = d q+max(a q+f q,a q+f q ) l q l q l k,i,j s k l k,i,j s k, ( k d q +a q +f q d k,j k =0 ( k ( k k )) (a k k k 2,i,jf k2,i,j a k k k 2,i,jf k2,i,j) k 2 =0 d k,j k =0 ( k k a k k k 2,i,jf k2,i,j k 2 =0 )) s k s k gde je l q = d q + max(a q + f q, a q + f q ), l q = d q + a q + f q ( k k k ) l k,i,j = (a k k k 2,i,jf k2,i,j a k k k 2,i,jf k2,i,j), 0 k l q, l k,i,j = k =0 k k =0 d k,j d k,j k 2 =0 ( k k k 2 =0 a k k k 2,i,jf k2,i,j ), 0 k l q. Sledeći algoritam za izračunavanje LDL dekompozicije date Hermitske polinomijalne matrice A(s) = {a ij (s)} n i,j= je uveden u radu [74. Algoritam 2.4 LDL faktorizacija potpunog ranga racionalne Hermitske matrice Ulaz: Racionalna Hermitska matrica A(s) C[s n n r. : Inicijalizacija: d (s) := a (s) i l i (s) := a i(s) a (s) za i = 2, n. Postaviti L ii(s) :=, za svako i =, n. Za j = 2, r izvršiti Korake 2, 3, 4. 2: Izračunati koeficijente polinoma f ij (s) kroz sledeća četiri koraka, tj. za i = j, n izvršiti Korak 2., Korak 2.2, Korak 2.3 i Korak : Za svako k =, j izvršiti sledeća izračunavanja: p r,i,j,k = p r,i,j,k = r r r 2 r 2 =0 r 3 =0 r r r 2 r 2 =0 r 3 =0 l r3,i,kl r r 2 r 3,j,kd r2,k, 0 r 2l q +d q, l r3,i,kl r r 2 r 3,j,kd r2,k, 0 r 2l q +d q. 2.2: Odrediti najmanji zajednički sadržalac polinoma imenilaca: f q f k,i,j s k = P olinomijalninzs 2l q +d q 2l q +d q p k,i,j, s k,..., p k,i,j,j s k.

43 2.4. LDL dekompozicija potpunog ranga racionalne matrice : Za svako t =, j i i = j +, n podeliti dobijeni polinom sledećim polinomom 2l q+d q p k,i,j,t s k, i označiti količnik kao f q f k,i,j s k q i,j,t (s) = f q 2l q d q q k,i,j,t s k. 2.4: Uvesti smenu f q = 2l q + d q + f q 2l q d q, i izračunati f k,i,j = k j k 2 =0 k 3 =0 p k k2,i,j,k 3 q k2,i,j,k 3, 0 k f q. 3: Uvesti sledeće smene: d q = max(a q + f q, a q + f q ) i d q = a q + f q, i izračunati d k,j = d k,j = k (a k i,j,j f i,j,j a k i,j,j f i,j,j ), 0 k d q, i=0 k a k i,j,j f i,j,j, 0 k d q. i=0 4: Uvesti smene l q = d q +max(a q +f q, a q +f q ) i l q = d q +a q +f q, a za svako i = j +, n izračunati sledeće: ( k k k ) l k,i,j = (a k k k 2,i,jf k2,i,j a k k k 2,i,jf k2,i,j), 0 k l q, l k,i,j = 5: Rezultat: k =0 k k =0 d k,j d k,j k 2 =0 ( k k k 2 =0 a k k k 2,i,jf k2,i,j ), 0 k l q. d j (s) = d q d q d k,j s k d k,j s k, l i,j(s) = l q l q l k,i,j s k l k,i,j s k, i n, j r. Implementacija Algoritma 2.4 je veoma slična implementaciji algoritma 2.2. Vremena izračunavanja kod primene Algoritma 2.4 se ne razliku od njegove polinomijalne verzije na skupu polinomijalnih test matrica. S obzirom da je složenost algoritma LDL dekompozicije u najgorem slučaju O(n 3 ), složenost Algoritma 2.4 će biti aproksimativno O(n 3 m 2 ), gde je m maksimalni eksponent polinoma dobijenih algoritmom.

44 2.5. Izračunavanje Moore-Penrose-ovog inverza racionalne matrice Izračunavanje Moore-Penrose-ovog inverza racionalne matrice Naša motivacija je iskoristiti dekompoziciju bez korena za dobijanje algoritma za izračunavanje Moore-Penrose-ovog inverza racionalne matrice. Takav metod, prezentovan u radu [74, je veoma primenljiv u proceduralnim pogramskim jezicima, kao i u simboličkim programskim paketima, kao što je MATHEMATICA. Sledeća posledica Teoreme 2..6 za slučaj racionalnih matrica je uvedena u radu [74. Teorema [74 Posmatrajmo racionalnu matricu A C(x) m n r i LDL dekompoziciju potpunog ranga matrice (A A) (A A), pri čemu je proizvoljan element inverzne matrice N = (L LDL L) C(x) r r označen kao ( nq ) n / q n ij (x) = n t,i,j x t n t,i,j x t. (2.5.) t=0 Neka su uvedene sledeće oznake za µ =, n, k =, min{i, r}, l =, min{µ, r}, κ =, m, λ =, n: β t,i,j,k,l,µ,κ,λ = t t =0 β t,i,j,k,l,µ,κ,λ = t t =0 p t,i,k,l,µ = t p t,i,k,l,µ = t α t,j,µ,κ,λ = α t,j,µ,κ,λ = t =0 t 2 =0 t=0 p t,i,k,l,µα t t,j,µ,κ,λ, 0 t b q = 2l q + n q + 3a q, (2.5.2) p t,i,k,l,µα t t,j,µ,κ,λ, 0 t b q = 2l q + n q + 3a q, (2.5.3) t t t t t =0 t 2 =0 t t =0 t 2 =0 t l t,i,kn t t t 2,k,ll t 2,µ,l, 0 t 2l q + n q (2.5.4) l t,i,kn t t t 2,k,ll t 2,µ,l, 0 t = 2l q + n q, (2.5.5) t t t t t =0 t 2 =0 a t,κ,λa t t t 2,κ,µa t 2,j,λ, 0 t 3a q, (2.5.6) a t,κ,λa t t t 2,κ,µa t 2,j,λ, 0 t 3a q. (2.5.7) Tada je proizvoljni (i, j)-ti element Moore-Penrose-ovog inverza matrice A dat sa pri čemu je Φ ij (x) = n µ= min{µ,r} l= min{i,r} k= n m λ= κ= A ij (x) = Φ ij(x) Ψ ij (x), Ψ q b q +b q t=0 ( t t =0 β t,i,j,k,l,µ,κ,λγ t t,i,j,k,l,µ,κ,λ ) x t, (2.5.8)

45 2.5. Izračunavanje Moore-Penrose-ovog inverza racionalne matrice 42 Ψ ij (x) = PolinomijalniNZS { bq β t,i,j,k,l,µ,κ,λ x t t=0 k =, min{i, r}, l =, min{µ, r}, µ =, n, κ =, m, λ =, n }, (2.5.9) dok su γ t,i,j,k,l,µ,κ,λ, 0 t Ψ q b q, koeficijenti polinoma Γ i,j,k,l,µ,κ,λ (x) = b q t=0 Ψ ij (x), β t,i,j,k,l,µ,κ,λ x t a Ψ q predstavlja maksimalni eksponent polinoma Ψ ij (x). Dokaz. Pretpostavimo, bez umanjenja opštosti, da su elementi racionalne matrice A dati u formi (2.4.). Kako LDL predstavlja dekompoziciju potpunog ranga matrice (A A) (A A) C(x) n n r, sledi da su L C(x) n r i D C(x) r r matrice sa elementima datim u obliku (2.2.2). Na osnovu prvog tvrd enja Teoreme 2..6, proizvoljni (i, j)-ti element matrice A se može izračunati kao: n A ij = (LNL ) iµ ((A A) A ) µj = = µ= n µ= n µ= min{µ,r} l= min{µ,r} l= min{i,r} k= min{i,r} k= ( n l ik n kl lµl n λ= κ= λ= κ= m l ik n kl lµla κλ a κµa jλ. ) m a κλ a κµa jλ Uzimanjem racionalne forme svih elemenata matrica, (i, j)-ti element Moore-Penroseovog inverza od A se može odrediti. A ij (x) = n = µ= a q min{µ,r} l= a t,κ,λ x t t=0 a q a t,κ,λ x t t=0 n µ= min{µ,r} l= min{i,r} k= a q n m λ= κ= a t,κ,µx t t=0 a q t=0 min{i,r} k= a t,κ,µx t n m λ= κ= l q t=0 l q l t,i,k x t l t,i,k x t t=0 a q a t,j,λ xt t=0 a q a t,j,λx t t=0 2l q+n q t=0 2l q +n q t=0 n q t=0 n q t=0 p t,i,k,l,µ x t p t,i,k,l,µ x t n t,k,l x t n t,k,l x t 3a q t=0 3a q t=0 l q l t,µ,lx t t=0 l q l t,µ,lx t t=0 α t,j,µ,κ,λ x t α t,j,µ,κ,λ x t

46 2.5. Izračunavanje Moore-Penrose-ovog inverza racionalne matrice 43 A ij (x) = n µ= min{µ,r} l= min{i,r} k= n m λ= κ= b q t=0 b q t=0 β t,i,j,k,l,µ,κ,λ x t β t,i,j,k,l,µ,κ,λ x t. Pritom, A ij (x) = Φ ij(x) Ψ ij je validno, gde je (x) b q Ψ ij (x) =NZS β t,i,j,k,l,µ,κ,λ x t µ=, n, k =, min{i, r}, l =, min{µ, r}, κ=, m, λ=, n, Φ ij (x) = n µ= t=0 min{µ,r} l= min{i,r} k= Γ i,j,k,l,µ,κ,λ (x) a polinom Γ i,j,k,l,µ,κ,λ (x) je dat u obliku Konačno, sledeća forma Φ ij (x) = n µ= Ψ ij (x)/ min{µ,r} l= je jednaka formi (2.5.8). b q t=0 min{i,r} k= n m b q λ= κ= t=0 β t,i,j,k,l,µ,κ,λ x t = n m λ= κ= Ψ q b q +b q t=0 ( t β t,i,j,k,l,µ,κ,λ x t, Ψ q b q t =0 t=0 γ t,i,j,k,l,µ,κ,λ x t. β t,i,j,k,l,µ,κ,λγ t t,i,j,k,l,µ,κ,λ Napomena Primetno je da se slična teorema može postaviti posmatranjem drugog tvrd enja Teoreme Algoritam 2.5 Izračunavanje MP-inverza primenom LDL faktorizacije potpunog ranga Ulaz: Racionalna matrica A(x) C(x) r m n (sa elementima u obliku (2.4.)). : Primeniti Algoritam 2.4 za izračunavanje LDL dekompozicije potpunog ranga matrice (A A) (A A), gde su L C(x) n r i D C(x) r r matrice sa elementima u obliku (2.2.2). 2: Predstaviti racionalnu matricu R = L LDL L u obliku: R(x) = P (x), pri čemu p(x) je p(x) neki polinom (jednak NZS-u polinoma imenilaca u R) a P (x) je polinomijalna matrica. 3: Izračunati inverz polinomijalne matrice P koristeći Algoritam 3.2 iz rada [98. Generisati inverznu matricu N = R = p(x)p i transformisati je u oblik (2.5.). 4: Za svako i =, m, j =, n, µ =, n, k =, min{i, r}, l =, min{µ, r}, κ =, m, λ =, n izvršiti evaluacije (2.5.2) (2.5.7). 5: Za i =, m, j =, n izračunati polinome imenilaca elemenata A i,j Ψ ij (x) = NZS { b q β t,i,j,k,l,µ,κ,λ x t t=0 ) x t, na sledeći način k =, min{i, r}, l =, min{µ, r}, µ =, n, κ =, m, λ =, n },

47 2.5. Izračunavanje Moore-Penrose-ovog inverza racionalne matrice 44 i označiti ih sa Ψ i (x) = Ψ q t=0 Ψ t,ix t. 6: Za svako i =, m, µ =, n, k =, min{i, r}, l =, min{µ, r} odrediti sledeće polinome: Ψ i (x)/ ( b q t=0 β t,i,k,l,µ x t ), i označiti ih sa Γ i,l,k,µ (x) = 7: Za i =, m, j =, n izračunati polinome brojilaca: Φ ij (x) = Ψ q b q +b q t=0 n µ= min{µ,r} l= min{i,r} k= n m t λ= κ= t =0 Ψ q b q t=0 β t,i,j,k,l,µ,κ,λγ t t,i,k,l,µ γ t,i,k,l,µ x t. x t. (2.5.0) 8: Za i =, m, j =, n postaviti (i, j)-ti element uopštenog inverza A na vrednost Φ ij (x)/ψ i (x). Još jednom navedimo da se (i, j)-ti element proizvoda matrica (A A) (A A) može izračunati kao n m m a kla ki a k la k j. l= k= k = Dakle, ovi polinomi će predstavljati ulaz Algoritma 2.4, korišćenog u Koraku našeg algoritma. Takod e, jednostavno je odrediti i ulaz za Algoritam 3.2 iz [98 u Koraku 3 algoritma Numerički primeri i rezultati testiranja Ovde ćemo ispitati Algoritam 2.4 i Algoritam 2.5 i uporediti neke različite implementacije, kroz narednih nekoliko primera. Na kraju ćemo uporediti vremena izvršenja različitih algoritama i implementacija na skupu nasumičnih test matrica. Primer Uočimo kvadratnu simetričnu racionalnu matricu +x 2 x 2 + x +x 3+x A(x) = 2 x +x 3 + x. 3+x 2 2x+x x 3 + x + x Primenom Algoritm 2.4 za j = 2 dobijamo f 22 (x) = ( + x)x 2 ( + x 2 ) (3 + x 2 ) 2, f 32 = ( + x)x(2 + x) 3 + 4x 2 + x 4. Za j = 3 se dobijaju sledeći intermediate rezultati: f 33 (x) = 36 98x 02x2 92x 3 23x 4 54x 5 + 5x 6 + 8x 7 + 3x 8 + 4x 9 + x 0. ( + x) (9 + 5x 2 + 2x 3 + 6x 4 + x 6 )

48 2.5. Izračunavanje Moore-Penrose-ovog inverza racionalne matrice 45 Nakon tih velikih rezultata, konačan rezultat je nešto manje veličine nakon izvršene simplifikacije: 0 0 ( +x)x L(x)= 0 3+4x 2 +x 4, ( +x)(2+x) ( 2+x)x(3+x 2 )(9+5x+x 2 +3x 3 +3x 4 +x 5 ) +x 2 9+9x 5x 2 +3x 3 4x 4 +6x 5 x 6 +x 7 +x x D(x)= ( +x)(9+5x x 3 +6x 4 +x 6 ) 0 ( 2+x)x(+x 2 )(3+x 2 ) x 26x 2 64x 3 40x 4 44x 5 2x 6 +0x 7 +2x 8 +4x 9 +x 0 9 9x+5x 2 3x 3 +4x 4 6x 5 +x 6 x 7 Sledeći Moore-Penrose-ov inverz matrice A je dobijen primenom Algoritma 2.5 na ulaznu matricu A: (3+x 2 ) 2 (+5x 2x 2 8x 3 +3x 4 +x 5 ) A 27 80x 26x = 2 64x 3 40x 4 44x 5 2x 6 +0x 7 +2x 8 +4x 9 +x 0 x( 08+66x+6x 2 +6x 3 +29x 4 8x 5 +2x 6 2x 7 x 8 ) 27 80x 26x 2 64x 3 40x 4 44x 5 2x 6 +0x 7 +2x 8 +4x 9 +x x 6x 2 +2x 3 4x 4 +7x x 26x 2 64x 3 40x 4 44x 5 2x 6 +0x 7 +2x 8 +4x 9 +x 0 x( 08+66x+6x 2 +6x 3 +29x 4 8x 5 +2x 6 2x 7 x 8 ) 8 27x 6x 2 +2x 3 4x 4 +7x x 26x 2 64x 3 40x 4 44x 5 2x 6 +0x 7 +2x 8 +4x 9 +x x 26x 2 64x 3 40x 4 44x 5 2x 6 +0x 7 +2x 8 +4x 9 +x 0 x(3+x 2 ) 2 (6 x 9x 2 +4x 3 ) x( 54 3x 69x 2 +4x 3 26x 4 +8x 5 +x 7 +x 8 ) 27 80x 26x 2 64x 3 40x 4 44x 5 2x 6 +0x 7 +2x 8 +4x 9 +x x 26x 2 64x 3 40x 4 44x 5 2x 6 +0x 7 +2x 8 +4x 9 +x 0 x( 54 3x 69x 2 +4x 3 26x 4 +8x 5 +x 7 +x 8 ) 9 9x+5x 2 3x 3 +4x 4 6x 5 +x 6 x x 26x 2 64x 3 40x 4 44x 5 2x 6 +0x 7 +2x 8 +4x 9 +x x 26x 2 64x 3 40x 4 44x 5 2x 6 +0x 7 +2x 8 +4x 9 +x 0 Primer Posmatrajmo matricu A(x) iz Primera kao racionalnu matricu. Da bismo izračunali elemente Moore-Penrose-ovog inverza matrice A, LDL dekompoziciju matrice (A A) 2 treba odrediti algoritmom 2.4, koji je zahtevan u Koraku Algoritam 2.5. Prema tome, primenom Algoritam 2.5 na datu matricu A, dobijen je sledeći Moore- Penrose-ov inverz matrice A: A = +x 9+7x 3+0x 26(+x) 85 83x 2x 2 +x x+2x 2 x x+2x 2 x x 2x 2 +x 3 9+7x 4+36x 2x 2 +3x x+2x 2 2x 3 2+9x 2x 2 +5x x+2x 2 x x 2x 2 +x x+2x 2 x x+2x 2 x 3 3+0x 27 2x+2x 2 2x 3 9 6x+x 2 x 3 7+7x 2x 2 +3x x+2x 2 x x+2x 2 x x+2x 2 x x+2x 2 x 3 26(+x) 2+9x 2x 2 +5x 3 7+7x 2x 2 +3x 3 4 4x+8x x 2x 2 +x x+2x 2 x x+2x 2 x x 2x 2 +x 3 Primer Uporedimo sada neka vremena izračunavanja za različite implementacije algoritma 2.4 u MATHEMATICA i JAVA. Za potrebe testiranja, u radu [74, generisali smo skup n n racionalnih matrica gustine, sa slučajno odabranim nenula koeficijentima iz intervala [ 0, 0, pri čemu su svi polinomi u brojiocima i imeniocima stepena d. Tabela 2.5. ilustruje razlike med u vremenima dobijenim različitim implementacijama algoritma 2.4 i osnovne LDL dekompozicije racionalnih matrica. Testiranja su pokazala da je MATHEMATICA implementacija algoritma 2.4 dosta efikasnija u odnosu na druge implementacije. Glavni razlog su česte simplifikacije izvršene u MATHEMATICA. Implementacija osnovnog algoritma (2.2.3)-(2.2.5) je ponovo označna kao MATH. osnovni algoritam i očigledno je manje efikasna nego implementacija algoritma 2.4 u JAVA (Java algoritam 2.4) za manje dimenzije. Za slučaj većih dimenzija (n = 0) implementacija u Java je dosta sporija nego implementacija u MATHEMATICA....

49 2.6. Izračunavanje A (2) T,S inverza LDL dekompozicijom 46 n 5 0 d MATH.osnovni algoritam MATH. algoritam Java algoritam Tabela Vremena izvršavanja u sekundama dobijena različitim implementacijama algoritma 2.4. Test matrica S 0 S 50 S 00 S 50 F 0 F 50 F 00 F 50 Lev.-Faddeev [ Partitioning [ LDLGInverse [ PseudoInverse [ Algoritam Tabela Prosečna vremena izračunavanja Moore-Penrose-ovog inverza, u sekundama, dobijena različitim algoritmima. Primer Odredimo dalje efikasnost Algoritma 2.5. Uporedili smo nekoliko različitih algoritama za izračunavanje Moore-Penrose-ovog inverza. U Tabeli su data prosečna vremena izračunavanja, dobijena primenom različitih algoritama na dva skupa test matrica iz [7 (posmatrajući parcijalni slučaj x = ). Prva vrsta u Tabeli sadrži nazive test matrica generisanih u [7. Vremena izračunavanja u poslednjoj vrsti su dobijena primenom Algoritma 2.5. Očito, naš algoritam je brz, ali nije i najefikasniji algoritam za svaki skup test matrica. Algoritam sa pregrad ivanjem iz rada [87 je bolja opcija kod drugog skupa test matrica. Takod e, jasno je da je Algoritam 2.5 imao bolje performanse u odnosu na LDLGInverse iz [77, iz kojeg je izveden. 2.6 Izračunavanje A (2) T,S inverza LDL dekompozicijom Mnoge reprezentacije potpunog ranga različitih tipova generalisanih inverza su napravljene, bilo za zadati rang ili zadati opseg ili jezgro. Radi kompletnosti, navešćemo sledeću reprezentaciju potpunog ranga spoljnih inverza definisanog jezgra i slike (eng. range, null space), koju su uveli Sheng i Chen [70. Lema [70 Neka je data matrica A C m n r i podprostori T C n dimenzije s r i S C m dimenzije m s. Pretpostavimo da matrica M C n m zadovoljava R(M) = T, N (M) = S i da ima dekompoziciju potpunog ranga M = F G. Ako matrica A ima {2}-inverz A (2) T,S, tada važe sledeća tvrd enja: () GAF je invertibilna matrica; (2) A (2) T,S = F (GAF ) G = A (2) R(F ),N (G).

50 2.6. Izračunavanje A (2) T,S inverza LDL dekompozicijom 47 U radu [78 data je teorema kojom je odred ena reprezentacija potpunog ranga spoljnih inverza, u istom smislu kao u Lemi Sledeće tvrd enje važi za racionalne matrice i zasnovano je na LDL dekompozicije potpunog ranga proizvoljne Hermitske matrice M, što se može izvesti na sličan način opisan u Algoritmu 2.4. Teorema [78 Neka je data kvadratna racionalna matrica A C(x) n n r normalnog ranga r. Ako je LDL dekompozicija potpunog ranga proizvoljne Hermitske matrice M C(x) n n s definišimo sledeći skup Ako je zadovoljen uslov ranga s r, gde je L C(x) n s s, a D C(x) s s s je dijagonalna matrica, D A,M = {x C nrang(m)=rang(l (x)a(x)l(x))=s}. (2.6.) sledeće tvrd enje je validno na skupu D A,M : Dokaz. S obzirom da izraz nrang(m) = nrang(raq) = s, (2.6.2) A (2) R(L),N (L ) = L(L AL) L = A (2) R(M),N (M). (2.6.3) M = LDL = (LD)(L ), (2.6.4) predstavlja dekompoziciju potpunog ranga matrice M na skupu D A,M, tada prvi identitet u (2.6.3) važi na osnovu Leme 2.6. i jednačine LD(L ALD) L = L(L AL) L = A (2) R(L),N (L ). Druga jednačina A (2) R(M),N (M) = A(2) R(L),N (L ) je očigledno zadovoljena na skupu D A,M, na osnovu jednačine (2.6.4). Sada navodimo algoritam za izračunavanje A (2) T,S inverza date matrice A, uveden u [78 Algoritam 2.6 Izračunavanje A (2) T,S inverza matrice A na osnovu LDL dekompozicije potpunog ranga matrice M. (Algoritam LDLATS) Ulaz: Matrica A C(x) n n r normalnog ranga r. : Odabrati proizvoljnu polinomijalnu Hermitsku matricu M C(x) n n normalnog ranga s r. 2: Generisati LDL dekompoziciju potpunog ranga polinomijalne matrice M primenom Algoritma : Rezultat: Generalisani inverz matrice A (2) R(L),N (L ) kao proizvod matrica dat u jednačini (2.6.3). Sledeće tvrd enje iz [78 pruža praktični kriterijum za konstruisanje Hermitske matrice M C(x) n n s, radi izračunavanja nekoliko tipova uopštenih inverza matrice A.

51 2.6. Izračunavanje A (2) T,S inverza LDL dekompozicijom 48 Posledica [78 Za datu matricu A C(x) n n r normalnog ranga r i proizvoljnu Hermitsku matricu M C(x) n n s, gde je s r, sledeća tvrd enja su validna na skupu D A,M : za M = A identitet A (2) R(L),N (L ) = A je zadovoljen; za M = A identitet A (2) R(L),N (L ) = A M,N je zadovoljen; za M = A važi identitet A(2) R(L),N (L ) = A# ; za M = A k, pri čemu je k ind(a), važi identitet A (2) R(L),N (L ) = A. Dokaz. Sledi na osnovu Teoreme i identiteta (..) i (..2). Na osnovu ove posledice, širok spektar generalisanih inverza matrice A C(x) n n r je moguće odrediti, odabirom odgovarajuće Hermitske matrice M i izračunavanjem njene dekompozicije potpunog ranga. U radu [78 uvedena je sledeća posledica Teoreme za slučaj polinomijalnih matrica A i M. Teorema [78 Neka je A C(x) n n r polinomijalna matrica normalnog ranga r. Neka je LDL dekompozicija potpunog ranga proizvoljne Hermitske polinomijalne matrice M C(x) n n s normalnog ranga s r, gde su L C(x) n s s i D C(x) s s s matrice oblika (2.4.2) sa elementima formi (2.2.2). Označimo sa D A,M skup kao u (2.6.) i proizvoljni (i, j)-ti element inverzne matrice N = (L AL) na sledeći način: n q n i,j (x) = n k,i,j x k/ n q n k,i,j x k, (2.6.5) Ako je uslov (2.6.2) zadovoljen, tada se proizvoljni (i, j)-ti element uopštenog inverza može izračunati kao A (2) R(L),N (L ) ( ) A (2) R(L),N (L ) (x) = Σ i,j(x) ij Σ i,j (x), za x D A,M, gde su Σ i,j (x) i Σ i,j (x) polinomi oblika Σ q γ q +γ q min{j,s} min{i,s} t Σ i,j (x) = t=0 k= l= t =0 γ t,i,j,k,lσ t t,i,j,k,l γ q Σ i,j (x) = NZS γ t,i,j,k,l x t k =, min{j, s}, l =, min{i, s} t=0 x t, (2.6.6) (2.6.7) = Σ q t=0 σ t,i,j x t, (2.6.8) gde su za k =, min{j, s}, l =, min{i, s}, vrednosti σ t,i,j,k,l, 0 t Σ q γ q koeficijenti polinoma Σ i,j,k,l (x) = Σ i,j(x), γ q γ t,i,j,k,l x t t=0

52 2.6. Izračunavanje A (2) T,S inverza LDL dekompozicijom 49 pri čemu su korišćene oznake: γ t,i,j,k,l = γ t,i,j,k,l = t t t 2 t 2 =0 t 3 =0 t t t 2 t 2 =0 t 3 =0 l t2,i,ln t t 2 t 3,l,kl t 3,j,k, 0 t γ q = 2l q + n q, (2.6.9) l t2,i,ln t t 2 t 3,l,kl t 3,j,k, 0 t γ q = 2l q + n q. (2.6.0) Dokaz. Kako su elementi inverzne matrice N = (L AL) = {n i,j (x)} s i,j=0 odred eni izrazom (2.6.5), tada (LN) ij (x) = = min{i,s} l= min{i,s} l= l i,l (x)n l,j (x) = l q +n q l q +n q Prema tome, važe sledeće jednakosti: (L(L AL) L ) ij (x) = = = min{j,s} k= min{j,s} k= min{j,s} k= ( k min{i,s} l= l q l q l k,i,ln k k,l,j k =0 ( k l k,i,ln k k,l,j k =0 (LN) ik (x) (L ) kj (x) min{i,s} l= min{i,s} l= l q +n q t =0 l q+n q t =0 2l q +n q t =0 2l q +n q t =0 ( t l k,i,l x k l k,i,l x k ) x k ) x k. l t2,i,ln t t 2,l,k t 2 =0 ( t l t2,i,ln t t 2,l,k t 2 =0 ( t n q n q ) x t ) x t n k,l,j x k n k,l,j x k l q l t 2,j,kx t 2 t 2 =0 l q l t 2,j,kx t 2 t 2 =0 t t 2 l t2,i,ln t t 2 t 3,l,kl t 3,j,k t 2 =0 t 3 =0 ( t t t 2 l t2,i,ln t t 2 t 3,l,kl t 3,j,k t 2 =0 t 3 =0 ) x t ). x t Na osnovu Teoreme 2.6.2, jednačina (2.6.3) je zadovoljena za x C s (M), a proizvoljni (i, j)-ti element inverza A (2) R(L),N (L ) ima oblik ( ) A (2) R(L),N (L ) = ij min{j,s} k= min{i,s} l= γ q t=0 γ q t=0 γ t,i,j,k,l x t γ t,i,j,k,l x t = Σ i,j (x) Σ i,j (x),

53 2.6. Izračunavanje A (2) T,S inverza LDL dekompozicijom 50 gde je polinome brojioca i imenioca moguće odrediti na sledeće načine: γ q Σ i,j (x) = PolinomijalniNZS γ t,i,j,k,l x t Σq k=, min{j, s}, l =, min{i, s} = σ t,i x t, t=0 t=0 γ j s q Σ i,j (x) = Σ i,j,k,l (x) γ t,i,j,k,l x t, k= l= t=0 pri čemu je svaki polinom Σ i,j,k,l (x) odred en kao Σ i,j,k,l (x) = Σ i,j (x)/ γ t,i,j,k,l x t = γ q t=0 Σ q γ q t=0 σ t,i,j,k,l x t. Prema tome, svaki polinom brojioca Σ i,j (x) je oblika (2.6.6), čime je dokaz kompletiran. Dalje navodimo algoritam iz [78 za izračunavanje generalisanih inverza polinomijalne matrice, na osnovu prethodne teoreme. Zasnovan je na LDL dekompoziciji potpunog ranga odgovarajuće polinomijalne matrice, koristeći Algoritam 2.2, i izračunavenje inverza polinomijalne matrice primenom Algoritma 3.2 iz rada [98. Da bi se primenio Algoritam 3.2 iz [98 na racionalnu matricu L AL, nju bi najpre trebalo predstaviti u obliku količnika polinomijalne matrice i polinoma. Algoritam 2.7 Izračunavanje A (2) T,S inverza polinomijalne matrice primenom LDL faktorizacije potpunog ranga proizvoljne Hermitske polinomijalne matrice M. (Algoritam LDLATS2) Ulaz: Polinomijalna matrica A(x) C(x) n n r normalnog ranga r. : Choose arbitrary fixed Hermitska n n polinomijalna matrix M normal rang s r. 2: Izračunati LDL dekompoziciju potpunog ranga matrice M koristeći algoritam 2.2, pri čemu su elementi racionalne matrice L dati u obliku (2.2.2). 3: Izračunati najmanji zajednički sadržalac polinoma imenilaca u racionalnoj matrici L AL, tako da je sledeća jednačina validna: L AL = P (x), gde je p(x) odgovarajući polinom a P (x) je polinomijalna matrica. p(x) 4: Izračunati inverznu matricu P (x) koristeći Algoritam 3.2 iz rada [98. Odrediti inverznu matricu N = (L AL) kao proizvod p(x) P (x), pri čemu su elementi matrice N oblika (2.6.5). 5: Uvesti smene γ q = 2l q + n q, γ q = 2l q + n q, i za i, j =, n izvršiti Korak 5. Korak : Za k =, min{j, s}, l =, min{i, s} izvršiti sledeća izračunavanja: γ t,i,j,k,l = γ t,i,j,k,l = t t t 2 t 2 =0 t 3 =0 t t t 2 t 2 =0 t 3 =0 l t2,i,ln t t 2 t 3,l,kl t 3,j,k, 0 t γ q, l t2,i,ln t t 2 t 3,l,kl t 3,j,k, 0 t γ q.

54 2.6. Izračunavanje A (2) T,S inverza LDL dekompozicijom 5 5.2: Izračunati polinom imenioca (i, j)-tog elementa inverzne matrice A (2) R(L),N (L ) kao γ q PolinomijalniNZS γ t,i,j,k,l x t k =, min{j, s}, l =, min{i, s}, t=0 i označiti ga sa Σ i,j (x) = Σ q t=0 σ t,i,jx t. 5.3: Za k =, min{j, s}, l =, min{i, s} izračunati polinom Σ i,j (x)/ označiti ga sa Σ i,j,k,l (x) = Σ q γ q t=0 σ t,i,j,k,l x t. γ q t=0 γ t,i,j,k,l x t i 5.4: Izračunati polinom u brojiocu (i, j)-tog elementa matrice A (2) R(L),N (L ) kao Σ i,j (x) = Σ q γ q +γ q t=0 min{j,s} k= min{i,s} l= t t =0 γ t,i,j,k,lσ t t,i,j,k,l x t, 5.5: Izlaz: (i, j)-ti element inverzne matrice A (2) R(L),N (L ) dat u obliku Σ i,j(x)/σ i,j (x) Numerički primeri U sledećih nekoliko primera ćemo opisati naš algoritam i testirati nekoliko implementacija radi upored ivanja vremena izvršavanja na skupovima nasumičnih matrica i test matrica iz [7. Primer Posmatrajmo polinomijalnu matricu A(x) datu u Primeru Kako je A realna simetrična matrica, njen Moore-Penrose-ov inverz se može izračunati primenom Algoritma LDLATS2 za matricu M = A = A. Nakon nekoliko izračunavanja potrebnih u Koraku 5 navedenog algoritma, dobijen je sledeći rezultat: A = A # = +x 9+7x 3+0x 26(+x) 85 83x 2x 2 +x x+2x 2 x x+2x 2 x x 2x 2 +x 3 9+7x 4+36x 2x 2 +3x x+2x 2 2x 3 2+9x 2x 2 +5x x+2x 2 x x 2x 2 +x x+2x 2 x x+2x 2 x 3 3+0x 27 2x+2x 2 2x 3 9 6x+x 2 x 3 7+7x 2x 2 +3x x+2x 2 x x+2x 2 x x+2x 2 x x+2x 2 x 3 26(+x) 2+9x 2x 2 +5x 3 7+7x 2x 2 +3x 3 4 4x+8x x 2x 2 +x x+2x 2 x x+2x 2 x x 2x 2 +x 3 Primer Posmatrajmo simetričnu matricu F 6 generisanu u [7 po promenljivoj x, tj. 6 + x 5 + x 4 + x 3 + x 2 + x + x 5 + x 5 + x 4 + x 3 + x 2 + x + x F 6 = 4 + x 4 + x 4 + x 3 + x 2 + x + x 3 + x 3 + x 3 + x 3 + x 2 + x + x. 2 + x 2 + x 2 + x 2 + x + x x + x + x + x + x x + x.

55 2.6. Izračunavanje A (2) T,S inverza LDL dekompozicijom 52 Sada, da bi odredili Moore-Penrose-ov inverz matrice F 6, posmatrajmo polinomijalnu matricu M = F6 = F 6. Kako je rang matrice F 6 jednak 5, matrice L i D dobijene LDL faktorizacijom matrice F 6 imaju sledeći oblik: x x x 5+x 4+x 4+x L = x 6+x 5+x 3+x 0, D = 4+x x 4+x 3+x 2+x 2+x x x 3+x 6+x 2+x 6+x +x 6+x 3+x 5+x 2+x 5+x +x 5+x 4+x +x 4+x 3+x +x 2 3+x Prema tome, inverzna matrica (L F 6 L) je 5 5 racionalna matrica oblika 2x 4+x x 5+x 2x 57+56x+5x x 4x 2 3+x 0 6+x 36+2x+x 2 30+x+x 2 4+x 4+x 98 40x 4x x+6x x 23x 2 4+3x 5+x 30+x+x x+x x+6x 2 8+6x 0 3+x 4+x x 8+6x x 23x x+6x x+88x 2 9x x+24x 2 +9x x+36x x+36x x+24x 2 +9x x 36x 2 9x x+36x x+36x 2 i najzad, generisan je sledeći Moore-Penrose-ov inverz prateći poslednji korak algoritma LDLATS2: F 6 = (28 9x) 4 (4 + 9x) (4 + 9x) 2 ( 20 9x) Da bismo izračunali Drazinov inverz matrice F 6, indeks k ind(a) treba odrediti. Prema tome, za k = 2 treba odrediti faktorizaciju matrice M = F 2 6, a dobijeni rezultat je jednak Moore-Penrose-ovom inverzu, tj. F D 6 = F 6 = F # 6. Primer Uočimo sada 6 6 matricu A 2 ranga 2 generisanu u [7, datu u polinomijalnom obliku x + 0 x + 9 x + 8 x + 7 x + 6 x + 5 x + 9 x + 8 x + 7 x + 6 x + 5 x + 4 A 2 = x + 8 x + 7 x + 6 x + 5 x + 4 x + 3 x + 7 x + 6 x + 5 x + 4 x + 3 x + 2. x + 6 x + 5 x + 4 x + 3 x + 2 x + x + 5 x + 4 x + 3 x + 2 x + x Primenom Algoritma 2.2, za j = 2 dobijaju se sledeći med u-rezultati:, f 2,2 (x) = f 4,2 (x) = (9 + x)2 0 + x, f (8 + x)(9 + x) 3,2(x) =, 0 + x (7 + x)(9 + x) (6 + x)(9 + x), f 5,2 (x) =, f 6,2 (x) = 0 + x 0 + x (5 + x)(9 + x). 0 + x

56 2.6. Izračunavanje A (2) T,S inverza LDL dekompozicijom 53 Prema tome, imamo sledeće racionalne matrice uključene u LDL dekompoziciju polazne matrice [ 9+x 8+x 7+x 6+x 5+x T [ L = 0+x 0+x 0+x 0+x 0+x 0 + x 0, D = x Primenjujući Algoritam LDLATS2 i rezultate Posledice 2.6.3, dobijeni su sledeći med usobno jednaki uopšteni inverzi: A 2 = A# 2 = AD 47 ( 8 3x) 735 ( 7 9x) 2 x ( 7 9x) 0 9x x 25 9x = (29 + 3x) 80+9x 5+x (52 + 9x) 9(5+x) x x 20 3x 0+9x (29 + 3x) 735 (52 + 9x) 5+x x 9(5+x) (38 + 9x) 5+x 0+9x ( + 3x) 50 3x 5 9x ( 2 x) 5 9x 80 9x ( 73 9x) ( 22 3x) 735 (38 + 9x) 735 ( + 3x) 245 ( 2 x) 735 ( 73 9x) Implementacioni detalji i rezultati testiranja LDLATS2 A_List, W_List : Module N, L, D, i, j, k, l, n, m, r, r2, r3, p, q, f, Num, Den, s MatrixRank W, n, m Dimensions W ; L, D PolynomialLDLDecomposition W ; N ExpandNumerator ExpandDenominator Together Simplify Inverse Transpose L.A.L ; f Num Den Table 0, n, m ; ; For i, i n, i, For j, j m, j, For k, k Min j, s, k, For l, l Min i, s, l, Num k, l 0; Den k, l 0; For r 0, r Max Exponent Numerator L i, l, x, Exponent Denominator L i, l, x Max Exponent Numerator N l, k, x, Exponent Denominator N l, k, x Max Exponent Numerator L j, k, x, Exponent Denominator L j, k, x, r, r p r r2 r2 0 r3 0 q Coefficient Numerator L i, l, x, r2 Coefficient Numerator N l, k, x, r r2 r3 Conjugate Coefficient Numerator L j, k, x, r3 ; r r r2 r2 0 r3 0 Coefficient Denominator L i, l, x, r2 Coefficient Denominator N l, k, x, r r2 r3 Conjugate Coefficient Denominator L j, k, x, r3 ; Num k, l p x ^ r; Den k, l q x ^ r; If Den k, l 0, Num k, l 0; Den k, l ; ; ; ; Min j,s f i, j Together Simplify ; ; Return f ; k Min i,s Num k, l Simplify Den k, l ; l

57 2.6. Izračunavanje A (2) T,S inverza LDL dekompozicijom 54 Gore navodena implementacija je implementacija Algoritma 2.0, nazvanog LDLATS2, u programskom paketu MATHEMATICA. Funkcija LDLATS2 podrazumeva dva parametra: zadatu polinomijalnu matricu A i proizvoljnu fiksiranu matricu W. U zavisnosti od odabira matrice W, dobija se odgovarajući generalisani inverz matrice A. Implementacija Algoritma 2.6 (LDLATS) je krajnje jednostavna, i data je sledećim kodom, pod pretpostavkom da se matrična jednačina (2.6.3) rešava primenom MATHEMATICA funkcije Inverse. ATS2Inverse A_List, W_List : Module N, L, D, L, D PolynomialLDLDecomposition W ; N Inverse Transpose L.A.L Simplify; Return Simplify L.N.Transpose L ; ; Primer Ispitajmo sada efikasnost LDLATS algoritma, upored ujući grupu različitih algoritama za izračunavanje Moore-Penrose-ovog inverza matrice. Sledeće tabela daje srednja vremena izračunavanja dobijenih primenom ovih algoritama na tri skupa Hermitskih test matrica iz [7, posmatrajući parcijalni slučaj x =. Test matrica A 0 A 50 A 00 A 50 S 0 S 50 S 00 S 50 F 0 F 50 F 00 F 50 Partitioning [ Lev.-Faddeev [ PseudoInverse [ Courrieu [ LDLGInverse [ LDLATS Tabela Prosečna vremena izračunavanja (u sekundama) dobijena različitim algoritmima i LDLATS algoritmom. Prva vrsta Tabele 2.6. sadrži nazive test matrica, pri čemu su posmatrane tri grupe matrica iz [7. Vremena dobijena LDLATS algoritmom su navedena u poslednjoj vrsti. Očigledno, ovo nije najefikasniji algoritam za svaki skup numeričkih matrica, ali je u rangu sa algoritmom koji je uveo Courrieu u [6. Dugotrajna vremena izračunavanja su navedena crticama. Primer U sledećim komparativnim eksperimentima, nekoliko nasumičnih Hermitskih polinomijalnih matrica A C(x) n n r različitih veličina i gustina, je posmatrano. Prema tome, najveća sopstvena vrednost test matrice A je označena kao k r, pri čemu je najmanja ne-nula sopstvena vrednost matrice A jednaka (slična testiranja su izvršena u radu [7). Neka od dobijenih vremena su ilustrovana u Tabeli 2.6.2, dajući uvid u efikasnost LDLATS i LDLATS2 algoritama. Očito je LDLATS2 algoritam neznatno efikasniji, s obzirom da je specijalizovan za polinomijalne matrice. n k r LDLATS potp. rang LDLATS rang def LDLATS2 potp. rang LDLATS2 rang def Tabela Prosečna vremena izračunavanja (u sekundama) za nasumično generisane polinomijalne matrice.

58 2.7. Reprezentacije potpunog ranga zasnovane na QR dekompoziciji Reprezentacije potpunog ranga zasnovane na QR dekompoziciji Navedimo najpre osnovne pojmove u vezi QR faktorizacije matrica. Teorema Ako je A R m n r, tada postoji ortogonalna matrica Q R m n i gornja trougaona R R n n, takve da je A = QR. Teorema Ako A = QR predstavlja QR faktorizaciju matrice A C m n r, tada je A = R Q = R (RR ) Q. Reprezentacije Moore Penrose-ovog inverza A zasnovane na QR dekompoziciji matrice A su poznate u literaturi (videti na primer [44, 05). Numeričko testiranje ovih reprezentacija je prezentovano u [44. Numerički metod za izračunavanje najmanjeg kvadrata rešenja A b minimalne norme za linearne jednačine Ax = b, zasnovane na QR faktorizaciji matrice A, je istraženo u [33. Ovaj metod se može upotrebiti za izračunavanje Moore Penrose-ovog inverza A uzimajući sukcesivne vrednosti b = e i, gde je e i i-ti jedinični vektor, za svako i =,..., n. Spoljni uopšteni inverzi definisanog jezgra i slike su veoma važni u teoriji matrica. {2}- inverzi imaju primenu u iterativnim metodima za rešavanje nelinearnih jednačina [3, 57 kao i u statistici [28, 35. Specijalno, spoljni inverzi igraju važnu ulogu kod stabilnih aproksimacija loše uslovljenih problema, kao i u linearnim i nelinearnim problemima sa rang-deficijentnim uopštenim inverzima [56, 5. Sa druge strane, dobro je poznato da se Moore-Penrose-ov inverz i težinski Moore-Penrose-ov inverz A, A M,N, Drazinov i grupni inverz A D, A #, kao i Bott-Duffin-ov inverz A ( ) (L) i uopšteni Bott-Duffin-ov inverz A ( ) (L) mogu predstaviti na jedinstven način, kao uopšteni inverzi A (2) T,S za odgovarajući odabir matrica T i S. Postoji veliki broj full rank reprezentacija spoljnih inverza definisanog ranga kao i za spoljne inverze zadatog jezgra i slike. I ovde ćemo koristiti reprezentaciju iz [70 datu Lemom 2.6. za izvod enje kasnijih rezultata. Reprezentacija A (2) T,S inverza data u Lemi 2.6. je veoma opšt rezultat. Ova reprezentacija je korišćena u istom radu za odred ivanje determinantskih reprezentacija A (2) T,S inverza. Determinanska reprezentacija nije efikasna numerička procedura za izračunavanje uopštenih inverza. Štaviše, autori rada [70 ne razmatraju različite mogućnosti za odgovarajuće faktorizacije potpunog ranga. Ovde navodimo dva cilja koja smo naveli u radu [80. Najpre je izrad en efikasan metod za izračunavanje spoljnih inverza primenom opšte reprezentacije potpunog ranga. Dodatno, opisani su i analogni algoritmi za izračunavanje {2, 4} i {2, 3} inverza, kao dva posebna podskupa skupa spoljnih inverza. Na osnovu poznatih reprezentacija iz radova [3, 64, 70, 82, 90 u radu [80 naveden je sledeći stav sa reprezentacijama (..) (..3). Ove reprezentacije karakterišu klase {2}, {2, 4} i {2, 3} uopštenih inverza zadatog ranga.

59 2.7. Reprezentacije potpunog ranga zasnovane na QR dekompoziciji 56 Stav [80 Neka je A C m n r zadata matrica i neka je 0 < s r. Tada važe sledeće opšte reprezentacije za neke klase uopštenih inverza: (a) A{2} s = {A (2) R(F ),N (G) = F (GAF ) G F C n s, G C s m, rang(gaf )=s}; { } (b) A{2, 4} s = A (2,4) R((GA) ),N (G) = (GA) (GA(GA) ) G G C s m s = { } (GA) G GA C s n s ; { } (c) A{2, 3} s = A (2,3) R(F ),N ((AF ) ) = F ((AF ) AF ) (AF ) F C n s s = { } F (AF ) AF Cs m s ; (d) A{, 2} = A{2} r. U narednom tvrd enju izvedena je reprezentacija spoljnih inverza zadatog ranga, jezgra i slike. Ova reprezentacija je zasnovana na QR dekompoziciji definisanoj u Teoremi 3.3. iz rada [08. Analogna QR dekompozicija za kompleksne matrice je korišćena u [26. Lema [80 Neka je A C m n r zadata matrica. Posmatrajmo proizvoljnu matricu W C n m s, gde je s r. Neka je QR faktorizacija matrice W data u obliku W P = QR, (2.7.) gde je P neka m m permutaciona matrica, Q C n n, Q Q = I n a R Cs n m je gornja trapezoidna matrica. Pretpostavimo da je matrica P odabrana tako da se Q i R mogu predstaviti kao Q = [ [ R R Q Q 2, R = 2 O O = [ R O, (2.7.2) gde Q sadrži prvih s kolona matrice Q a matrica R C s s je nesingularna. Ako matrica A ima {2}-inverz A (2) R(W ),N (W ), tada: (a) R P AQ je invertibilna matrica; (b) A (2) R(W ),N (W ) = Q (R P AQ ) R P ; (c) A (2) R(W ),N (W ) = A(2) R(Q ),N (R P ) ; (d) A (2) R(W ),N (W ) = Q (Q W AQ ) Q W ; (e) A (2) R(W ),N (W ) A{2} s. Dokaz. (a) Na osnovu učinjenih pretpostavki je W = QRP. (2.7.3) Očigledno je netrivijalni deo QR dekompozicije (2.7.), definisan kao W = Q (R P ), (2.7.4) zapravo faktorizacija potpunog ranga matrice W (videti takod e [05). S obzirom da A ima {2}-inverz A (2) R(W ),N (W ), tada na osnovu dela () Leme 2.6. zaključujemo da je R P AQ invertibilna.

60 2.7. Reprezentacije potpunog ranga zasnovane na QR dekompoziciji 57 (b), (c) Na osnovu dela (2) Leme 2.6., nije teško dobiti reprezentaciju A (2) R(W ),N (W ) = Q (R P AQ ) R P spoljašnjeg inverza A (2) R(W ),N (W ) zadatog slike R(W ) = R(Q ) i jezgra N (W ) = N (R P ). (d) Štaviše, na osnovu (2.7.4) imamo R P = Q W i Q (R P AQ ) R P = Q (Q W AQ ) Q W. (e) Ovaj deo tvrd enja sledi iz Stava Koristeći rezultate iz Stava i uzimajući u obzir jednačine (..) (..3), dobijamo sledeće full rank reprezentacije za različite spoljne uopštene inverze: Posledica [80 Za zadatu matricu A C m n r i odabranu matricu W C n m s, s r, sa reprezentacijom potpunog ranga (2.7.4) nastalu iz njene QR dekompozicije (2.7.), sledeća tvrd enja su validna: A (2) R(Q ),N (R P ) = A, W = A ; A M,N, W = A ; A #, W = A; A D, W = A k, k ind(a); A ( ) (L), R(W ) = L, N (W ) = L ; A ( ) (L), R(W ) = S, N (W ) = S (2.7.5) Faktorizacije potpunog ranga W = F G koje zadovoljavaju F F = I se nazivaju ortogonalne [63. Prema tome, full rank reprezentacija (2.7.4) je ortogonalna. U sledećem tvrd enju je pokazano da ortogonalna full rank reprezentacija zasnovana na QR dekompoziciji matrice W daje isti A (2) T,S inverz kao i reprezentacija iz Leme Posledica [80 Neka su zadovoljene pretpostavke Leme i neka je W = F G proizvoljna faktorizacija potpunog ranga matrice W. Tada je zadovoljeno Q (R P AQ ) R P = F (GAF ) G (2.7.6) Dokaz. Na osnovu jedinstvenosti uopštenog inverza zadatog jezgra i slike, primenjujući tvrd enje (b) Leme i Lemu 2.6., tvrd enje (2), zaključujemo čime je dokaz kompletan. Q (R P AQ ) R P = A (2) R(W ),N (W ) = A (2) R(F ),N (G) = F (GAF ) G,

61 2.7. Reprezentacije potpunog ranga zasnovane na QR dekompoziciji 58 U sledećoj lemi iz [80 pokazano je da je reprezentacija spoljnjeg inverza A (2) R(W ),N (W ), definisana u Lemi 2.6., invarijantna u odnosu na izbor faktorizacije potpunog ranga matrice W. U tom smislu je dobijeno uopštenje Posledice Lema [80 Neka su zadovoljene pretpostavke Leme Ako su W = F G i W = F 2 G 2 dve različite faktorizacije potpunog ranga matrice W, tada važi F (G AF ) G = F 2 (G 2 AF 2 ) G 2 = A (2) R(W ),N (W ). Dokaz. Na osnovu Teoreme 2 iz [63, postoji invertibilna s s matrica D takva da je Ova relacija povlači sledeće: F 2 = F D, G 2 = D G. F 2 (G 2 AF 2 ) G 2 = F D ( D G AF D ) D G. Kako su matrice D i G AF invertibilne, važi zakon obrnutog poretka za (D G AF D), tako da je F 2 (G 2 AF 2 ) G 2 = F DD (G AF ) DD G = F (G AF ) G. Iz ovoga sledi dokaz uvedenog tvrd enja. Konačno možemo naći korelaciju izmed u opštih reprezentacija datih u radu [70 i reprezentacije uvedene u Lemi Posledica [80 Neka su zadovoljeni uslovi Leme Neka je W = F G proizvoljna reprezentacija potpunog ranga matrice W koja zadovoljava uslove Leme Ukoliko je (2.7.4) faktorizacija potpunog ranga matrice W, zadovoljena su sledeća tvrd enja: pri čemu je matrica D jednaka D = Q F. Primer Posmatrajmo matricu i odaberimo matrice F = F = Q D, G = D R P, (2.7.7) A = , G = [ (2.7.8). (2.7.9)

62 2.7. Reprezentacije potpunog ranga zasnovane na QR dekompoziciji 59 Pretpostavimo da je matrica W definisana kao W = F G. Matrice Q, R i P koje definišu netrivijalni deo QR dekompozicije (2.7.) matrice W P su date sa {Q, R, P } = [ 0 7, , I Reprezentacije date u tvrd enjima (b) i (c) Leme daju sledeći {2} inverz A: A (2) R(W ),N (W ) = Iako su W = F G i W = Q (R P ) dve različite reprezentacije potpunog ranga matrice W, na osnovu Posledice imamo A (2) R(W ),N (W ) = Q (R P AQ ) R P = F (GAF ) G. Označimo sada sa I(n) složenost algoritma za invertovanje zadate n n matrice (kao u [5). Takod e sa A(n) označićemo složenost dodavanja/oduzimanja dve n n matrice, a sa M(m, n, k) složenost množenja m n matrice n k matricom. Jednostavnija notacija M(n) (uzeta iz [5) se koristi umesto M(n, n, n). Napomena Reprezentacija data u tvrd enju (d) Leme podrazumeva M(s, n, m) operacija za formiranje proizvoda matrica Q W. Sa druge strane, reprezentacija definisana tvrd enjem (b) Leme zahteva M(s, m, m) operacija za formiranje matričnog proizvoda R P. Prema tome, reprezentacija (d) je bolja nego reprezentacija (b) u slučaju kada je n < m. U suprotnom slučaju m < n je reprezentacija (b) pogodnija u odnosu na reprezentaciju (d). Efikasan metod za izračunavanje A (2) R(W ),N (W ) je definisan kao što sledi. Za slučaj m < n, uzevši u obzir složenost matričnog množenja, bolje je rešavati skup jednačina Za slučaj n < m, efikasnije je rešavati sledeći skup jednačina R P AQ X = R P. (2.7.0) Q W AQ X = Q W. (2.7.) Kada se generiše matrica X, neophodno je izračunati proizvod matrica A (2) R(Q ),N (R P ) = A(2) R(Q ),N (Q W ) = Q X. (2.7.2)

63 2.7. Reprezentacije potpunog ranga zasnovane na QR dekompoziciji 60 Posledica [80 Neka je A C m n r zadata matrica, s r zadat ceo broj i neka su matrice F, G odabrane kao u Stava (a) Ako je (2.7.4) faktorizacija potpunog ranga matrice W = (GA) G Cs n m tada važi sledeće: A (2,4) R(Q ),N (R P ) = Q (R P AQ ) R P = (GA) G A{2, 4} s. (2.7.3) (b) Ako je (2.7.4) faktorizacija potpunog ranga matrice W = F (AF ) C n m s važi sledeće: tada A (2,3) R(Q ),N (R P ) = Q (R P AQ ) R P = F (AF ) A{2, 3} s. (2.7.4) Dokaz. (a) U ovom slučaju, na osnovu Posledice i Stava imamo Q (R P AQ ) R P = (GA) (GA(GA) ) G = (GA) G. (b) Ovaj deo dokaza se proverava na sličan način. Primer Neka je data matrica A definisana u (2.7.8) i odaberimo matrice F, G definisane u (2.7.9). (i) Reprezentacija potpunog ranga (2.7.4) matrice W = (GA) G je data sa {Q, R, P } = [ ,, I Reprezentacija (b) iz Leme daje sledeći {2, 4} inverz od A: A (2,4) R(Q ),N (R P ) = Q (R P AQ ) R P 7 7 = = (GA) G = A (2,4) R((GA) ),N (G). (ii) Odaberimo matricu W kao W = F (AF ). Reprezentacija potpunog ranga (2.7.4) matrice W je data sa {Q, R, P } , , I

64 2.7. Reprezentacije potpunog ranga zasnovane na QR dekompoziciji 6 Reprezentacija iz Leme 2.7.4, tvrd enja (b) dovodi do sledećeg {2, 3} inverza matrice A: A (2,3) R(Q ),N (R P ) = Q (R P AQ ) R P = = F (AF ) = A R(F ),N ((AF ) ) U nastavku navodimo algoritam za izračunavanje A (2) T,S inverza date matrice A. Algoritam 2.8 Izračunavanje A (2) T,S inverza matrice A koristeći QR dekompoziciju matrice W. (algoritam QRATS2) Ulaz: Matrica A dimenzija m n i ranga r. : Odabrati proizvoljnu fiksiranu n m matricu W ranga s r. 2: Izračunati QR dekompoziciju matrice W oblika (2.7.). 3: Odrediti dekompoziciju potpunog ranga matrice W kao u (2.7.4). 4: Rešiti matričnu jednačinu oblika (2.7.0) za slučaj m < n ili matričnu jednačine (2.7.) za slučaj n < m. 5: Odrediti izlazno rešenje A (2) R(Q ),N (R P ) = A(2) R(Q ),N (Q W ) kao u (2.7.2) Složenost i implementacija algoritama QRATS2 i qrginv Algoritam QRAT S2 koristi QR dekompoziciju matrice W oblika (2.7.4) i onda izračunava A (2) T,S inverz na osnovu tvrd enja (b) u Lemi Prema tome, njegova složenost izračunavanja je jednaka E(QRAT S2(W )) = M(s, m, m)+m(s, m, n)+m(s, n, s)+i(s)+m(n, s, s)+m(n, s, m). (2.7.5) U Tabeli 2.7. su opisane složenosti algrotima za izračunavanje spoljnog inverza X = Q (R P AQ ) R P. Izraz Složenost Λ = R P M(s, m, m) Λ 2 = Λ A M(s, m, m) + M(s, m, n) Λ 3 = Λ 2 Q M(s, m, m) + M(s, m, n) + M(s, n, s) Λ 4 = (Λ 3 ) M(s, m, m) + M(s, m, n) + M(s, n, s) + I(s) Λ 5 = Q Λ 4 M(s, m, m) + M(s, m, n) + M(s, n, s) + I(s) + M(n, s, s) X = Λ 5 Λ M(s, m, m) + M(s, m, n) + M(s, n, s) + I(s) + M(n, s, s) + M(n, s, m) Tabela Složenost izračunavanja X = Q (R P AQ ) R P. Dobro je poznato da je inverzija matrica jednake težine kao i matrično množenje.

65 2.7. Reprezentacije potpunog ranga zasnovane na QR dekompoziciji 62 Tačnije, običan inverz realne nesingularne n n matrice se može izračunati u vremenu I(n) = O(M(n)) [5. Notacija O(f(n)) je objašnjena u [5, na primer. U našoj implementaciji koristimo uobičajene metode za množenje matrica, tako da je M(m, n, k) = m n k. Ovo povlači, na osnovu (2.7.5) E(QRAT S2(W )) = 2s 2 n + sm(m + 2n) + I(s) 2s 2 n + sm(m + 2n) + s 3. (2.7.6) Za poseban slučaj W = A, algoritam QRAT S2 uzima QR dekompoziciju matrice A oblika (2.7.4) i izračunava A. Sa druge strane, algoritam qrginv počinje sa QR dekompozicijom matrice A oblika i izračunava Moore Penrose-ov inverz Njegova složenost izračunavanja je data sa A = Q A R A P A A = P A R A Q A. E(qrginv) = pinv(r, n) + M(n, n, r) + M(n, r, m) = rn(m + n) + pinv(r, n), (2.7.7) gde pinv(r, n) označava složenost izračunavanja pravougaone r n realne matrice. Za poseban slučaj W = A algoritma QRAT S2, njegova složenost je E(QRAT S2(A )) = r 2 (m + 2n) + 2rmn + pinv(r, r). (2.7.8) Implementacija Algoritma QRAT S2 u Matlab okruženu je ovde navedena u celosti. Pritom se sistem matričnih jednačina (2.7.0) rešava korišćenjem Matlab backslash operatora. Svi rezultati su generisani za slučaj m < n. Slični rezultati se mogu dobiti i za slučaj m > n pod blagom modifikacijom navedenog Matlab koda. function ATS2 =ATS2(A) % Sinopsis: % ATS2 = ATS2(A) % Ulazni podaci: % A = inicijalna ulazna matrica. % U = A ili A ili A^k itd. radi dobijanja A^+ ili A^# ili A^D itd., respektivno. % Izlaz: % ATS2 = ATS2 koriscenjem QR faktorizacije matrice U. % Slucaj za Moore-Penrose-ov inverz A^+ U=A ; [Q,R,P = qr(u); r = rang(u); Q = Q(:,:r); R = R(:r,:); G = R*P ; X = (G*A*Q)\(G); ATS2 = Q*X;

66 2.7. Reprezentacije potpunog ranga zasnovane na QR dekompoziciji 63 Indeks zadate matrice se može izračunati primenom sledeće Matlab funkcije: function [k,r,a = index(a) end % Sinopsis: % [k,r,a = index(a) % Ulazni podaci: % A = inicijalna ulazna matrica. % Izlaz: % k = indeks matrice A % r = rang matrice A^k % A = A^k k = 0; n = length(a); r= n; A0 = A; r = rang(a); A = zeros(n); while r~=r r=r; A = A; A = A * A0; r = rang(a); k = k+; Od QRATS2 do qrginv i obratno Pretpostavimo da je AP = [ QR data QR dekompozicija definisana matricom Q sa ortonormalnim kolonama i R =, gde je R R 0 potpunog ranga vrsta (videti [08, Teoremu 3.3.). Tada je AP = Q R, nakon odsecanja vrsta i kolona i uzevši u obzir rang od A. Na osnovu [44 (komentar nakon Teoreme 4), zadovoljeno je A = P R Q = P [ R = P R Q. 0 Q (2.7.9) U radu [80 definisane su dve reprezentacije Moore Penrose-ovog inverza. Prva reprezentacija je definisana kao zaseban slučaj W = A algoritma QRATS2. Preciznije, ona kreće od QR dekompozicije A = Q (R P ) matrice A a onda se izračunava Moore Penrose-ov inverz na osnovu dela (b) Leme Druga reprezentacija Moore Penrose-ovog inverza je zasnovana na dekompoziciji matrice A, dobijene iz QR dekompozicije matrice A. Ako je AP = Q R, Q Q = I tada A = (P R )Q is a faktorizacija potpunog ranga A. Iz Leme dobijamo QRAT S2(A ) = P R (Q AP R ) Q. (2.7.20) Nije teško proveriti da reprezentacija (2.7.20) proizvodi isti rezultat kao i reprezentacija

67 2.7. Reprezentacije potpunog ranga zasnovane na QR dekompoziciji 64 (2.7.9). Zaista, primenjujući QRAT S2(A ) = P R (Q AP R ) Q = P R (Q Q R P P R ) Q = P R (R R ) Q i uzevši u obzir da je matrica R potpunog ranga vrsta, sledi da je QRAT S2(A ) = P R Q, što je upravo jednako sa (2.7.9) Numerički eksperimenti za Moore-Penrose-ov inverz U ovoj sekciji navodimo rezultate korišćenja jezika Matlab za izračunavanja, kao i za testiranje tačnosti dobijenoh rezultata. Svi numerički zadaci su izvršeni koristeći Matlab R2009a okruženje na Intel(R) Pentium(R) Dual CPU T GHz.47 GHz 32-bit sistemu sa 2 GB RAM memorije na Windows Vista Home Premium Operating sistemu. U radu [80 izvedeni su numerički eksperimenti koji upored uju algoritam QRAT S2 sa algoritmom qrginv iz [44 i sa iterativnim metodima prezentovanim od strane Wei i Wu u [0, za izračunavanje Moore-Penrose-ovog inverza singularne matrice A. U radu autora Wei-Wu, [0, nekoliko iterativnih metoda je navedeno, a nakon testiranja sa različitim skupovima matrica zaključeno je da je najpouzdanija jednačina (3.8) u [0 sa stanovišta tačnosti i vremena izvršenja. Prema tome, samo je ovaj metod iz [0 uključen u našim numeričkim testovima. Testiranje algoritama QRAT S2, qrginv i Wei-Wu metoda je izvršeno odvojeno za nasumične singularne matrice i za singularne test matrice sa velikim kondicionim brojem iz Matrix Computation Toolbox (see [32). Takod e smo testirali predloženi metod na retkim matricama iz Matrix Market kolekcije (videti [53), i pritom su dobijeni vrlo efikasno tačni rezultati u svim slučajevima. Konačno, navedeni su numerički rezultati za slučaj Drazinovog inverza tj. za slučaj W = A k, gde je k indeks matrice A. Primetimo da znak označava duga procesorska vremena izvršavanja algoritma. Tolerancija za iterativni metod (3.8) iz [09 je postavljena na 0 6. Implementacija QRAT S2 metoda u Matlab-u, kao i Matlab funkcija za izračunavanje matričnog indeksa su navedene u dodatku. Rezultati za tačnost su odred eni primenom sledeće četiri relacije koje karakterišu Moore Penrose inverz: AA A = A, A AA = A, (AA ) = AA, (A A) = A A. Slučajno generisane singularne test matrice Upored ivane su performanse predloženog metoda QRAT S2 sa algoritmom qrginv iz [44 i metodom navedenog jednačinom (3.8) u [09, na skupu nasumičnih singularnih matrica ranga 2 n, n = 8, 9, 0,. U Tabeli 2.7.2, tačnost metoda je testirana na osnovu greške 2-norme. Kao i ranije, rang (resp. Cond) kolona sadrži rang (resp. kondicioni broj) svake testirane matrice. Evidentno je da predloženi metod QRAT S2 daje odličnu aproksimaciju u svakom izvedenom testu. Uvedeni metod izvodi brza i tačna izračunavanja, pa prema tome može biti dobra alternativa za izračunavanje Moore-Penrose-ovog inverza.

68 2.7. Reprezentacije potpunog ranga zasnovane na QR dekompoziciji 65 rang\kond. Metod Vreme AA A A 2 A AA A 2 AA (AA ) 2 A A (A A) \.4e+04 QRATS e e e e-2 qrginv e e e e-3 Wei,Wu e e e-3.94 e- 2 9 \.29e+04 QRATS e e e e- qrginv e e e e-3 Wei,Wu e e e e \6.3e+05 QRATS e-.035 e e e- qrginv e e e e- Wei,Wu e e e e-09 2 \8.88e+04 QRATS e e e e- qrginv e e e e-2 Wei,Wu - Tabela Greška i vreme izračunavanja; Nasumične singularne matrice. Singularne test matrice iz Matrix Computation Toolbox-a Kondicioni brojevi ovih matrica su reda koji je u opsegu od 0 5 do Radi uporednih rezultata smo takod e primenili uvedeni QRAT S2 algoritam, qrginv funkciju i Wei Wu metod. Greške su navedene u Tabelama Metod Vreme AA A A 2 A AA A 2 AA (AA ) 2 A A (A A) 2 QRATS e e e e-2 qrginv e e e e-3 Wei,Wu e e e e-4 Tabela Greška i vreme izračunavanja za chow (rang=99, Cond= e+35). Metod Vreme AA A A 2 A AA A 2 AA (AA ) 2 A A (A A) 2 QRATS e e e e-5 qrginv e e e e-5 Wei,Wu e e e e-5 Tabela Greška i vreme izračunavanja za cycol (rang=50, Cond=2.05 e+48) Metod Vreme AA A A 2 A AA A 2 AA (AA ) 2 A A (A A) 2 QRATS e e e e-3 qrginv e e e e-4 Wei,Wu e e e e-5 Tabela Greška i vreme izračunavanja za gearmat (rang=99, Cond=3.504 e+7)

69 2.7. Reprezentacije potpunog ranga zasnovane na QR dekompoziciji 66 Metod Vreme AA A A 2 A AA A 2 AA (AA ) 2 A A (A A) 2 QRATS e e e e-4 qrginv e e e-5 Wei,Wu e e e e-4 Tabela Greška i vreme izračunavanja za kahan (rang=99, Cond= e+24) Metod Vreme AA A A 2 A AA A 2 AA (AA ) 2 A A (A A) 2 QRATS e e e qrginv e e e- Wei,Wu - Tabela Greška i vreme izračunavanja za lotkin (rang=9, Cond= e+2) Metod Vreme AA A A 2 A AA A 2 AA (AA ) 2 A A (A A) 2 QRATS e e e qrginv e e e- Wei,Wu - Tabela Greška i vreme izračunavanja za prolate (rang=7, Cond= e+7) Metod Vreme AA A A 2 A AA A 2 AA (AA ) 2 A A (A A) 2 QRATS e e e qrginv e e e-2 Wei,Wu - Tabela Greška i vreme izračunavanja za hilb (rang=20, Cond=.764 e+9) Metod Vreme AA A A 2 A AA A 2 AA (AA ) 2 A A (A A) 2 QRATS e e e e-3 qrginv e e e e-4 Wei,Wu e e e e-7 Tabela Greška i vreme izračunavanja za magic (rang=3, Cond= e+9) Metod Vreme AA A A 2 A AA A 2 AA (AA ) 2 A A (A A) 2 QRATS e e e qrginv e e e- Wei,Wu - Tabela Greška i vreme izračunavanja za vand (rang=34, Cond=.6262 e+20)

70 2.7. Reprezentacije potpunog ranga zasnovane na QR dekompoziciji 67 Interesantno je posmatrati komplementarnost algoritama QRAT S2 i qrginv u Tabelama Preciznije, rezultati iz primene algoritma QRAT S2 predstavljaju {, 2, 3} inverze dok qrginv algoritam daje rezultate koji predstavljaju {, 2, 4} inverze. Algoritam QRAT S2 koristi QR dekompoziciju matrice A dok algoritam qrginv počinje QR dekompozicije matrice A. Ova činjenica može biti razlog za razlike u konvergenciji algoritma QRAT S2 za slučaj W = A i algoritam qrginv. Ako se koristi jednačina (2.7.20), tada nema komplementarnih rezultata u navedenim tabelama Numerički eksperimenti za Drazinov inverz U radu [80 dati su i numerički eksperimenti kod izračunavanja Drazinovog inverza A D kvadratne matrice A, primenom navedenog algoritma za odred ivanje A (2) T,S inverza. U slučaju Drazinovog inverza, uzimamo da je W = A k, gde je k indeks matrice A. Radi provere tačnosti rezultata, koristili smo sledeće tri relacije iz definicije Drazinovog inverza: A D A = AA D, A D AA D = A D, A k+ A D = A k. Najpre navodimo primer za izračunavanje Drazinovog inverza kvadratne matrice malih dimenzija, koristeći metod QRAT S2. Primer Neka je data singularna matrica A = 0. 0 Tada, indeks matrice A je jednak ind(a) = 2 i W = A 2 = QR dekompozicija potpunog ranga matrice W je odred ena sa W = Q R P = 0 [ Prema tome, na osnovu dela pod (b) Leme i Posledice 2.7.5, imamo 0 0 A D = Q (R P AQ ) R P 2 = U nastavku navodimo dve tabele kojim upored ujemo greške i vremena izračunavanja navedenog metoda sa metodom prezentovanim u [09. Ponovo koristimo skup od osam test matrica dimenzija dobijenih funkcijom matrix u Matrix Computation

71 2.7. Reprezentacije potpunog ranga zasnovane na QR dekompoziciji 68 Matrica Indeks Rang Metod Vreme AA D A D A 2 A D AA D A D 2 A k+ A D A k 2 CYCOL 50 QRATS e e e-2 Wei,Wu GEARMAT 2 99 QRATS e e e-3 Wei,Wu KAHAN QRATS e e e-0 Wei,Wu LOTKIN 5 9 QRATS e e e-06 Wei,Wu PROLATE 5 7 QRATS e e e-08 Wei,Wu HILB 7 20 QRATS e e e-08 Wei,Wu MAGIC 3 QRATS e e e-07 Wei,Wu e e e+06 VAND 5 34 QRATS e e-05 Wei,Wu Tabela Greške i vremena izračunavanja Drazinovog inverza. Toolbox (Tabela 2.7.2). Koristili smo i niz nasumičnih singularnih matrica rangova 2 n, n = 8, 9, 0, (Tabela 2.7.3). Kao što je očigledno iz Tabele 2.7.2, iterativni metod Wei-Wu ([09) ne konvergira u većini slučajeva. Prema tome, on ne daje numerički tačan odgovor. Nasuprot tome, A (2) T,S algoritam daje veoma tačne rezultate u većini slučaja i veoma je efikasan. Wei-Wu iterativni metod ne daje rezultate za neko razumljivo vreme za slučaj slučajno generisanih singularnih matrica, tako da je taj metod isključen iz pored enja iz Tabele Index rang Vreme AA D A D A 2 A D AA D A D 2 A k+ A D A k e e e e-.430 e e e e e e e e-09 Tabela Greška i vreme izračunavanja; nasumične singularne matrice. Osnovna motivacija rada [8 je reprezentacija Moore Penrose-ovog inverza A iz [44. Metod uveden u [44 je dobijen iz QR dekompozicije matrice A. U radu [8 dobijene su dve ekstenzije ovog algoritma. Prva generalizacija je u tome što je naš algoritam primenljiv za izračunavanje šire klase A (2) T,S inverza, a ne samo za izračunavanje Moore Penrose inverza.

72 2.8. Simboličko izračunavanje A (2) T,S inverza QDR faktorizacijom 69 inverza QDR fak- 2.8 Simboličko izračunavanje A (2) T,S torizacijom Umesto QR dekompozicije matrice A korišćena je QDR dekompozicija proizvoljno odabrane matrice W i na taj način dobijene faktorizacije potpunog ranga. Odabir QDR dekompozicije je kritičan u eliminaciji pojavljivanja kvadratnih korena u elementima iz QR dekompozicije. Pritom, kvadratni koreni nekih matričnih polinoma se često javljaju pri generisanju QR faktorizacije. Generisanje izraza koji sadrže kvadratne korene se može izbeći korišćenjem QDR dekompozicije. Ova tehnika je od esencijalne važnosti pri simboličkom polinomijalnom izračunavanju. Slično kao u radu [77, motivacija u radu [8 bila je iskoristiti prednosti bez-korene dekompozicije u simboličkim izračunavanjima i proširiti Algoritam QRAT S2 na skup polinomijalnih matrica. Postavlja se pitanje: koji je glavni razlog za zamenu LDL sa QR dekompozicijom? Glavna nepogodnost LDL dekompozicije je što je ona primenljiva samo na simetrične pozitivno definitne matrice. Ova prepreka postavlja granicu rezultata iz [77 na skup {, 2, 3}, {, 2, 4} inverza i na Moore Penrose-ov inverz. Reprezentacije navedene u radu [8 su primenljive na širi skup spoljnih inverza definisane jezgra i slike. Iz ovih razloga, umesto LDL dekompozicije (korišćene u [77), koristićemo QDR faktorizaciju racionalne matrice za izbegavanje dobijanja elemenata sa korenima. Evidentno, dobijeni algoritam je vrlo pogodan za implementaciju u proceduralnim programskim jezicima, zbog bez-korenih elemenata matrica i osnovnog metoda simplifikacije koji podrazumeva izračunavanje nzd-a dva polinoma. Osnovna QDR faktorizacija matrice A generiše tri matrice: matricu Q ranga jednakog rangu od A, dijagonalnu matricu D i matricu R, u nekoliko etapa. Ovde je predložen algoritam koji smo uveli u [8 za direktno izračunavanje QDR dekompozicije potpunog ranga, gde je matrica Q formirana bez nula kolona, R je generisana bez nula vrsta, a dijagonalna matrica D je bez nula vrsta i nula kolona. QDR dekompozicija proizvodi jednu dodatnu dijagonalnu matricu u odnosu na QR dekompoziciju, ali vraća kao rezultat matrice sa elementima bez korena, pogodnije za dalje simboličko izračunavanje. Algoritam 2.9 QDR dekompozicija potpunog ranga racionalne matrice A Ulaz: Racionalna matrica A C(x) s n m. : Konstruisati tri nula matrice: Q C(x) n s, D C(x) s s, R C(x) s m. 2: Za i =, s ponavljati korake 2.: Postaviti matricu B na vrednost A QDR. 2.2: Odrediti prvu sledeću ne-nula kolonu matrice B i označiti je sa c. 2.3: Postaviti i-tu kolonu matrice Q na vrednosti kolone c. 2.4: Za j = i, m postaviti R i,j na vrednost unutrašnjeg proizvoda vektora c i j-te kolone od B. 2.5: Postaviti element D i,i na recipročnu vrednost kvadrata 2-norme kolone c. Primetimo da je matrična jednačina A = QDR + B rešavana u svakom koraku algoritma, gde se počinje od B = A. Na kraju je B = 0 i A = QDR. Takod e je matrica R

73 2.8. Simboličko izračunavanje A (2) T,S inverza QDR faktorizacijom 70 gornja trougaona, a kolone matrice Q sadrže orthogonalnu bazu prostora kolona matrice A. Implementacija ovog algoritma u MATHEMATICA je navedena u dodatku. U mnogo slučajeva, Gram-Schmidt-ov algoritam sa pivotiranjem kolona je neophodan. U svakom koraku kolona matrice B sa najvećom 2-normom je odabrana, umesto odabira prve ne-nula kolone. Tada je matrica R sgornja trougaona matrica sa permutovanim kolonama, dok kolone matrice Q ponovo sadrže again contain orthogonalnu bazu prostora kolona matrice A. Primer Posmatrajmo sledeće dve matrice: 3 2 [ F = , G = Odaberimo matricu W kao proizvod ove dve matrice W = F G = QDR dekompozicija matrice W je odred ena sa = [ Primer Neka su date sledeće polinomijalne matrice: 3 4x 2 2 7x 4 W = 9x 3 + 3x x + 9x 2 9x 2 5. [ Primenivši Algoritam 2.9 dobijamo sledeće matrice iz QDR dekompozicije matrice W : Q = 3 4x 2 x(8+70x 694x x 3 747x x 5 ) 9+09x 2 36x 3 +97x 4 9x 3 + 3x 2 + 9x ( 6+48x 8x 2 7x 3 +8x 4 ) x( 2 + 9x) 9+09x 2 36x 3 +97x 4 x( 2+23x 448x 2 +09x 3 9x 4 +44x 5 ) 9+09x 2 36x 3 +97x 4 3x(90 27x+53x x 3 388x x x x 7 ) 8+324x 704x x x 4 880x x 6 486x x 8 x ( x+363x x x x x x 7 ) 8+324x 704x x x 4 880x x 6 486x x 8 3( x+675x x x 4 292x x 6 60x 7 +92x 8 ) 8+324x 704x x x 4 880x x 6 486x x 8,.

74 2.8. Simboličko izračunavanje A (2) T,S R = D = inverza QDR faktorizacijom x 2 36x 3 +97x x 2 36x 3 +97x x 704x x x 4 880x x 6 486x x x 704x x x 4 880x x 6 486x x 8 (45+94x 3x 2 5x x 4 ) x 2 36x x x 8x 2 7x 3 + 8x x 704x2 2956x x 4 880x x 6 486x x x 2 36x 3 +97x x 6x x+35x2 +76x x x x x 2 36x 3 +97x 4 (45+94x 3x 2 5x x 4 ) x 704x x x 4 880x x 6 486x x 8 Mnogo je poznatih reprezentacija za različite uopštene inverze definisanog ranga kao i za uopštene inverze definisanog jezgra i slike. Najkorisnija reprezentacija za naše istraživanje je sledeća full rank reprezentacija spoljnih inverza unapred navedenog jezgra i slike iz [70. U specijalnom slučaju, reprezentacija potpunog ranga Drazinovog inverza A D, zasnovana na proizvoljnoj dekompoziciji potpunog ranga A l, l ind(a), je uvedena u radu [89. Alternativni eksplicitni izraz za uopšteni inverz A (2) T,S, koji je zasnovan na korišćenju grupnog inverza, je uveden u radu [0. Karakterizacija, teorema o reprezentaciji i izraz ograničenja za A (2) T,S su dobijeni u [0 primenom ove reprezentacije. Autori rada [2 su izveli osnovnu reprezentaciju i uopštenu teoremu reprezentacije spoljašnjeg inverza A (2) T,S. Na osnovu ove reprezentacija, nekoliko specifiňih reprezentacija i iterativnih metoda za izračunavanje A (2) T,S., je prezentovano u radu [2. Sledeće tvrd enje odred uje reprezentaciju potpunog ranga spoljnih inverza sa zadatim opsegom, nula prostorom i rangom, iste opšte forme kao i u Stavu Tvrd enje je validno za racionalne matrice i zasnovano je na faktorizaciji potpunog ranga matrice W dobijenu iz QDR dekompozicije definisane u Algoritmu 2.9. Lema Neka je A C(x) m n r data matrica. Za proizvoljnu matricu W C(x) n m s, s r, posmatrajmo njenu QDR dekompoziciju dobijenu Algoritmom 2.9, oblika W = QDR, gde je Q C(x) n s s, D C(x) s s s je dijagonalna matrica a R C(x) s m s trougaona matrica. Neka je zadovoljen uslov je gornja rang(w ) = rang(raq) = s. (2.8.) Definišimo skup C s (W ) = {x c C rang(w )=rank(w (x c ))=rank(r(x c )A(x c )Q(x c ))=s}. (2.8.2)

75 2.8. Simboličko izračunavanje A (2) T,S inverza QDR faktorizacijom 72 Tada je sledeće tvrd enje zadovoljeno na skupu C s (W ): Dokaz. Očigledno, faktorizacija A (2) R(Q),N (R) = Q(RAQ) R = A (2) R(W ),N (W ). (2.8.3) W = QDR = (QD)(R), (2.8.4) predstavlja faktorizaciju potpunog ranga matrice W na skupu C s (W ). S obzirom da su D i RAQ invertibilne matrice, one zadovoljavaju svojstvo obrnutog poretka, tj. (RAQD) = D (RAQ). Sada, prvi identitet u (2.8.3) sledi iz Stava 2.6. i identiteta Evidentno je sada zadovoljeno na skupu C s (W ) iz (2.8.4). QD(RAQD) R = Q(RAQ) R = A (2) R(Q),N (R). A (2) R(W ),N (W ) = A(2) R(Q),N (R) Napomena Primetimo da za datu matricu A C(x) r m n proizvoljno odabrana matrica W C(x) n m s, s r, proizvodi odgovarajući spoljni inverz zadatog jezgra i slike oblika (2.8.3), gde je (2.8.4) QDR dekompozicija matrice W. Spoljni inverz predstavlja funkciju na skupu C(x). Elementi spoljnašnjeg inverza, označeni A (2) R(Q),N (R) sa g ij, su takod e funkcije na skupu C(x). Tada je domen funkcije A (2) R(Q),N (R) C s (W ) Dom(g ij ), gde Dom(g ij ) označava domen funkcije g ij. i,j odred en kao Uzevši u obzir reprezentacije (..) (..3) za glavne spoljne inverze, dobijamo sledeće reprezentacije. Posledica Za datu matricu A C(x) r m n i proizvoljno odabranu matricu W sa QDR dekompozicijom definisanom u (2.8.4) Sledeća tvrd enja su validna na C(x) n m s skupu C s (W ) i,j Dom(g ij ) : (a) A (2) R(Q),N (R) = A za slučaj W = A ; (b) A (2) R(Q),N (R) = A M,N za slučaj W = A ; (c) A (2) R(Q),N (R) = A# za slučaj W = A; (d) A (2) R(Q),N (R) = AD za slučaj W = A k, k ind(a); (e) A (2) R(Q),N (R) = A( ) (L) za slučaj R(W ) = L, N (W ) = L ; (f) A (2) R(Q),N (R) = A( ) (L) za slučaj R(W ) = S, N (W ) = S. (2.8.5)

76 2.8. Simboličko izračunavanje A (2) T,S inverza QDR faktorizacijom 73 Numerički vrlo stavliniji pristup za izračunavanje (2.8.3) je rešavanje skupa jednačina i potom izračunavanje proizvoda matrica RAQX = R (2.8.6) A (2) R(Q),N (R) = QX. (2.8.7) Algoritam 2.0 Izračunavanje inverzne matrice A (2) T,S korišćenjem QDR faktorizacije (Algoritam QDRATS2) Ulaz: Racionalna matrica A(x) C(x) r m n. : Odabrati proizvoljnu fiksiranu n m matricu W normalnog ranga s r. 2: Generisati QDR dekompoziciju potpunog ranga matrice W primenom Algoritma 2.9. Transformisati racionalne matrice Q, R u opšti oblik (2.7.). 3: Transformisati racionalnu matricu M = RAQ u oblik: M = p(x) M, gde je p(x) odgovarajući polinom a M polinomijalna matrica. 4: Naći inverz matrice M koristeći Algoritam 3.2 iz [98. Generisati inverz matrice N = M = p(x)m, i transformisati ga u oblik: N ij (x) = n q n q n k,i,j x k n k,i,j x k. 5: Uvesti smene α q = q q + n q + r q, α q = q q + n q + r q, i za i =, n, j =, m ponoviti Korake : Za k =, min{j, s}, l =, s izvršiti sledeća izračunavanja: α t,i,j,k,l = α t,i,j,k,l = t t t 2 t 2 =0 t 3 =0 t t t 2 t 2 =0 t 3 =0 q t2,i,ln t t 2 t 3,l,kr t3,k,j, 0 t α q, q t2,i,ln t t 2 t 3,l,kr t3,k,j, 0 t α q. 5.2: Odrediti polinom imenioca (i, j)-tog elementa A (2) R(Q),N (R) kao α q PolinomijalniNZS α t,i,j,k,l x t k =, min{j, s}, l =, s, (2.8.8) t=0 i označiti ga sa Γ ij (x) = Γ q t=0 γ t,i,jx t.

77 2.8. Simboličko izračunavanje A (2) T,S inverza QDR faktorizacijom : Za svako k =, min{j, s}, l =, s izračunati polinom Γ ij (x)/ označiti ga kao Γ i,j,k,l (x) = Γ q α q t=0 γ t,i,j,k,l x t. 5.4: Izračunati polinom brojioca (i, j)-tog elementa inverza A (2) R(Q),N (R) način Γ ij (x) = Γ q α q+α q t=0 min{j,s} k= s t l= t =0 α t,i,j,k,lγ t t,i,j,k,l x t, α q t=0 α t,i,j,k,l x t i na sledeći 5.5: Postaviti (i, j)-ti element matrice A (2) R(Q),N (R) na vrednost Γ ij(x)/γ ij (x) Eksperimenti sa polinomijalnim i racionalnim matricama U sledećih nekoliko primera ćemo ilustrovati naš algoritam i onda testirate neke implementacije radi upored ivanja vremena izvršavanje na različitim test matricama. Primer Posmatrajmo sledeće polinomijalne matrice A =, W = 4x x 4 9x 3x x 2 2x 9x 2 5 4x x 4 3 7x 4 5 9x 3x x x 8 0 Matrica W je odabrana sasvim proizvoljno, ali sa odgovarajućim dimenzijama. Imamo da je r = rang(a) = 3, s = rang(w ) = 2. Algoritam 2.9 daje sledeću QDR faktorizaciju od W : Q = R = 3 9x(8x 2 ) 9x (8x 2 ) 9x 2 +5 [ 9x, D = 0 8x x , 6 8x (8x 2 45( 8x ) 2 ) 2 9x 2 +5 [ 9 (9x 2 + 5) 3x (44 9x 2 ) 60 45x 75 9x(x + 5) 0 45( 8x 2 ) 2 9x (2x+5)(8x 2 ) 9x (6x+5)(8x 2 ) 9x 2 +5 Izraz X = QDRAlgorithm[A,W dovodi do sledećeg spoljašnjeg inverza matrice A: 3(72x 4 +08x 3 48x 2 3x+9) 636x x x x 3 98x x+352 X = 3(72x 3 24x 2 +39x+35) 22x 4 +99x x 2 59x x x x x 3 98x x+352 6(72x 4 +08x 3 48x 2 3x+9) 636x x x x 3 98x x x 4 875x x 2 +98x x x x x 3 98x x x x x x 3 98x x+352 2(08x 4 875x x 2 +98x 48) 636x x x x 3 98x x (72x 4 +08x 3 48x 2 3x+9) 636x x x x 3 98x x+352 3(72x 3 24x 2 +39x+35) 636x x x x 3 98x x+352 6(72x 4 +08x 3 48x 2 3x+9) 636x x x x 3 98x x x 4 875x x 2 +98x x x x x 3 98x x x 4 +99x x 2 59x x x x x 3 98x x+352 2(08x 4 875x x 2 +98x 48) 636x x x x 3 98x x+352.

78 2.8. Simboličko izračunavanje A (2) T,S inverza QDR faktorizacijom 75 Na osnovu Leme 2.8. dobijamo X = A (2) R(Q),N (R) = A(2) R(W ),N (W ). Koristeći MATHEMATICA funkciju NullSpace dobijamo [ 8x 2 35x 5 6x+5 0 9(8x N (R) = 2 ) 3(8x 2 ) 2x2 35x 2 2x (8x 2 ) 3(8x 2 ) Takod e, jednostavno se proverava da je { 9x (8x 2 ) z R(Q) = + 3y, 5 (8x2 ) z 9x x x y, 8x (8x2 ) z 9x } 6 y, pri čemu su y, z proizvoljni komleksni brojevi. Sa druge strane, izraz QDRAlgorithm[A,Transpose[A povlači izračunavanja koja odgovaraju slučaju W = A T, i generiše Moore Penrose inverz matrice A: A = 5(2x 2 +) 36x 2 +35x 0 456x 4 30x 3 226x 2 +88x x 4 5x 3 3x 2 +94x+45 5x(9x+7) 6x 2 8x 5 456x 4 30x 3 226x 2 +88x x 4 5x 3 3x 2 +94x+45 3x(9x 3 +25x 2 9x+2) x (36x 3 63x 2 +59x 4) 456x 4 30x 3 226x 2 +88x x 4 5x 3 3x 2 +94x+45 5(2x 2 +) 456x 4 30x 3 226x 2 +88x+90 5x(9x+7) 456x 4 30x 3 226x 2 +88x+90. 3x(9x 3 +25x 2 9x+2) 456x 4 30x 3 226x 2 +88x+90 2x 2 35x 2 228x 4 5x 3 3x 2 +94x+45 20x 2 +36x+5 228x 4 5x 3 3x 2 +94x+45 3(4x 4 +20x 2 6x 3) 228x 4 5x 3 3x 2 +94x+45 Isti rezultat se dobija i za W = A i W = A k, k 2, s obzirom da su Drazinov i grupni inverz jednaki sa to A. U sledećem primeru ćemo posmatrati racionalnu matricu čiji su Moore-Penrose-ov inverz i grupni inverz različiti. Primer Sledeća racionalna matrica A = 44( +8x 2 ) 08+75x+4x ( 36 25x+64x 2 ) x 48x x 3(25+24x) x 48x 2 99( +8x2 ) 0 7( 36 25x+64x 2 ) 44( +8x 2 ) 08+75x+4x ( 36 25x+64x 2 ) x 48x 2 7( 36 25x+64x 2 ) 99( +8x 2 ) 7( 36 25x+64x 2 ) je jednaka proizvodu AX matrice A iz Primera i njenog spoljnog inverza X : 6( x+348x x x 4 ) 7( x+9098x x x 4 860x x 6 ) 6( x 2434x X = x x 4 ) 5 8x+6x 2 7( x+9098x x x 4 860x x 6 ) 0+35x 36x x 3x 2 5x x x 3x 2 5x x 4 3( x+663x x x x x 6 ) x(4 59x+63x 2 36x 3 ) 7( x+9098x x x 4 860x x 6 ) 45+94x 3x 2 5x x x+2x 2 3( x+366x 2 954x x 4 ) 45+94x 3x 2 5x x 4 7( x+9098x x x 4 860x x 6 ) 5+36x+20x x 286x x x x 3x 2 5x x 4 7( x+9098x x x 4 860x x 6 ) 3( 3 6x+20x 2 +4x 4 ) 3( x 473x 2 626x x 4 639x x 6 ) 45+94x 3x 2 5x x 4 7( x+9098x x x 4 860x x 6 ).

79 2.8. Simboličko izračunavanje A (2) T,S inverza QDR faktorizacijom 76 Matrica A je idempotentna, i očigledno je ind(a ) =. generisan za slučaj W = A T, i jednak je sledećem A = Moore-Penrose inverz A je x+65400x x x 45703x x x 4 9( x 26336x 2 200x x 4 ) x 3879x x x x 3879x x x 4 3( x+50600x x 3 ) x x x x x 3879x x x 4 99(36 75x 444x x x 4 ) 297( 25 24x+200x +992x 3 ) x x x x x 3879x x x x x x x 4 99( 08 75x+860x x 3 +32x 4 ) x 3879x x x x 0783x x x 4 432( 25 24x+200x x 3 ) 297( 25 24x+200x x 3 ) x 3879x x x x x x x x 3879x x x 4 9( x 26336x 2 200x x 4 ) x 3879x x x 4 3( x+50600x x 3 ) x 6903x x x 4 99(36 75x 444x x x 4 ) x 3879x x x x x x x ( 8x 2 ) x 0783x x x x 3879x x x x x x x 4 Za W = A, dobijamo grupni inverz koji je jednak početnoj matrici A. Primer Neka je data matrica [ x x 2x 2 A = x x x i odaberimo matricu W = A. Tada važi da je rang(w ) = 2 i C 2 (W ) = C \ {, 0}, s obzirom da je rank(w ()) = rank(w (0)) = < 2. Notacije W () i W (0) označavaju konstantne matrice dobijene zamenom simbola x vrednostima x = i x = 0, respektivno. Moore Penrose-ov inverz matrice A je dat sa A = 2 2x 2 2x x Očito A nije definisano za slučaj x {, 0} (ili ekvivalentno, za slučaj x / C 2 (W )). x x x Implementacioni detalji i rezultati testiranja Složenost QDR dekompozicije je jednaka složenosti QR dekompozicije. Implementacija Algoritma QDRAT S2 je urad ena u paketu MATHEMATICA. Kreirane su dve glavne funkcije, nazvane QDRDecomposition[A List i QDRAlgorithm[A List, za testiranje i proveru. Normalni rang zadate racionalne matrice je odred en standardnom MATHEMATICA funkcijom MatrixRank, koja radi sa numeričkim, kao i sa simboličkim matricama [3. Algorithm 2.9 je implementiran sledećom MATHEMATICA funkcijom...

80 2.8. Simboličko izračunavanje A (2) T,S inverza QDR faktorizacijom 77 QDRDecomposition A_List : Module i, j, n Length A, m Length A, Q, c 0, Diag, R, B, A, Q Table 0, n, m ; Diag R Table 0, n, n ; B A; For i, i n, i, A Transpose B ; While i n && Norm A i 0, c ; i ; c 0; If i n, Break ; NextCol A i ; Q i Simplify A i ; For j i, j n, j, R i j Simplify NextCol.A j ; ; Diag i i Simplify Norm NextCol ^ 2, Element x, Reals ; B A Transpose Q.Diag.R; ; Q Drop Q, c ; Diag Drop Diag, c ; Diag Drop Transpose Diag, c ; R Drop R, c ; Return ExpandNumerator Together Transpose Q, ExpandNumerator ExpandDenominator Diag, ExpandNumerator R ; ; Ovde navodimo i implementaciju Algoritma 2.0, nazvanog QDRAT S2, u MATHEMATICA. Primetimo da funkcija ima samo jedan parametar A. Pritom se W uzima kao transponovana matrica od A, generišući odgovarajući uopšteni inverz. QDRAlgorithm A_List : Module W Transpose A, N, Q, Diag, R, i, j, k, l, n Length A, r, r2, r3, p, q, Num, Den, Q, Diag, R QDRDecomposition W ; N ExpandNumerator ExpandDenominator Together Simplify Inverse R.A.Q ; f Table 0, n, n ; Num Table 0, n, n ; Den Table 0, n, n ; ; For i, i n, i, For j, j n, j, For k, k j, k, For l, l n, l, Num k, l 0; Den k, l 0; For r 0, r Max Exponent Numerator Q i, l, x, Exponent Denominator Q i, l, x Max Exponent Numerator N l, k, x, Exponent Denominator N l, k, x Max Exponent Numerator R k, j, x, Exponent Denominator R k, j, x, r, ; ; ; r p r r2 r2 0 r3 0 Coefficient Numerator Q i, l, x, r2 Coefficient Numerator N l, k, x, r r2 r3 Coefficient Numerator R k, j, x, r3 ; r q r r2 r2 0 r3 0 Coefficient Denominator Q i, l, x, r2 Coefficient Denominator N l, k, x, r r2 r3 Coefficient Denominator R k, j, x, r3 ; Num k, l p x ^ r; Den k, l q x ^ r; f i, j Together Simplify ; ; j n k l Num k, l Simplify Den k, l ;

81 2.9. Uopšteni inverzi blokovskih matrica 78 Implementacija Algoritma QDRAT S je data sledećim prostim kodom, pri čemu se matrična jednačina (2.8.6) rešava standardnom MATHEMATICA funkcijom Inverse: QDRATS[A_List, W_List := Module[{N, Q, Diag, R}, {Q, Diag, R} = QDRDecomposition[W; N = Inverse[R.A.Q // Simplify; Return[Simplify[Q.N.R; ; Primer Upored ivanje različitih algoritama za simboličko izračunavanje Moore Penrose-ovog inverza je navedeno u Tabeli CPU vreme je uzeto kao kriterijum za upored ivanje navedenih algoritama. Algoritam QDRAT S2 je testiran za poseban slučaj W = A. Procesorska vremena su dobijena primenom MATHEMATICA implementacije različitih algoritama za izračunavanje pseudoinverse na nekim test matricama iz [7. Prva vrsta tabele sadrži naziv test matrice iz [7, koje je generisao Zielke, pri čemu su tri grupe test matrica (A, S and F ) uzete u razmatranje. Poslednja vrsta sadrži vremena dobijena QDRAT S2 algoritmom. Primetimo da je QDRAT S2 algoritam manje efikasan nego partitioning metod ili Leverier-Faddeev algoritam, zbog nekoliko matričnih množenja, gde med u-rezultati i koeficijenti mogu veoma narasti. U odnosu na algoritme bazirane na Cholesky i LDL dekompoziciji, naš algoritam je superioran. Test matrica [7 A 5 A 6 A 7 S 5 S 6 S 7 F 5 F 6 F 7 PseudoInverse [ Partitioning [ Lev.-Faddeev [4, LDLGInverse [ ModCholesky [ QDRATS QDRATS Tabela Prosečna vremena izračunavanja (u sekundama) nekoliko algoritama i Algoritma Uopšteni inverzi blokovskih matrica Teorema Za zadatu matricu A C m n r postoje regularne matrice R i G, permutacione matrice E i F i unitarne matrice U i V, odgovarajućih dimenzija, tako da važi: [ [ Ir O B O (T ) RAG = = N O O (T 2 ) RAG = = N O O 2 [ [ Ir K Ir O (T 3 ) RAF = = N O O 3 (T 4 ) EAG = = N K O 4

82 2.9. Uopšteni inverzi blokovskih matrica 79 (T 5 ) [ [ Ir O Ir O UAG = = N O O (T 6 ) RAV = O O (T 7 ) [ [ B O B K UAV = = N O O 2 (T 8 ) UAF = O O (T 9 ) [ B O EAV = = N K O 6 [ A (T 0a )EAF = A T, SA T SA gde su S i T multiplikatori dobijeni iz uslova [58, 0 = N = N 5 T = A A 2, S = A 2 A ; [ [ A A (T 0b ) EAF = 2 A A = 2 A 2 A 22 A 2 A 2 A A 2 T Transformacija sličnosti kvadratnih matrica [66 [ [ RAR = RAEE R Ir K = E R T T = 2 O O O O Regularna matrica R i permutaciona matrica E mogu se dobiti izvršavanjem transformacija koje su analogne transformacijama nad vrstama matrice A, nad jediničnom matricom I m, dok se regularna matrica G i permutaciona matrica F mogu se dobiti sprovod enjem analognih transformacija koje su sprovedene nad kolonama matrice A, na jediničnoj matrici I n. Implementacija blokovske reprezentacije (T 3 ) u MATHEMATICA data je u sledećoj proceduri... t3[a :=Block[{m,n,r,f,b=a,i=,j,max=,g,h,p,p2}, {m,n}=dimensions[b; r=identitymatrix[m; f=identitymatrix[n; While[max!= 0, max=abs[b[[i,i; p=i; p2=i; Do[Which[max<Abs[b[[g,h, max=abs[b[[g,h;p=g;p2=h, {g,i+,m},{h,i+,n}; If[max!=0, r=chrow[r,i,p;f=chcolumn[f,i,p2; b=chrow[b,i,p;b=chcolumn[b,i,p2; r=multrow[r,i,/b[[i,i; b=multrow[b,i,/b[[i,i; Do[Which[j!=i,r=AddRow[r,j,i,-b[[j,i; b=addrow[b,j,i,-b[[j,i, {j,m}; i++ ; {r,f} ;MatrixQ[a

83 2.9. Uopšteni inverzi blokovskih matrica 80 Blokovska dekompozicija (T ) može se generisati primenom transformacije (T 3 ) dva puta: [ [ Ir K R AF = = N O O 3, R 2 N3 T Ir O F 2 = = N O O. Tada, regularne matrice R, G mogu da se izračunaju kako sledi: N = N T = F T 2 N 3 R T 2 = F T 2 R AF R T 2 R = F T 2 R, G = F R T 2. Implementacija reprezentacije (T ) se time može realizovati na sledeći način t[a := Block[{r,f,r2,f2,b=a}, {r,f}=t3[b; {r2,f2}=t3[transpose[r.b.f; {Transpose[f2.r,f.Transpose[r2} ;MatrixQ[a Blokovska dekompozicija (T 4 ) može se implementirati pomoću transformacije (T 3 ) na matrici A T : [ R A T Ir K F =. O O Prema tome, što povlači E = F T, G = R T. t4[a := Block[{r,f,b=a}, {r,f}=t3[transpose[b; {Transpose[f,Transpose[r} ;MatrixQ[a Primer Neka je data matrica [ F T AR T Ir O = O A = Niz transformacija je sledeći: K T ,

84 2.9. Uopšteni inverzi blokovskih matrica Iz druge i treće matrice čitamo R i F : 0 6 R = 0, F = Sledeći metod za izračunavanje matrica S, T i A dat je u [58: [ [ [ A A R = 2 I Ir A A 2 A Ir T A = A 2 A 22 O O A 22 SA 2 S O O S. Očigledno je T = K. Primer Za matricu A = može se dobiti [ 0 A =, S = 0 0 [ 2, T = Blokovske reprezentacije generalisanih inverza Iz blokovskih dekompozicija matrica sledi čitav niz reprezentacija za različite klase generalisanih inverza. Dalje navodimo prikaz nekih poznatih blokovskih reprezentacija za različite klase generalisanih inverza, koje su razvijene u [7, 8. Teorema Ako je A C m n r, i ako su R = [ R [ kojima se A transformiše u normalnu formu A = R Ir O [ A () Ir X =G Y Z [ A (,2) Ir X =G Y Y X R, R = G [ Ir Y R 2 i G = [ G G 2, matrice O G O tada je: [ Ir X R,

85 2.9. Uopšteni inverzi blokovskih matrica 82 [ A (,3) Ir R =G R 2 Y Z [ A (,4) I r X =G G 2G Z R, R, [ A (,2,3) Ir R =G R 2 Y Y R R 2 [ A (,2,4) I r X =G G 2G G 2G X [ A (,3,4) I =G r R R 2 [ A =G G 2G Z [ Ir R = G Y R, I r R R 2 G 2G G 2G R R 2 R = G [ R = G [ Ir, R R 2 [ I r G 2G I r G 2G R, [ Ir X R, [ Ir R R 2 =(G G 2 G 2G )(R R R 2R 2 ). [ Teorema Ako je A C m n R r, i ako su R = i G = [ G R G 2, matrice [ 2 B O kojima se A transformiše u normalnu formu A = R G O O tada je: [ B A () X = G R, Y Z [ B A (,2) X = G Y Y BX [ A (,3) B B = G R R 2 Y Z [ A (,4) B X = G G 2G B [ B A (,2,3) B = G R R 2 Y Y R R 2 [ A (,2,4) B X = G G 2G G 2G X [ A (,3,4) = G [ A = G [ B R = G Y R, R, Z B B R R 2 G 2G B Z [ B R = G Y [ R = G R, B B R R 2 G 2G B G 2G R B R 2 = (G G 2 G 2G )B (R R R 2R 2 ). [ Ir BX R, I r G 2G [ Ir, R R 2 [ R = G [ Teorema Ako je A C m n R r, i ako je R = R 2 R, [ B X R, I r G 2G R B [ I r R R 2 R, regularna matrica i F permuta-

86 2.9. Uopšteni inverzi blokovskih matrica 83 [ ciona matrica, tako da važi transformacija A = R Ir K O O [ A () Ir KY X KZ = F R, Y Z [ A (,2) Ir KY X KY X = F R = F Y Y X [ A (,3) Ir KY R = F R 2 KZ R, Y Z [ A (,4) (I = F r + KK ) X KZ K (I r + KK ) R, Z [ A (,2,3) Ir KY (I = F r KY )B R R 2 Y Y R R R, 2 [ Ir KY [ = F Ir, R Y R 2 R, [ A (,2,4) (I = F r + KK ) (I r + KK ) X K (I r + KK ) K (I r + KK ) X (I r + KK ) [ I r X R, = F [ A (,3,4) = F [ A = F = F [ Ir K (I r + KK ) R R 2 KZ K (I r + KK ) Z [ Ir K [ Ir KY Y R, F tada je: R (I r + KK ) (I r + KK ) R R 2 K (I r + KK ) K (I r + KK ) R R 2 (I r + KK ) [ I r R R 2 R. [ Ir X R, Teorema Ako je A C m n r, i ako je G = [ [ G G 2 regularna matrica i E permutaciona matrica,tako da važi A = E Ir O G K O tada je: [ A () Ir XK X = G E, Y ZK Z [ [ A (,2) Ir XK X Ir [ = G E = G Ir XK, X E, Y Y XK Y X Y [ A (,3) (Ir + K = G K) (I r + K K) K E, Y ZK Z [ A (,4) I r XK X = G G E, 2G ZK Z [ A (,2,3) (Ir + K = G K) (I r + K K) K Y (I r + K K) Y (I r + K K) K E [ Ir = G (I Y r + K K) [ I r, K E R

87 2.9. Uopšteni inverzi blokovskih matrica 84 [ A (,2,4) I r XK X = G G 2G (I r XK) G E 2G X [ I r [ = G G Ir XK X E, 2G [ A (,3,4) (Ir + K K) (I r + K K) K = G G 2G ZK Z [ A = G [ = G E, (I r + K K) (I r + K K) K G 2G (I r + K K) G 2G (I r + K K) K I r G (I r + K K) [ I r K E. 2G Teorema [ Neka je A C m n r, i neka su E i F permutaciona matrica, tako da važi A = E A A 2 F A 2 A, A C r r r. Koristeći oznake 22 R L = A 2 A, R = A A 2, M = I r + RR, N = I r + LL dobija se: [ A A () XL DY DZL X = F E, Y Z [ A A (,2) XL DY + DY A = F XL X DY A X Y Y A XL Y A X [ A DY [ = F Ir A Y XL, A X E, [ A (,3) (NA ) = F DY (NA ) L DZ E, Y Z [ A (,4) (A M) = F XL X R (A M) E, ZL Z [ A (,2,3) (NA ) = F DY (NA ) L DY L Y Y L E [ (NA ) = F DY [ Ir, L Y E, [ A (,2,4) (A = F M) XL X D (A M) D XL R E X E [ Ir [ = F (AM) D XL X E, [ A (,3,4) (NA ) = F + (A M) A + DZL (NA ) L DZ D (A M) ZL Z [ A (NA M) = F (NA M) L D (NA M) D (NA M) L E [ Ir = F D (NA M) [ I r L E. E,

88 2.9. Uopšteni inverzi blokovskih matrica 85 Sledeće dve teoreme za blokovske reprezentacije Moore-Penrose-ovog inverza je uveo S. Zlobec u [20. Teorema Moore-Penrose-ov inverz matrice A C m n jednak je A = A (A AA ) () A. [ Teorema Neka je matrica A C m n A A r predstavljena u obliku A = 2 A 2 A 22 je A C r r r. Tada je A = [ [ A A 2 T A, A 2 gde je T = ( [ A A 2 A [ A A 2 ). Može se koristiti i Hermiteov algoritam, koji se zasniva na sledećoj formuli A = A (AA AA ) (,2) A = ( (AA ) 2) (,2)., gde Pri tome, za izračunavanje inverza ((AA ) 2 ) (,2) može se iskoristiti, na primer njegova blokovska reprezentacija iz Teoreme 2.0.2, za X = Y = O. Ako je (AA ) 2 = R T I r G, tada je ((AA ) 2 ) (,2) = G T I r R = (G T ) r r R r, gde (G T ) r i R r predstavljaju prvih r kolona matrice G T i prvih r vrsta matrice R, respektivno. Takod e, poznate su i blokovske reprezentacije grupnog i Drazinovog inverza. Sledeća teorema data je u radu [66. [ Teorema Neka je A C n n r, i R regularna matrica, tako da važi RAR = T T 2. Tada je O O [ T A # = R T 2 T 2 O O Ovaj rezultat je uopštio Hartwig, čime je razvio metod za izračunavanje Drazinovog inverza [30, opisan sledećom teoremom. Teorema [ Ako je A C n n r, i R nesingularna matrica, tako da je RAR = U V. Tada je O O [ A D = R Ud Ud 2V d R. O O Ako X zadovoljava jednakost XAX = X, sledi da postoji celobrojno t {,..., r}, gde je r = rang(a), takvo da se X može pretstaviti u obliku R. X = W (W 2 AW ) W 2, W C n t, W 2 C t m, rang(w 2 AW ) = t. (2.9.) Na osnovu ovoga, imamo sledeće tvrd enje za blokovsku reprezentaciju {, 2, 3} i {, 2, 4} inverza iz [82.

89 2.9. Uopšteni inverzi blokovskih matrica 86 Teorema Neka je A C m n r i neka matrice W i W 2 ispunjavaju uslove iz (2.9.). Tada se može dobiti sledeće blokovske reprezentacije {, 2, 3} i {, 2, 4} generalisanih inverza za A, pod uslovom da (G i,2,3) i (G i,2,4) odgovaraju (T i ), i {,... }: (G,2,3) A{, 2, 3} = G = G [ U U 2 [ U U 2 U [ (G,2,4) A{, 2, 4} = (G ) Ir O ( = (G ) r [ (G 2 U,2,3) A{, 2, 3} = G U 2 ( (RR ) r r ) [ Ir O (R ) ( (RR ) r r ) U (R ) r, ( ) (G G) r r V V (G G) r r ( U ) [ V V 2 [ V R, V 2 R B (RR ) r r B ) [ B, O (R ) = G [ U U 2 ( (RR ) r r ) BU (R ) r, [ (G 2,2,4) A{, 2, 4} = (G ) Ir O ( = (G ) r (G 3,2,3) A{, 2, 3} = F = F (G 3,2,4) A{, 2, 4} = F [ S S 2 [ S S 2 [ Ir K [ (G 4 U,2,3) A{, 2, 3} = G U 2 [ U ( (G G) r) (V B) [ V, B R V B(G G) [ r) V B R, ( ) (S + KS 2 ) (RR ) r [ r Ir O (R ) ( (RR ) r r (S + KS 2 )) (R ) r, [ (I r + KK ) V V, V 2 R = ( F r + F n r K ) (V (I r + KK )) [ V, V 2 R, U (I r + KK ) [ I r, K E = G U 2 [ (G 4,2,4) A{, 2, 4} =(G ) Ir O ( = (G ) r [ (G 5 U,2,3) A{, 2, 3} = G U 2 (G 5,2,4) A{, 2, 4} = (G ) [ Ir O ((I r + KK )U ) ( ) E r + K E n r, ( (T (G G) r) +T 2 K) [ T, T 2 E (T + T 2 K)(G G) [ r) T, T 2 E, [ U Ir O [ U U = G U U r, ( (G G) r r ) D U 2 [ D D 2 U = (G ) r ( D (G G) r) [ D D 2 U,

90 2.9. Uopšteni inverzi blokovskih matrica 87 (G 6,2,3) A{, 2, 3} = V [ C C 2 ( ) C (RR ) r [ r Ir, O (R ) = V (G 6,2,4) A{, 2, 4} = V (G 7,2,3) A{, 2, 3} = V [ C C 2 [ Ir O [ C C 2 [ C ( (RR ) r r ) C (R ) r, V [ [ V, V 2 R = V r V V, V 2 R, C (B B) [ B, O U (BC ) U r, = V C 2 [ (G 7 Ir,2,4) A{, 2, 4}=V (D O B) [ D D 2 U =V r (D B) [ D D 2 U, [ (G 8 S,2,3) A{, 2, 3} = F (BS S + KS 2 ) [ I r, O U 2 [ S = F (BS S + KS 2 ) U r, 2 [ B (G 8,2,4) A{, 2, 4} = F K (D (BB + KK )) [ D, D 2 U, [ (G 9 C,2,3) A{, 2, 3} = V ((B B + K K)C C ) [ B, K E, 2 [ (G 9 Ir,2,4) A{, 2, 4} = V (T O B + T 2 K) [ T, T 2 E = V r (T B + T 2 K) [ T, T 2 E, [ (G 0a S,2,3) A{, 2, 3} =F (S S + T S 2 ) A (I r + S S) [ I r, S E 2 [ S = F ((I S r + S S)A (S + T S 2 )) ( ) E r + S E n r, 2 [ (G 0a Ir,2,4) A{, 2, 4} =F T (I r +T T ) A (T +T 2 S) [ T, T 2 E = ( F r + F n r T ) ((T + T 2 S)A (I r + T T )) [ T, T 2 E, [ (G 0b S,2,3) A{, 2, 3}=F (A S S +A 2 S 2 ) A (A 2 A +A 2A 2 ) [ A, A 2 E, [ A (G 0b,2,4) A{, 2, 4} =F A (A A +A 2 A 2) A (T A +T 2 A 2 ) [ T, T 2 E, 2 [ (G,2,3) A{, 2, 3}=R Q ( ) [ (Q Q +T T 2 Q 2 ) T 2 (RR ) r T r T (R ) O [ =R Q ( T Q 2 (RR ) r (R r (T Q +T 2 Q 2 )) r T ), [ ( [ ) (G,2,4) A{, 2, 4}=R I r [ (T T 2 ) V T, T 2 RR I r [ (T T 2 ) V, V 2 R.

91 2.9. Uopšteni inverzi blokovskih matrica 88 Sledi implementacija navedenih blokovskih reprezentacija uopštenih inverza. Ovde navodimo samo funkcije za odred ivanje reprezentacija (G i,2,3) i (G i,2,4), i {, 3, 4}. G23[A List,R,R2 := Block[A=b,W=R,W2=R2, ran,r,g,u,u2,rz,pom,pom2, {r,g}=t[a; ran=rang[a; pom=inverse[g.w; pom2=w2.inverse[r; u=take[pom,ran; u2=drop[pom,ran; rz=inverse[r.hermit[r; rz=take[rz,ran; rz=transpose[take[transpose[rz,ran; Return[g.pom.Inverse[rz.u.Take[Inverse[Hermit[r,ran; G24[A List,R,R2 := Block[W=R,W2=R2, ran,r,g,v,v2,gz,gz,pom2, {r,g}=t[a; ran=rang[a; pom2=w2.inverse[r; v=transpose[take[transpose[pom2,ran; v2=transpose[drop[transpose[pom2,ran; gz=inverse[hermit[g.g; gz=take[gz,ran; gz=transpose[take[transpose[gz,ran; gz=transpose[take[transpose[inverse[hermit[g,ran; Return[gz.Inverse[v.gz.pom2.r; G233[A List,R,R2 := Block[{W=R,W2=R2, ran,r,f,s,s2,k,v,v2,pom,pom3}, {r,f}=t3[a; ran=rang[a; pom=hermit[f.w; s=take[pom,ran; s2=drop[pom,ran; pom3=take[r.a.f,ran; k=transpose[drop[transpose[pom3,ran; rz=inverse[r.hermit[r; rz=take[rz,ran; rz=transpose[take[transpose[rz,ran; Return[f.pom.Inverse[rz.(s+k.s2).Take[Inverse[Hermit[r,ran; G243[A List,R,R2 := Block[{W=R,W2=R2, ran,r,f,v,v2,k,pom2,pom3}, {r,f}=t3[a; ran=rang[a; pom2=w2.inverse[r; v=transpose[take[transpose[pom2,ran; v2=transpose[drop[transpose[pom2,ran; pom3=take[r.a.f,ran; k=transpose[drop[transpose[pom3,ran; Return[f.Hermit[pom3.Inverse[IdentityMatrix[ran+k.Hermit[k. Inverse[v.pom2.r;

92 2.9. Uopšteni inverzi blokovskih matrica 89 G234[A List,R,R2 := Block[{W=R,W2=R2, ran,e,g,u,u2,k,pom,pom3}, {e,g}=t4[a; ran=rang[a; pom=inverse[g.w; u=take[pom,ran; u2=drop[pom,ran; pom3=drop[e.a.g,ran; k=transpose[take[transpose[pom3,ran; pom3=conjugate[take[transpose[e.a.g,ran; Return[g.pom.Inverse[(IdentityMatrix[ran+k.Hermit[k).u.pom3.e; G244[A List,R,R2 := Block[{W=R,W2=R2, ran,e,g,u,u2,k,gz,t,t2,pom2,pom3}, {e,g}=t4[a; ran=rang[a; pom2=w2.hermit[e; t=transpose[take[transpose[pom2,ran; t2=transpose[drop[transpose[pom2,ran; pom3=drop[e.a.g,ran; k=transpose[take[transpose[pom3,ran; gz=inverse[hermit[g.g; gz=take[gz,ran; gz=transpose[take[transpose[gz,ran; gz=transpose[take[transpose[inverse[hermit[g,ran; Return[gz.Inverse[(t+t2.k).gz.pom2.e; Primer Koristeći A = , W = izraz x=g23[a,w,w2 dobija vrednost X = W 2 = [ U slučaju W = Q, W 2 = P dobija se ovakva reprezentacija Moore-Penroseovog inverza. Posledica Moore-Penroseov inverza date matrice A Cr m n se može predstaviti kako sledi, pri čemu reprezentacije (A i ) odgovaraju blokovskim dekompozicijama (T i), i {,..., 9, 0a, 0b, }

93 2.9. Uopšteni inverzi blokovskih matrica 90 (A ) A = ( ) G r ((R r) ( ) ) A G r (R r) ) ( (A 2 ) A = ( G r (A 3 ) A = F = ( ) G r ((RR ) r ) (( R r B = ( ) G r (B (RR ) r [ Ir K r (G G) r r R r), ) ( ) ) ( ) A G r R r B ) ( r B(G G) r r B R r), ) ( R r) ( ( R r) AF [ Ir K = ( F r + F n r K ) ( (RR ) r r (I r + KK ) ) ( R r), (A 4 ) A = ( G r) ([ Ir, K EA ( G r) ) [ Ir, K E = ( ) G r ((I r + K K)(G G) ( ) r) E r + K E n r, (A 5 ) A = ( G r) ( U r A ( G r) ) U r = ( ) G r ((G G) r (( (A 6 ) A =V r R r) ) ( AV r R r) ( =V r (A 7 ) A = V ( r B U r AV r) B U r = V r B U r, [ ( [ ) B (A 8 ) A B [ B =F U r AF U r=f K K (RR ) r r K (A 9 ) A = V r ([ B K EAV r) [ B K E (A 0a ) A = F = V r (B B + K K) [ B K E, [ ( Ir [ T A Ir, S EAF [ Ir T r) U r, ) ( R r), (BB +KK ) U r, ) [ A Ir, S E = ( F r +F n r T ) ((I r + S S)A (I r + T T )) ( ) E r + S E n r, [ ( A (A 0b ) A =F A (A ) [ [ ) A A, A 2 EAF 2 A (A ) [ A, A 2 E 2 [ A =F A (A A +A 2 A 2) A (A A +A 2A 2 ) [ A, A 2 E, 2 [ ( (A ) A =R I ( ) [ ) r AR (T T 2 ) R r I ( ) T r (T T 2 ) R r T [ ( [ ) =R I r (T T 2 ) T(RR ) r[ r T, T 2 RR I ( ) r. (T T 2 ) R r T Implementacione procedure za izračunavanje Moore-Penroseovog inverza, bazirane na reprezentacijama (A ), (A3 ) i (A4 ) date su sledećim kodovima: MPt[A List:= Block[{r,g,ran,pt,qt}, {r,g}=t[a; ran=rang[a; qt=hermit[take[inverse[g,ran; pt=conjugate[take[transpose[inverse[r,ran; qt.inverse[pt.a.qt.pt ;MatrixQ[A

94 2.9. Uopšteni inverzi blokovskih matrica 9 MPt3[A List:= Block[{r,f,ran,pt,qt}, {r,f}=t3[a; ran=rang[a; qt=f.hermit[take[r.a.f,ran; pt=conjugate[take[transpose[inverse[r,ran; qt.inverse[pt.a.qt.pt ;MatrixQ[A MPt4[A List:= Block[{e,g,ran,pt,qt}, {e,g}=t4[a; ran=rang[a; qt=hermit[take[inverse[g,ran; pt=conjugate[take[transpose[e.a.g,ran.e; qt.inverse[pt.a.qt.pt ;MatrixQ[A Teorema Neka je A kvadratna matrica reda n i ranga r. Tada grupni inverz postoji ako i samo ako su sledeći uslovi (E i ), zavisni od odgovarajućih blokovskih dekompozicija (T i ), ispunjeni: (E ) G rr r = (RG) r r (E 2 ) G rr r B = (RG) (E 3 ) r r je invertibilno, B je invertibilno, [ Ir K (RF ) r = (RF ) r r + K(RF ) r n r (E 4 ) (EG) r [ Ir K je invertibilno, = (EG) r r + (EG) n r r K je invertibilno, (E 5 ) U r G r = (UG) r r je invertibilno, (E 6 ) V rr r = (RV ) r r je invertibilno, (E 7 ) V ru r B = (UV ) rb je invertibilno, [ [ (E 8 ) B, K (UF ) Ir = [ B, K (UF ) O r je invertibilno, [ (E 9 ) Ir, O [ [ B B (EV ) = (EV ) K r je invertibilno, K (E 0a ) [ I r, T [ (EF ) Ir je invertibilno, S (E 0b ) [ [ A, A 2 (EF ) A je invertibilno, (E ) [ Ir, T T 2 [ T O A 2 = T je invertibilno. Takod e, grupni inverz, ako postoji, poseduje sledeće blokovske reprezentacije:

95 2.9. Uopšteni inverzi blokovskih matrica 92 (A # ) A# = R r ( (RG) r) 2 G r, (A 2 # ) A# = R r B ( (RG) r) 2 G r, (A 3 # ) A# = R r ( (RF ) r r + K(RF ) r n r ) 2 ( ) F r + KFn r, (A 4 # ) A# = ( E r + E n r K ) ( (EG) r r + (EG) n r r K) 2 G r, (A 5 # ) A# = U r ( (UG) r) 2 G r, (A 6 # ) A# = R r ( (RV ) r) 2 V r, (A 7 # ) A# = U r B ( (UV ) r) 2 V r, (A 8 # ) A# = U ([ r B, K (UF ) ) 2 [ B, K F, [ ( [ ) 2 B B (A 9 # ) A# = E (EV ) K r V K r, [ ( (A 0a # ) A # = E Ir [ A S Ir, T [ ) 2 (EF ) Ir [ A S Ir, T F, [ ( [ ) (A 0b # ) A # =E A [ 2 A A A, A 2 (EF ) A [ A, A 2 A 2 F, [ 2 T (A # ) A# = R T 2 T 2 [ R = R O O r T T 2 T 2 R. Dokaz. Sledi neposredno iz sledećeg: Ako je A = P Q potpunarang faktorizacija za A, tada A # postoji ako i samo ako je QP invertibilna matrica, i A # = P (QP ) 2 Q. Metodi za izračunavanje grupnog inverza se mogu implementirati na sledeći način: Group[a List:=Block[{ran,r,g,rg,pom,pom2}, {r,g}=t[a; ran=rang[a; rg=r.g; rg=inverse[rg; rg=take[rg,ran; rg=transpose[take[transpose[rg,ran; If[rang[rg==ran, pom=transpose[take[transpose[inverse[r,ran; pom2=take[inverse[g,ran; Return[pom.MatrixPower[Inverse[rg,2.pom2, Return["Grupni inverz ne postoji"; ; Group3[a List:=Block[{ran,r,g,pom,pom2}, {r,f}=t3[a; ran=rang[a; pom=transpose[take[transpose[inverse[r,ran; pom2=take[r.a.f,ran.hermit[f; pom3=pom2.pom; If[rang[pom3==ran, Return[pom.MatrixPower[Inverse[pom3,2.pom2, Return["Grupni inverz ne postoji"; ;

96 2.9. Uopšteni inverzi blokovskih matrica 93 Group4[a List:=Block[{ran,r,g,k,pom,pom2}, {e,g}=t3[a; ran=rang[a; pom=take[inverse[g,ran; pom2=hermit[e.transpose[take[transpose[e.a.g,ran; pom3=pom2.pom; If[rang[pom3==ran, Return[pom2.MatrixPower[Inverse[pom3,2.pom, Return["Grupni inverz ne postoji"; ; Primer Za P Q faktorizaciju matrice A = R = 3 0, G = R = 6 2 0, G 3 = [ P = R I2 = = 6 2 O Q = [ I 2 O [ G 3 = 0 0 = Primer Data je matrica A = Iz {r, f} = t3[a dobijamo R = [ imamo redom., F = I 5 Primenom {r2, f2} = t3[t ranspose[r, a, f dobijamo R 2 = , F 2 = I

97 2.9. Uopšteni inverzi blokovskih matrica 94 Sada je R = F2 T R, G = F R2 T, i R 2 = 0, 2 G 2 = [ Primenom formule {A } dobijamo Primer Za A = A = [ 0 A = , S = dobijamo [ 2, T = 3. Primenom tvrd enja Teoreme 2.9., Teoreme za 2 0 [ W = , W 2 = dobijamo: A (,2,3) = A (,2,4) = A = ,,.

98 2.0. Blokovska LDL dekompozicija potpunog ranga 95 Primer Za matricu R = R = Koristeći matrice dobija se: A (,2,3) = A = W =, T = [ 0 0, W 2 = , A(,2,4) =, A# = dobijamo [ 2, T 2 = 3 [ , , E = I Posledica Neka je A C m n r i T, S podskupovi od C n i C m, respektivno, takvi da je dimt = dims = t r i AT S = C m. Onda postoji {2}-inverz od A,X = A (2) T,S, takav da je R(X) = T, N(X) = S. Šta više, ako D C n m, C C n t zadovoljava R(D) = T, N(D) = S, R(C) = T, onda blokovsko predstavljanje za A (2) T,S može biti izvršeno na isti način kao blok predstavljanje (G i 2), i =,..., n koristeći sledeću smenu: W = C, W 2 = C D. 2.0 Blokovska LDL dekompozicija potpunog ranga., Procedura za blok Cholesky dekompoziciju podrazumeva izračunavanje kvadratnog korena dijagonalne bloka i potom množenje inverza trougaonog bloka i kvadratnog bloka. Odred ivanje kvadratnog korena blok matrice može biti težak i dug zadatak. Poznato je nekoliko metoda za nalaženje aproksimacije blok LU i blok Cholesky faktorizacije (videti [3). Pritom, množenje inverza trougaonog bloka sa blok matricom se može postići tzv. back substitution procesom. Zamena LL dekompozicije sa LDL radi izbegavanja elemenata sa kvadratnim korenima je dobro objašnjena tehnika iz linearne algebre (videti na primer rad Goluba i

99 2.0. Blokovska LDL dekompozicija potpunog ranga 96 Van Loana [25). Pritom je generisana jedna dodatna dijagonalna matrica D, ali totalna količina izračunavanja je ista kao kod Cholesky dekompozicije. Primetimo još da za datu Hermitsku matricu A, matrica D mora imati ne-nula pozitivne elemente. Posmatrajmo sada proizvoljan skup normalnih matričnih jednačina. On se može izraziti u sledećem matričnom obliku: Ax = B, gde je x n-dimenzionalni vektor rešenja. Ovde navodimo neke preliminarne rezultate iz rada [75, za izračunavanje vektora x, zasnovane na LDL faktorizaciji matrice A. Neka je matrica A datog normalnog sistema jednačina Hermitska i pozitivno definitna. Tada postoje nesingularna donja trougaona matrica L i nesingularna dijagonalna matrica D takve da je A = LDL. Inverzna matrica A i vektor rešenja x se mogu odrediti na sledeće načine: A = L D L, x = L D L B. (2.0.) Ove jednačine podrazumevaju inverz trougaone i dijagonalne matrice. Med utim, to nije neophodno, jer je moguće podeliti matricu trougaonom matricom bez računanja inverza. Stoga, posmatrajmo sledeće pomeranje: Tada L C = B i važe sledeći izrazi: C = DL x. c i = b i i k= l i,k c k l i,i, for i =, n. (2.0.2) Očigledno je proizvod matrica DL sledeće jednakosti: gornja trougaona matrica matrica, i samim važe x n = c n d n,n, (2.0.3) x i = c i n k=i+ d i,il k,i x k d i,i, for i = n, (2.0.4) Glavna motivacija je odrediti proceduru za blokovsku LDL dekompoziciju, za opšti slučaj n n blok Hermitske matrice A C m m. Ovim se izbegavaju poteškoće kod izračunavanja korenih elemenata submatrica (često zvanih blokovima). Neka je Hermitska matrica A podeljena u n n blockova, tako da je A = [A ij, i, j n, pri čemu su dijagonalni blokovi kvadratne matrice. Potrebno je odrediti donju blok trougaonu matricu L i blok dijagonalnu matricu D, takve da je jednakost A = LDL zadovoljena, pri čemu su dimenzije sub-matrica L i,j i D i,j jednake d i d j. Jednostavna modifikacija iterativne procedure za LDL dekompoziciju koja važi za blokovske elemente matrica D i L, data je u [75.

100 2.0. Blokovska LDL dekompozicija potpunog ranga 97 Teorema [75 Neka je data Hermitska blok matrica A = [A ij n n ranga r, podeljena na takav način da su dimenzije svake sub-matrice A i,j jednake d i d j, i neka postoji prirodan broj m n takav da važi izraz m k= d k = r. Neka su L = [L ij n m i D = [D ij m m blokovske matrice, gde je dimenzinzija svake sub-matrice L ij i D ij jednaka d i d j. Ako važe sledeće matrične jednačine za j =, m: j D jj = A jj L jk D kk L jk, (2.0.5) k= j L ij = (A ij k= L ik D kk L jk) D jj, i = j +, n, (2.0.6) pri čemu su sub-matrice D jj, j =, m nesingularne, tada je LDL dekompozicija potpunog ranga matrice A. Dokaz. Kako je A = LDL, to za proizvoljne indekse i, j n važi sledeći identitet: A ij = m L ik D kk L jk = k= min{i,j} k= L ik D kk L jk, s obzirom da su sledeće matrične jednakosti zadovoljene za svako i =, m: L ii = I di, L ij = 0 di d j, D ij = 0 di d j, D ji = 0 dj d i, j = i +, m. Stoga je, za svaki indeks j =, m: A jj = j j L jk D kk L jk = D jj + L jk D kk L jk k= tačna jednakost, iz koje sledi (2.0.5). Dalje, za slučaj i > j imamo A ij = k= j j L ik D kk L jk = L ij D jj L jj + L ik D kk L jk. k= Dakle, zadovoljeno je sledeće: k= j L ij D jj = A ij L ik D kk L jk, i time je jednačina (2.0.6) validna, jer je sub-matrica D jj nesingularna. S obzirom da je izraz m d k = r zadovoljen, matrice L = [L ij n m i D = [D ij m m k= su obe ranga r, na osnovu jednakosti (2.0.5) i (2.0.6). Dakle, LDL je dekompozicija potpunog ranga matrice A. k=

101 2.0. Blokovska LDL dekompozicija potpunog ranga 98 Očigledno, iterativna procedura za blok LDL dekompoziciju Hermitske matrice odred ena je iz jednačina (2.0.5) i (2.0.6). U svakoj iteraciji, sub-matrice D jj i L ij, i > j se mogu izračunati na osnovu prethodnih rezultata i poznatih blokova A ij. Primetimo da uslov da sub-matrice D jj, j =, n budu ne-singularne može biti prejak u nekim slučajevima. Ovi se uslovi mogu izbeći korišćenjem Moore-Penrose-ovih inverza matrica D jj, u kom slučaju jednačina (2.0.6) postaje: j L ij = (A ij L ik D kk L jk) D jj, i = j +, n. (2.0.7) k= Iterativna procedura za LDL dekompoziciju blok vektora rešenja je slična kao u navedenom pristupu. Dakle, kao produžetak Teoreme 2.0., sledeći algoritam, kojim se generišu blokovske matrice potpunog ranga L, D dimenzija manjih ili jednakih dimenzijama matrice A, se može formulisati. Algoritam 2. Blokovska LDL dekompozicija potpunog ranga podeljene matrice Ulaz: Blokovska matrica A = [A ij n i,j= ranga r, gde su dimenzije proizvoljnog bloka A i,j jednake d i d j, a za neko m {,..., n} je zadovoljen identitet m d k = r. : Inicijalizacija: za i =, m izvršiti sledeće korake:.: Postaviti L ii = I di..2: Za j = i +, n postaviti L ij = 0 di d j..2: Za j = i +, m postaviti D ij = 0 di d j, D ji = 0 dj d i. 2: Evaluacija: za svako j =, m izvršiti korake 2. i 2.2: 2.: Postaviti D jj = A jj j k= L jk D kk L jk. 2.2: Za i = j +, n postaviti L ij = (A ij j k= L ik D kk L jk ) D jj. k= Primer Posmatrajmo sledeću 3 3 blokovsku matricu A: A = Nakon inicijalizacije sub-matrica D 2, D 3, D 2, D 23, D 3, D 32, L 2, L 3, L 23, izvršavamo Korak 2 Algoritma 2.. Za j = sub-matrica D je jednaka A, pa je dakle, na osnovu Koraka 2.2: [ L 2 = A 2 D = 0 0 L 3 = A 3 D = [ 0 0.,

102 2.0. Blokovska LDL dekompozicija potpunog ranga 99 U drugoj iteraciji, za j = 2 izračunavaju se sub-matric D 22 i L 32 : [ 44 0 D 22 = A 22 L 2 D L 2 =, 0 8 L 32 = (A 32 L 3 D L 2) D22 = [ 7 72 Na kraju, za slučaj j = 3, imamo da je D 33 = A 33 L 3 D L 3 L 32 D 22 L 32 = 9. [ 9, 4 pa je A = LDL blokovska dekompozicija potpunog ranga matrice A, gde je L = , D = Očito da ukupan broj ne-nula elemenata u matricama L i D opada pri daljem deljenju matrice A. Matrice L i D se u nekoj tački deljenja mogu smatrati retkim. Primer Glavna razlika izmed u blokovske LDL dekompozicija potpunog ranga i njene standardne varijante je vidljiva na klasi rang-deficijentnih matrica. U tom smislu, uočimo matricu A 2 ranga r = 2 iz [7, podeljenu na sledeći način: A 2 = a + 0 a + 9 a + 8 a + 7 a + 6 a + 5 a + 9 a + 8 a + 7 a + 6 a + 5 a + 4 a + 8 a + 7 a + 6 a + 5 a + 4 a + 3 a + 7 a + 6 a + 5 a + 4 a + 3 a + 2 a + 6 a + 5 a + 4 a + 3 a + 2 a + a + 5 a + 4 a + 3 a + 2 a + a Primenom Algoritma 2. sledeće matrice potpunog ranga su dobijene kao rezultat, za m = : 0 0 [ L = a 9 + a 2 3, D =. 9 + a 8 + a Primer Posmatrajmo rang-deficijentnu simboličku matricu F 6 dobijenu u radu [7, podeljenu na sledeći način: a + 6 a + 5 a + 4 a + 3 a + 2 a + a + 5 a + 5 a + 4 a + 3 a + 2 a + F 6 = a + 4 a + 4 a + 4 a + 3 a + 2 a + a + 3 a + 3 a + 3 a + 3 a + 2 a +. a + 2 a + 2 a + 2 a + 2 a + a a + a + a + a + a a

103 2.0. Blokovska LDL dekompozicija potpunog ranga 00 Primetimo da je rang(f 6 ) = 5, i zato iz blokovske LDL faktorizacije potpunog ranga proizilaze matrice L C(a) i D C(a) Primenom Algoritma 2. na matricu F 6, za slučaj n = 3, m = 2, generišu se sledeće racionalne matrice kao rezultat: a + 6 a L = 0 4+a 0 0 a + 5 a a 4+a 3+a 2+a 0 3+a 0 0, D = a 5+a 5+a. 5+a 0 2+a 3+a 2(3+a) 2(2+a) a 5+a 5+a 5+a 0 +a 2+a 2(2+a) +2a a 5+a 5+a 5+a 2.0. Inverzi n n blokovskih matrica Matrice L i D, uključene u blokovskoj LDL dekompoziciji, su donja blok trougaona i blok dijagonalna matrica, respektivno. Ispitajmo najpre inverze ovih tipova blokovskih matrica. Lema Neka je data blok dijagonalna matrica D sa n sub-matrica na dijagonali. Tada je D invertibilna matrica ako i samo ako je D i kvadratna i nesingularna matrica za svako i n, u kojem slučaju je D takod e blok dijagonalna matrica oblika D 0 0 D 0 D2 0 = Dn Lema [75 Inverz nesingularne donje blok trougaone matrice I 0 0 L 2 I 0 L =......, L n L n2 I je donja blok trougaona matrica oblika I 0 0 L (L ) 2 I 0 =......, (L ) n (L ) n2 I pri čemu je (L ) i+,i = L i+,i za svaki indeks i =, n. Dokaz. Očigledno, matrica L je donja blok dijagonalna matrica sa jediničnim matricama na dijagonali. Na osnovu jednačine LL = I, imamo sistem od n 2 matričnih jednačina. Za proizvoljno i < n, množeći (i + )-tu vrstu matrice L sa i-tom kolonom inverza L imamo na osnovu čega je (L ) i+,i = L i+,i. L i+,i I + I(L ) i+,i = 0,

104 2.0. Blokovska LDL dekompozicija potpunog ranga 0 Kao što smo već ustanovili, LDL dekompozicija matrice A se može upotrebiti za odred ivanje njenog inverza: A = (L ) D L. (2.0.8) Metod za kalkulaciju Hermitske inverzne matrice u blok LDL dekompoziciji je baziran na ovoj jednačini. Dakle, iz ovoga sledi naredna teorema uvedena u radu [75. Teorema [75 Posmatrajmo blokovsku LDL dekompoziciju nesingularne Hermitske blok matrice A = [A ij n i,j=, pri čemu matrice L i D imaju istu podelu kao i A. Ako su matrica L i sub-matrice D jj, j =, n nesingularne, tada važe sledeće matrične jednačine: (A ) ij = n k=j (L ) kid kk (L ) kj, i j n. (2.0.9) Dokaz. Sledi na osnovu Leme i jednačine (2.0.8) posmatranjem podele inverzne matrice L iste kao podele matrice A. Posledica [75 Neka je A C m m Hermitska 2 2 blokovska matrica, podeljena na sledeći način: [ A A A = 2 A. 2 A 22 Posmatrajmo blokovsku LDL dekompoziciju matrice A, gde matrice L i D imaju istu podelu kao i A. Ako su sub-matrice D, D 22 nesingularne, tada inverzna matrica A ima sledeću formu: A = [ D + L 2D22 L 2 L 2D22 D22 L 2 D22. (2.0.0) Dokaz. Sledi iz Teoreme i Leme 2.0.3, s obzirom da su validni sledeći identiteti: [ L A = D L + L 2D22 L 2 L 2D22 L 22 L 22D22 L 2 L 22D22 L 22 [ (2.0.) D + L = 2D22 L 2 L 2D22 D22 L 2 D22. Očito je ova reprezentacija inverza 2 2 blok matrice jednostavnija nego njoj slična reprezentacija iz rada [45, koja je bazirana na Schurovom komplementu. Zapravo, reprezentacija (2.0.0) je posledica Teoreme 2. iz [45, za slučaj D = A, L 2 = A 2D i Schurovog komplementa D 22 = A 22 A 2D A 2. Takod e, uslovi da su D, D 22 nesingularne matrice su ekvivalentni uslovima da su matrice A i Schurov komplement A 22 A 2A A 2 nesingularni.

105 2.0. Blokovska LDL dekompozicija potpunog ranga 02 Primer Uočimo sledeću podeljenu matricu: A = Tada su matrice L i D iz blokovske LDL faktorizacije matrice A jednake: L = , D = Da bi izračunali A, imamo sledeću sekvencu izraza: (A ) = = [ [, (A ) 2 = (A ) 2 = = (A ) 22 = [ , T = T , na osnovu čega je inverzna matrica od A jednaka A = Moore-Penrose-ovi inverzi 2 2 blokovskih matrica Inverzi 2 2 blok matrica su dobro istraženi (videti npr. [45, 55), i često se pojavljuju u mnogim izračunavanjima. Neke eksplicitne inverzne formule za 2 2 blok matrice su uvedene u radu [45, a bazirane su na Schurovom komplementu D CA B matrice A.

106 2.0. Blokovska LDL dekompozicija potpunog ranga 03 Lema Neka je data 2 2 nesingularna podeljena matrica [ A B M =, C D pri čemu je A C k k, B C k l, C C l k i D C l l. Ako je submatrica A nesingularna, tada Schurov komplement S A = D CA B matrice A u M je takod e nesingularan, a inverz matrice M ima sledeću formu M = [ A + A BS A CA S A CA A BS A S A. (2.0.2) Mnogo radova navodi metode za izračunavanje Moore-Penrose-ovog inverza 2 2 blokovskih matrica (videti npr. [34). Takod e, neke reprezentacije Drazinovog inverza 2 2 blok matrica su dobijene u [8. Ipak, opšti slučaj n n blokovskih matrica, n > 2, nije toliko opisan. Dakle, u radu [75 smo izveli metode za n n blok matrice i onda posmatrali specijalan slučaj 2 2 blok matrica. Tvrd enje analogno Teoremi se može uvesti radi izračunavanja Moore-Penroseovog inverza Hermitske n n blok matrice, posmatrajući njenu blokovsku LDL dekompoziciju potpunog ranga. Teorema [75 Neka je data Hermitska blok matrica A = [A i,j n n ranga r, gde su dimenzije proizvoljne matrice A i,j date sa d i d j, i neka postoji prirodan broj m n takav da je zadovoljen izraz m d k = r. Pretpostavimo da je LDL blokovska dekompozicija k= potpunog ranga matrice A, pri čemu su sub-matrice D jj, j =, m nesingularne. Tada važe sledeće matrične jednačine: (A ) ij = m k=j (L ) kid kk (L ) kj, i j n. (2.0.3) Sada smo u mogućnosti da razvijemo metod za izračunavanje Moore-Penrose-ovog inverza 2 2 blokovske matrice, dat u sledećoj posledici Teoreme 3.2 i Leme Teorema [75 Neka su A C m n i (A A) 2 C n n 2 2 blokovske matrice formi [ [ A A A = 2 B C, (A A) 2 = A 2 A 22 C, E sa istom podelom. Uvedimo sledeće smene, za slučaj nesingularne matrice B: X = B + N + N + M EM, X 2 = C + ME, X 22 = E, (2.0.4) pri čemu su matrice M, N odred ene kao M = C B, N = CM. (2.0.5)

107 2.0. Blokovska LDL dekompozicija potpunog ranga 04 [ X X Ako su matrica X = 2 X2 i sub-matrice X X, B nesingularne, tada je Moore- 22 Penrose-ov inverz matrice A dat u sledećem obliku: [ A Y = Σ + (Y M + Y 2 )Σ 2 (MY + Y 2 )(Σ + M Σ 2 ) + (MY 2 + Y 22 )Σ 2 (2.0.6) Y Σ 2 + (Y M + Y 2 )Σ 22 (MY + Y 2 )(Σ 2 + M, Σ 22 ) + (MY 2 + Y 22 )Σ 22 gde je Y = X + X X 2 Y 22 X2X, Y 2 = X X 2 Y 22, Y 2 = Y 22 X2X, Y 22 = (X 22 X2X X 2 ), Σ = (A A + A 2A 2 )A + (A A 2 + A 2A 22 )A 2, Σ 2 = (A A + A 2A 2 )A 2 + (A A 2 + A 2A 22 )A 22, Σ 2 = (A 2A + A 22A 2 )A + (A 2A 2 + A 22A 22 )A 2, Σ 22 = (A 2A + A 22A 2 )A 2 + (A 2A 2 + A 22A 22 )A 22. Dokaz. Posmatrajmo blokovsku LDL dekompoziciju potpunog ranga Hermitske matrice (A A) 2, i uvedimo odgovarajuće unifikacije nekih sub-matrica iz L i D, ako je potrebno, tako da su L i D 2 2 blokovske matrice. Posmatranjem proizvoda matrica L LDL L, sa istom podelom, zadovoljene su sledeće matrične jednačine: (L LDL L) = L L D L L + L 2L 2 D L L + L L D L 2L 2 +L 2L 2 D L 2L 2 + L 2L 22 D 22 L 22L 2 = D + L 2L 2 D + D L 2L 2 + L 2L 2 D L 2L 2 + L 2D 22 L 2 = B + B CC B B + BB CC B +B CC B BB CC B + B C(E C B C)C B = B + B CC + CC B + B (CC B ) 2 + B C(E C B C)C B = B + B CC + CC B + B CEC B = X, (L LDL L) 2 = L L D L 2L 22 + L 2L 2 D L 2L 22 + L 2L 22 D 22 L 22L 22 = D L 2 + L 2L 2 D L 2 + L 2D 22 = BB C + B CC B BB C + B C(E C B C) = C + B CC B C + B CE B CC B C = C + B CE = X 2, (L LDL L) 2 = (L LDL L) 2 = X 2, (L LDL L) 22 = L 22L 2 D L 2L 22 + L 22L 22 D 22 L 22L 22 = L 2 D L 2 + D 22 = C B BB C + E C B C = E = X 22.

108 2.0. Blokovska LDL dekompozicija potpunog ranga 05 Na osnovu Leme 2.0.6, inverzna matrica X je jednaka blokovskoj matrici [ Y Y Y = 2. Y 2 Y 22 Tada su sledeće jednakosti zadovoljene: [ LX L L = Y L L Y L 2 + L Y 2 L 22 L 2 Y L + L 22 Y 2 L 2 (L 2 Y 2 + L 22 Y 2 )L 2 + (L 2 Y 2 + L 22 Y 22 )L 22 [ Y = Y L 2 + Y 2 L 2 Y + Y 2 (L 2 Y + Y 2 )L, 2 + L 2 Y 2 + Y 22 A AA = [ (A A + A 2A 2 )A + (A A 2 + A 2A 22 )A 2 (A 2A + A 22A 2 )A + (A 2A 2 + A 22A 22 )A 2 (A A + A 2A 2 )A 2 + (A A 2 + A 2A 22 )A 22 (A 2A + A 22A 2 )A 2 + (A 2A 2 + A 22A 22 )A = 22 [ Σ Σ 2 Σ 2 Σ 22, Na osnovu prvog tvrd enja Teoreme 2..6 imamo da je A = LX L A AA. Kako važi jednakost L 2 = M, to važi izraz (2.0.6) na osnovu proizvoda blok matrica LX L i A AA. [ [ A A Za datu blok matricu A = 2 B C, blokovi podeljene matrice (A A 2 A A) 2 = 22 C E se mogu jednostavno izračunati primenom notacije α ij = A ia j + A 2iA 2j, i, j =, 2. Dakle, blokovi B, C, E se mogu dobiti na sledeći način: B = α 2 + α 2 α 2, C = α α 2 + α 2 α 22, E = α 2 α 2 + α Izračunavanje osnovnih matrica M = C B i N = CM dovodi nas do evaluacije blokova matrice X, koristeći jednačine (2.0.4). Inverznu matricu X je potrebno izračunati. Primetimo još da se blokovi matrice Σ mogu odrediti na sledeći način: Σ = α A + α 2 A 2, Σ 2 = α A 2 + α 2 A 22, Σ 2 = α 2 A + α 22 A 2, Σ 22 = α 2 A 2 + α 22 A 22. Konačno, Moore-Penrose-ov inverz A se može dobiti na osnovu (2.0.6). Primer Neka je data sledeća 2 2 blokovska matrica: A =

109 2.0. Blokovska LDL dekompozicija potpunog ranga 06 Na osnovu Teoreme 2..8, blokovi B, C i E matrice (A A) 2 su jednaki: [ [ [ B =, C =, E = a blokovi X, X 2 i X 22 imaju oblik: X = X 2 = [ [ , X 22 = , [ Inverz podeljene matrice X se jednostavno izračunava na osnovu Lemma i ima sledeći oblik: Y = Nakon još nekoliko izračunavanja, Moore-Penrose-ov inverz matrice A je: A = Primer Neka je sada zadata rang-deficijentna matrica A 2 iz Primera 2..2 i njena blokovska LDL dekompozicija potpunog ranga. Moore-Penrose-ov inverz konstantne matrice L se može jednostavno dobiti: L = [ [ 8 x 9 + x i kako je m = imamo da važi D = D =. Na osnovu Teoreme 9 + x 0 x 2..8 se uopšteni inverz matrice A 2 može izraziti kao: 47 ( 8 3x) 735 ( 7 9x) 2 x (29 + 3x) 735 (52 + 9x) 5+x ( 7 9x) 0 9x 25 9x 80+9x 9(5+x) (38 + 9x) A 2 = 2 x 25 9x 20 3x 5+x 0+9x ( + 3x) 735 (29 + 3x) 80+9x 5+x 50 3x 5 9x ( 2 x) 735 (52 + 9x) 9(5+x) 0+9x 5 9x 80 9x ( 73 9x) 5+x (38 + 9x) 735 ( + 3x) 245 ( 2 x) 735 ( 73 9x) 47 ( 22 3x) Očito je ovaj pristup za Hermitske matrice vrlo pogodan i efikasan, s obzirom da se inverz blok dijagonalne matrice D može jednostavno odrediti prostim nalaženjem inverza dijagonalnih matrica D ii, i =, m.,.,..

110 2.. Grevilov metod pregrad ivanja 07 Primer Za blok Hermitsku matricu F 6 iz Primera 2..3, izraz dobijen u Teoremi se može primeniti za odred ivanje Moore-Penrose-ovog inverza F 6. Blokovske matrice L i D dobijene ranije se mogu uzeti za evaluaciju matrice F 6, kao F 6 = (L ) D L a 3 a 2 a 0 5+a 5+a 5+a = a 0 5+a = 3 a a a 0 5+a a a a a a 5+a a 2 + a a 3 a. 2. Grevilov metod pregrad ivanja Trenutno, Leverrier Faddeev algoritam [4 i metod pregrad ivanja (partitioning metod [27) su najčešće uzimani za izračunavanje Moore-Penrose-ovog inverza. Različite modifikacije partitioning algoritma na skupovima polinomijalnih i racionalnih matrica su napravljene i testirane u radu [87. Prvi metod pregrad ivanja (eng. partitioning metod) potiče od Grevilea [27. Ovaj metod predstavlja rekurzivni algoritam za izračunavanje Moore-Penroseovog inverza. U ovom metodu se koristi izraz koji povezuje Moore-Penroseov inverz matrice [A a (matrice A sa dodatom kolonom a) i Moore-Penroseov inverz matrice A. Polazni slučaj je Moore- Penroseov inverz prve kolone a matrice A, koji se izračunava prema formuli Dalje, za svaku kolonu a i, A = a = { a a a, a 0 a a = 0. 2 i n matrice A C m n r A i = [A i a i, važi sledeće. Ako je (2..)

111 2.. Grevilov metod pregrad ivanja 08 tada je gde je A i = [ A i d ib i b i d i = A i a i,, 2 i n c i = a i A i d i = (I A i A i )a i, b i = { c i c i c i c i 0 +d i d (A i i ) d i c i = 0. (2..2) Konačno A = A n. U [87 je opisan algoritam za tačno izračunavanje Moore-Penroseovog inverza, koji se zasniva na primenji rezidualne aritmetike i ovakvom metodu pregrad ivanja. Primer 2... Data je matrica A = Tada je Moore-Penrose-ov inverz sub-matrice A jednak A = a = a a = [ 2 3. a 4 Za indeks i = 2 dobijamo sledeće elemente: d 2 = A a 2 = [ c 2 = a 2 A d 2 = 2 b 2 = c c 2 = 2c = 5 7, 5 7 = , Tada je Moore-Penrose-ov inverz matrice A jednak A 2. [ [ A = A A 2 = d 2 b 2 b = Greville je predložio rekurzivan algoritam koji povezuje pseudoinverze matrice R podržane odgovarajućim vektorom r pseudoinverza R od R. Neka je A bilo koja matrica dimenzija m n. Neka je A i podmatrica od A koja sadrži prve i kolone matrice A. Ako i-tu kolonu matrice A označimo sa a i, onda je A i podeljena kao A i = [A i a i.

112 2.. Grevilov metod pregrad ivanja 09 Algoritam 2.2 Grevilleov rekurzivni algoritam pregrad ivanja : Početne vrednosti: { A = a a = a a, a 0 a a = 0. 2: Rekurzivni korak: Za svaku kolonu a i, 2 i n od A izračunamo [ A A i = i d ib i b, 2 i n i gde je 2.: d i = A i a i, 2.2: c i = a i A i d i = (I A i A i )a i, 2.3: { c b i = i c c i c i 0 i +d i d (A i i ) d i c i = 0. 3: Uslov zaustavljanja: A = A n. (2..3) (2..4) Implementacija Algoritma 2.2 Na početku opisaćemo nekoliko pomoćnih procedura. A. Generisanje i-te kolone a i od A: Col[a List,i := Return[Transpose[{Transpose[a[[i} ; B. Podmatrica A j = [a,..., a j koja sadrži prvih j n kolona matrice A = A n = [a,..., a n je generisana na sledeći način: Adopuna[a List,j := Block[{}, {m,n}=dimensions[a; izlaz=drop[transpose[a,-(n-j); Return[Transpose[Take[Transpose[a,j; ; C.Konjugovana i transponovana matrica se formira sledećom funkcijom: Hermit[a :=Conjugate[Transpose[a; Korak 2. algoritma 2.2 se implementira sledećom funkcijom koja čuva prethodne izračunate vrednosti. Implementacija Koraka 2.. Block[{s={}}, s=a[a,i-.col[a,i; If[Length[s==,Return[s[[,Return[s; ;

113 2.. Grevilov metod pregrad ivanja 0 Implementacija Koraka 2.2. CC[a List,i :=CC[a,i= If[Length[DD[a,i==0, Col[a,i-Adopuna[a,i-DD[a,i, Col[a,i-Adopuna[a,i-.DD[a,i ; Implementacija Koraka 2.3. B[a List,i :=B[a,i= Block[{nula,m,j,k,n}, {m,n}=dimensions[cc[a,i; nula=tabela[0,{j,,m},{k,,n}; If[CC[a,i==nula, If[Length[DD[a,i==0,(/(+Hermit[({{DD[a,i}}). ({{DD[a,i}}))[[,)Hermit[{A[a,i-}. ({{DD[a,i}}), (/(+Hermit[DD[a,i.DD[a,i)[[,) Hermit[A[a,i-.DD[a,i, (/(Hermit[CC[a,i.CC[a,i)[[,)CC[a,i ; Implementacija Koraka.,Koraka 2.,Koraka 3. A[a List,i :=A[a,i= Block[{b=a}, If[i==, (/(Hermit[a[[i.Col[a,i)[[)Hermit[a[[, If[Length[DD[a,i==0, b={a[a,i-}-dd[a,ihermit[b[a,i, b=a[a,i--dd[a,i.hermit[b[a,i; b=append[b,hermit[b[a,i[[ ; Iterativna implementacija je predstavljena na sledeći način. DD[a List,i,a0 List:= Block[{s={}}, s=a0.col[a,i; If[Length[s==, Return[s[[, Return[s ; CC[a List,i,a0 List:= If[Length[DD[a,i,a0==0, Col[a,i-Adopuna[a,i-DD[a,i,a0, Col[a,i-Adopuna[a,i-.DD[a,i,a0 B[a List,i,a0 List:= Block[{nula,m,j,k,n} {m,n}=dimensions[cc[a,i,a0; nula=table[0,{j,,m},{k,,n}; If[CC[a,i,a0==nula, If[Length[DD[a,i,a0==0, (/(+Hermit[({{DD[a,i,a0}}). ({{DD[a,i,a0}}))[[,)Hermit[{a0}. ({{DD[a,i,a0}}), (/(+Hermit[DD[a,i,a0.DD[a,i,a0)[[,) Hermit[a0.DD[a,i,a0, (/(Hermit[CC[a,i,a0.CC[a,i,a0)[[,)CC[a,i,a0

114 2.. Grevilov metod pregrad ivanja A[a List:= Block[{b=a,m,n,i}, {m,n}=dimensions[a; za[i=,i<=n,i++, If[i==, a0=(/(hermit[a[[i.col[a,i)[[)hermit[a[[, If[Length[DD[a,i,a0==0, b={a0}-dd[a,i,a0hermit[b[a,i,a0, b=a0-dd[a,i,a0.hermit[b[a,i,a0 ; b=append[b,hermit[b[a,i,a0[[; a0=b; ; Return[a0; Partitioning[a List:= Block[{}, A[a Primer Za matricu A = dobija se A = Primer Za matricu A = A = dobijamo.

115 3. Višekriterijumska optimizacija Iako je linearno programiranje veoma primenljivo u praksi, mnoge probleme iz prakse je nemoguće adekvatno linearizovati a da se pritom drastično ne izgubi na tačnosti. U tom slučaju primenjuju se metodi nelinearnog programiranja. Osim nelinearnosti, u mnogim problemima je potrebno naći optimum više od jedne funkcije cilja. U tom slučaju, moramo rešavati problem višekriterijumske optimizacije. Ukoliko sve funkcije cilja imaju optimum u istoj tački, problem je trivijalan i direktno se svodi na problem nelinearnog ili linearnog programiranja. U praksi je ova situacija veoma retka. Postoji više metoda za rešavanje problema višekriterijumske optimizacije [46. Zajedničko svim tim metodima je da se polazni problem na odgovarajući način svodi na problem linearnog i nelinearnog programiranja. Višekriterijumska optimizacija se može posmatrati kao nastavak istraživanja u klasičnoj (jednokriterijumskoj) optimizaciji, uz izvesna proširenja. Formalno, osnovno proširenje je uvod enje vektorske kriterijumske funkcije, što dovodi do problema vektorskog maksimuma. Suštinski, potrebno je da se proširi koncept optimalnosti. Razmatrajući problem vektorskog maksimuma koncept optimalnosti se zamenjuje konceptom neinferiornosti (Pareto optimalnosti). Može se uvesti pojam opšteg (jedinstvenog) kriterijuma optimizacije, koji uključuje kriterijumske funkcije i donosioca odluke. Rešenje zadatka višekriterijumske optimizacije koje se dobija prema takvom kriterijumu je optimalno. U tom slučaju pojam optimalnog rešenja iz klasične optimizacije može se zadržati i u višekriterijumskoj. Med utim, teškoće se upravo javljaju pri pokušaju formalizacije takvog jedinstvenog kriterijuma. Zato se u višekriterijumskoj optimizaciji koriste dve faze ili etape. U prvoj fazi se odred uje skup boljih rešenja na osnovu vektorske kriterijumske funkcije, a u drugoj se na osnovu preferencije donosioca odluke usvaja konačno rešenje, koje se može nazvati optimalnim. Skup rešenja koji se prezentira donosocu odluke trebalo bi da sadrži mali broj rešenja, koja su neinferiorna prema datim kriterijumskim funkcijama. Problem višekriterijumske optimizacije se najčešće javlja u planiranju složenih sistema; na primer, regionalni razvoj, razvoj vodoprivrednih ili elektroprivrednih sistema, urbano planiranje i očuvanje prirodne okoline [59. Višekriterijumski problem se javlja u ekonomiji kao problem odred ivanja tržišne ravnoteže [59. Sličan problem se javlja i kao problem ravnoteže u teoriji igara [59. U teoriji igara razmatraju se igre sa više igrača, što se u teoriji odlučivanja javlja kao grupno odlučivanje ili odlučivanje sa više donosioca odluke. U ovoj disertaciji izložićemo problem višekriterijumske optimizacije, kao i metode za njeno rešavanje. Najpre ćemo dati definiciju problema višekriterijumske optimizacije kao i neophodnih pojmova za kasnija razmatranja. Teorijski ćemo obraditi i dati implementaciju nekoliko klasičnih metoda višekriterijumske optimizacije. Svaki od opisanih 2

116 3.. Osnovni pojmovi 3 metoda biće ilustrovan na jednom ili više primera. Razmatranja vezana za implementaciju metoda su originalna i preuzeta su iz radova [83, [84 kao i iz monografije [ Osnovni pojmovi Opšta formulacija višekriterijumske optimizacije (VKO) poseduje opšti oblik max Q(x) = Q (x),..., Q l (x), x R n p.o. f i (x) 0, i =,..., m (3..) h i (x) = 0, i =,..., k. gde su:q (x),..., Q l (x), f (x),..., f m (x), g (x),..., g m (x) realne funkcije od n promenljivih koje su sadržane u vektoru x = (x,..., x n ). U ovom zadatku traži se rešenje x koje maksimizira svih l funkcija cilja. Zato se zadatak višekriterijumske optimizacije (VKO) naziva i zadatak vektorske optimizacije. Radi jednostavnosti ovde se razmatraju samo problemi maksimizacije. Poznato je da se zadatak minimizacije jednostavno prevodi u zadatak maksimizacije množenjem kriterijumske funkcije sa. Sve nadalje izložene definicije i metode moguće je prilagoditi da važe za rešavanje zadatka minimizacije. Kažemo da je X R n skup dopustivih rešenja ako važi X = {x f i (x) 0, i =,..., m; h i (x) = 0, i =,..., k}. Svakom dopustivom rešenju x X odgovara skup vrednosti kriterijumskih funkcija, tj. vektor Q(x) = (Q (x), Q 2 (x),..., Q l (x)). Na taj način se skup dopustivih rešenja preslikava u kriterijumski skup, tj. S = {Q(x) x X}. U daljem tekstu biće korišćeni sledeci pojmovi: - Marginalna rešenja zadatka VKO se odred uju optimizacijom svake od funkcija cilja pojedinačno nad zadatim dopustivim skupom, tj. rešavanjem l jednokriterijumskih zadataka max Q j (x), x R n p.o. f i (x) 0, i =,..., m h i (x) = 0, i =,..., k. Marginalna rešenja ćemo obeležavati sa x (j) = (x (j),x (j) 2,..., x (j) n ), gde je x (j) optimalno rešenje dobijeno optimizacijom j-te funkcije cilja nad zadatiom dopustivim skupom X. - Idealne vrednosti funkcija cilja, označene sa Q j jesu vrednosti funkcija cilja za marginalna rešenja Q j = Q j (x (j) ), j =,..., l.

117 3.. Osnovni pojmovi 4 - Idealne vrednosti funkcija cilja odred uju idealnu tačku u kriterijumskom prostoru, tj. idealnu vrednost vektorske funkcije Q = (Q, Q 2,..., Q l ). - Ako postoji rešenje x koje istovremeno maksimizira sve funkcije cilja, tj. x = {x Q j (x) = Q j, j =,..., l}, onda se takvo rešenje naziva savršeno resenje. U najvećem broju slučajeva marginalna rešenja se razlikuju i savršeno rešenje ne postoji. Kada savršeno rešenje postoji, tada se u suštini ne radi o problemu VKO. Veoma je važno imati u vidu da su u realnim problemima ciljevi gotovo uvek u koliziji, što znači da ne mogu svi biti dostignuti u potpunosti. Zbog toga najčečešće nije moguće strogo definisati optimum niti za svaka dva rešenja formalno odrediti koje je bolje od drugog. Iz tog razloga proces dobijanja rešenja zahteva učešće donosioca odluke (u daljem tekstu DO). To je najčešće neko ko ima dublji uvid u problem i po čijem se zahtevu pristupa rešavanju. Donosilaca odluke može biti i više i tada se problem može dodatno iskomplikovati zbog njihovih različitih ciljeva, udela u odlučivanju i stepena odgovornosti koji su spremni da preuzmu. Činjenica da zadaci VKO po pravilu nemaju savršeno rešenje upućuje na preispitivanje koncepta optimalnosti i definicije optimalnog rešenja. Ključnu ulogu u tome ima koncept Pareto optimalnosti. To je proširenje poznatog koncepta optimalnosti koj se koristi u klasičnoj jednokriterijumskoj optimizaciji. Pareto optimum se definiše na sledeći način. Definicija 3... Dopustivo rešenje x predstavlja Pareto optimum zadatka VKO ako ne postoji neko drugo dopustivo rešenje x takvo da važi Q j (x) Q j (x ) j =,..., l pri čemu bar jedna od nejednakosti prelazi u strogu nejednakost >. Drugim rečima, x je Pareto optimum ako bi poboljšanje vrednosti bilo koje funkcije cilja prouzrokovalo pogoršanje vrednosti neke druge funkcije cilja. Za Pareto oprimum postoje sledeći sinonimi: efikasno, dominantno i nedominirano rešenje. Pored Pareto optimuma definišu se slabi i strogi (jaki) Pareto optimumi. Definicija Dopustivo rešenje x je slabi Pareto optimum ako ne postoji neko drugo dopustivo rešenje x takvo da važi Q j (x) > Q j (x ) j =,..., l. Drugim rečima x je slabi Pareto optimum ako nije moguće istovremeno poboljšati sve funkcije cilja.

118 3.2. Simboličke transformacije u višekriterijumskoj optimizaciji 5 Slika 3... Geometrijska interpretacija Pareto optimalnih i Slabo Pareto optimalnih rešenja Definicija Pareto optimalno rešenje x je strogi Pareto optimum ako postoji broj β > 0 takav da za svaki indeks j {,..., l} i za svako x koje zadovoljava uslov Q j (x) > Q j (x ) postoji bar jedno i {,..., l} \ {j} takvo da je i da važi Q i (x) > Q i (x ) Q j (x) Q j (x ) Q i (x ) Q i (x) β. Strogi Pareto optimum izdvaja ona Pareto rešenja čije promene ne prouzrokuju prevelike relativne promene u funkcijama cilja. Odnos izmed u opisanih optimuma je takav da svaki skup strožijih Pareto optimuma predstavlja podskup slabijih optimuma, tj. svaki Pareto optimum je istovremeno i slabi Pareto optimum, a svaki strogi Pareto optimum je i Pareto optimum. Odnos svih skupova dat je na slici. Slika Odnos izmed u skupova Pareto optimalnih rešenja 3.2 Simboličke transformacije u višekriterijumskoj optimizaciji Jedan od ciljeva našeg istraživanja bila je implementacija glavnih metoda višekriterijumske optimizacije u kompjuterskom algebarskom sistemu MATHEMATICA. Programski paket MATHEMATICA je jedan od raznovrsnih programskih jezika dostupnih danas, primenljiv i kod simboličkih i kod numeričkih izračunavanja [48, 3. Nekoliko funkcija za ograničenu numeričku optimizaciju je dostupno u programskom paketu MATHEMATICA (videti [48, [3).

119 3.2. Simboličke transformacije u višekriterijumskoj optimizaciji 6 Funkcije Maximize i Minimize dozvoljavaju specifikaciju funkcije cilja za maksimizovanje i minimizovanje, zajedno sa skupom ograničenja. U svim slučajevima pretpostavljeno je da su sve promenljive ograničene da nemaju negativne vrednosti. Minimize[f, {cons}, {x, y,...} ili Minimize[{f, cons}, {x, y,...}, minimizovati f u oblasti specifikovane ograničenjima cons; Maximize[f, {cons}, {x, y,...} or Maximize[{f, cons}, {x, y,...}, naći maksimum od f, u oblasti specifikovanoj sa cons. Minimize i Maximize se može u pravilnom rešavanju bilo kog problema polinomnog programiranja functionu kojem funkcije cilja f i ograničenja cons obuhvataju proizvoljne polinomske funkcije promenljivih [3. Vazna karakteristika Minimize i Maximize je da oni uvek pronalaze globalne minimume i maksimume[3. Funkcije NMinimize i NMaximize implementiraju nekoliko algoritama za pronalazenje ograničenja globalnog optimuma. Izrazi NMaximize[{f, cons}, vars, Method->{method,mopts}, NMinimize[{f, cons}, vars, Method->{method,mopts}, pronalaze globalni maksimum i minimum, respektivno, za funkcije cilja f po ograničenjima cons, korišćenjem metoda optimizacije method sa opcijama metoda definisanim u mopts. Glavni detalji višekriterijumske optimizacije koji su specifični za simbolička izračunavanja opisani su u radu [83. Implementacija je izvedena u programskom paketu MATHEMATICA. Diskutovani su metod težinskih koeficijenata, glavni metodi prioriteta i metodi ciljnog programiranja. Posebno je obrad ena simbolička konverzija datih funkcija cilja i ograničenja u odgovarajući problem jende funkcije cilja. Transformacije iz višekriterijumskog u jednokriterijumski problem u proceduralnim programskim jezicima su zapravo kombinacije realnih vrednosti, i podrazumevaju procedure koje zavise od funkcija cilja. U našoj implementaciji ove transformacije su izvršene u simboličkoj formi, uzimanjem kombinacija ciljnih funkcija, koje uključuju nedefinisane sibole i neoznačene promenljive. Predlažemo sledeće jasne prednosti koje proističu iz implementacije problema višekriterijumske optimizacije u simboličkom programskom jeziku MATHEMATICA, poštujući traditionalnu implementaciju u proceduralnim programskim jezicima.. Mogućnost da se koriste proizvoljne ciljne funkcije i ograničenja (koji nisu definisani podprogramima) u toku izvršenja implementacione funkcije. Glavni aspekti ovih prednosti su: (i) Problem višekriterijske optimizacije (3..) je predstavljen pogodnom unutrašnjom formom, čiji elementi mogu biti korišćeni kao formalni parametri u optimizacijskom softveru. Unutrašnja forma problema (3..) je ured ena trojka {Q (x),..., Q l (x)}, {f (x) 0,..., f m (x) 0, h (x) = 0,..., h k (x) = 0}, (3.2.) {x,..., x n } gde x su argumenti za ciljne funkcije i ograničenja. Prvi element unutrašnje forme, označen sa q, je lista {Q (x),..., Q l (x)} čiji su elementi neodred eni izrazi koji predstavljaju funkcije cilja. Drugi element u (3.2.) je lista ograničenja f i (x) 0, i =,..., m,

120 3.3. Ispitivanje Pareto optimalnosti 7 h i (x) = 0, i =,..., k. Ovaj argument ćemo označavati kao constr. Treći element, u oznaci var, predstavlja generičku listu promenljivih {x,..., x n }, odred enu na osnovu x. U tom smislu, dozvoljeno je da neki argumenti u x mogu biti definisani u globalnom okruženju MATHEMATICA kernela. (ii) Ako je f funkcija cilja jednokriterijumskog problema optimizacije dobijenog iz (3.2.), možemo izračunati njen maksimum koristeći standardnu funkciju Maximize: Maximize[f, constr, var. Mogućnost softvera da procesuira proizvoljnu funkciju cilja pri proizvoljnim ograničenjima omogućuje primenu naših optimizacionih modela. 2. Mogućnost korišćenja nizova funkcija, čiji elementi se mogu selektovati i kasnije primeniti na date argumente. Ove strukture nisu svojstvene proceduralnim programskim jezicima. Svaki izraz sadržan u listi q = {Q (x),..., Q l (x)} je odmah moguće primeniti na date argumente. Moguće je izračunati vrednost funkcije q[[i u tački x0 koristeći transformaciona pravila q[[i/.x->x0 ili q[[i/.thread[rule[x,x0. MATHEMATICA pretražuje delove funkcije q[[i koje je moguće zameniti koristeći navedeno pravilo, a onda izvodi zamenu. Takod e, moguće je definisati funkciju koja uzima drugu funkciju kao argument, na primer: pf[f,x :=f[x+f[-x. Kasnije je moguće koristiti izraze kao pf[q[[i,x0. U izrazu f[x, ime funkcije f je takod e izraz, i može se tretirati kao bilo kakav numerički izraz [3. Specijalno, može se uzeti bilo koj element iz q kao argument u funkcijama Minimize i Maximize. 3. Efektivna i prirodna simbolička transformacija od višekriterijumskog modela u odgovarajući jedno-kriterijumski model. Mnogo optimizacionih metoda je bazirano na podalgoritmima koji zahtevaju konstrukciju funkcija cilja opšte forme G (q(x), Φ(f(x), h(x), λ)), gde je λ mogući skup veštačkih promenljivih a Φ je proizvoljna funkcija. Transformacija višekriterijumskog u jednokriterijumski problem u proceduralnim jezicima je u osnovi kombinacija realnih vrednosti. Ove transformacije ćemo izvoditi u simboličkoj formi, koristeći kombinacije neizračunatih izraza i simbola. 3.3 Ispitivanje Pareto optimalnosti Kao po pravilu, nemoguće je pronaći potpun beskonačan skup Pareto optimalnih rešenja za specijalne probleme iz realnog života. Iz ovog razloga inženjerski višekriterijumski problem naredbe nastoji da odredi konačan podskup kriterijumski različitih Pareto

121 3.3. Ispitivanje Pareto optimalnosti 8 optimalnih rešenja. Takod e, ovde postoje brojni metodi za dokazivanje Pareto optimalnosti. Ovi metodi takod e mogu biti korišćeni da se pronad e prvobitno Pareto optimalno rešenje [4, [. U radu [83 uveden je algoritam za odred ivanje Pareto optimalnosti rešenja višekriterijumskog problema, koristeći direktan dokaz u saglasnosti sa definicijom Pareto optimalne tačke. Algoritam 3. Ispitivanje Pareto optimalnosti fiksirane tačke x. Ulaz: Optimizacioni problem (3..). Proizvoljna fiksirana tačka x. : Odrediti skup X = Reduce[constr/.List -> And, var i postaviti Optimal=true. 2: Za svaki indeks j =,..., l ponoviti Korake 2. i 2.2: 2.: Generisati sledeću konjunkciju ograničenja P ar = X && u (x) &&... && u l (x) (3.3.) pri čemu je u i (x) = { Qi (x) Q i (x ), j i, Q i (x) > Q i (x ), j = i. 2.2: Ako je P ar =, postaviti Optimal := false i ići na Korak 3. 3: Rezultat: Vratiti vrednost promenljive Optimal kao rezultat. (3.3.2) Odgovarajuća funkcija u našoj implementaciji je IsPareto[q List,constr List, var List, sol List, pri čemu su formalni parameteri uzeti u sledećem smislu: q, constr, var: unutrašnja reprezentacija problema višekriterijumske optimizacije (3..); sol: rešenje odgovarajućeg problema jedno-ciljne optimizacije. Pozivanje ove funkcije je oblika IsPareto[q, constr, var, First[Rest[Maximize[fun, constr, var ; gde je fun, constr, var reprezentacija odgovarajućeg problema jedno-ciljne optimizacije. U ovoj funkciji koristimo sledeću verziju standardnih MATHEMATICA funkcija Reduce i FindInstance [3: Reduce[expr, var pronalazi sve realne vrednosti promenljivih sadržanih u listi var koja zadovoljava skup brojeva koji sadrži logičke veze i invarijantne polinomske jednakosti i nejednakosti. FindInstance[expr, var odred uje vrednosti promenljivih iz var u kojima je tvrd enje expr tačno. Ako nije nad ena ni jedna vrednost za var, rezultat je prazna lista. Parametar expr može sadržati jednakosti, nejednakosti, oblast specifikacije i kvantifikatore [3. <<Algebra InequalitySolve IsPareto[q_List, constr_list, var_list, res_list := Module[{X = {}, l = Length[q}, X = Reduce[constr/.{List->And}, var; Ok = ; (* Korak. *) For[j =, j <= l, j++, (* Korak 2. *)

122 3.4. Metod težinskih koeficijenata 9 Par=X; For[i =, i <= l, i++, (* Korak 2.. *) If [j!= i, Par = Par && q[[i >= (q[[i/. res), Par = Par && q[[i > (q[[i/. res) ; ; (* Par is of the form (4.), (4.2) *) If[FindInstance[Par, var!= {}, Ok = 0; Break[ ; (* Korak 2.2. *) (*Ako je nadjena instanca za var, prekinuti ciklus*) ; If[Ok ==, Print["Resenje ", {q/.res, res}, " je Pareto optimalno", Print["Resenje ", {q/.res, res}, " nije Pareto optimalno"; ; Return[Ok; (* Korak 3. *) 3.4 Metod težinskih koeficijenata Metod težinskih koeficijenata je najstariji metod za VKO-u koji je korišćen. Po ovom metodu uvode se težinski koeficijenti w i za sve kriterijumske funkcije Q i (x), i =,..., l, pa se problem optimizacije svodi na sledeću skalarnu optimizaciju max Q(x) = p.o. x X, l w i Q i (x) (3.4.) i= gde težine w i, i=,..., l ispunjavaju sledeće uslove l w i =, w i 0, i =,..., l. i= Često se koristi metod težinskih koeficijenata tako što se zadaju vrednosti ovih koeficijenata. Med utim, to uvek izaziva odred ene teškoće i primedbe na ovakav postupak, jer se unosi subjektivan uticaj na konačno rešenje preko zadatih vrednosti težinskih koeficijenata. Glavna ideja u metodu težinskih koeficijenata je da se odaberu težinski koeficijenti w i koji odgovaraju ciljnim funkcijama Q i (x), i =,..., l. Mnogi autori su razvili sistematske pristupe u selektovanju težina, čiji se pregled može naći u [3, [36 i [04. Jedna od poteškoća ovog metoda je da variranje težina konzistentno i neprekidno ne mora uvek da rezultuje u tačnoj i kompletnoj reprezentaciji Pareto optimalnog skupa. Ovaj nedostatak je diskutovan u [22.

123 Metod težinskih koeficijenata 20 Teorema Ako su svi težinski koeficijenti w i pozitivni, onda je rešenje problema (3.4.) Pareto optimalno rešenje polaznog problema VKO. Dokaz. Neka je x rešenje problema (3.4.), i neka su svi težinski koeficijenti strogo pozitivni. Pretpostavimo da ono nije Pareto optimalno, tj. da postoji x S tako da za i =,..., l važi Q i (x) Q i (x ), pri čemu važi bar jedna stroga nejednakost (recimo za indeks j). Kako je w i > 0 za svako i, važi l w i Q i (x) > i= l w i Q i (x ) i= pa dobijamo kontradikciju sa pretpostavkom da je x rešenje težinskog problema (3.4.). Sledi da je x Pareto optimalno. Teorema Ako je za svako i {,..., l} ispunjen uslov w i 0, onda je rešenje problema (3.4.) slabi Pareto optimum polaznog problema VKO. Dokaz. Neka je x rešenje problema (3.4.) i da je ispunjen uslov w i 0. Pretpostavimo da ono nije slabo Pareto optimalno, tj. da postoji x S tako da za i =,..., l važi Q i (x) > Q i (x ). Svi koeficijenti w i su nenegativni i bar jedan je strogo veći od nule (zbog l i= w i = ), pa važi l l w i Q i (x) > w i Q i (x ) i= pa dobijamo kontradikciju sa pretpostavkom da je x rešenje težinskog problema. Dakle, x je slabi Pareto optimum. Teorema Ako je rešenje problema (3.4.) jedinstveno, ono je onda i Pareto optimalno. Dokaz. Neka je x jedinstveno rešenje problema (3.4.). Pretpostavimo da ono nije Pareto optimalno rešenje problema VKO, tj. da postoji x S tako da za i =,..., l važi Q i (x) Q i (x ), pri čemu važi bar jedna stroga nejednakost (recimo za indeks j). Primetimo da to znači x x. Kako je w i 0 za svako i, važi i= l w i Q i (x) i= l w i Q i (x ) i= Ako bi važila stroga nejednakost, onda x ne bi bilo rešenje problema (3.4.). Dakle, važi jednakost. To znači da postoje dva različita rešenja x i x problema (3.4.), što je kontradikcija. Pokazaćemo sada jedno jače tvrd enje.

124 Metod težinskih koeficijenata 2 Teorema Ako su svi w i > 0, i {,..., l}, tada je rešenje problema (3.4.) strogi Pareto optimum problema VKO. Dokaz. Neka je x rešenje težinskog problema. Pokazali smo da je ono Pareto optimalno. Dokažimo da je to rešenje takod e i strogi Pareto optimum sa konstantom M = (k ) max i,j Pretpostavimo suprotno, da postoje x S i indeks i takvi da je Q i (x) > Q i (x ) pri čemu za svako j za koje je Q j (x ) > Q j (x) važi Q i (x ) Q i (x) < M(Q j (x) Q j (x )). Zamenom M = (k )w j w i dobijamo Q i (x ) Q i (x) w i < w j (Q j (x) Q j (x )) > 0. k Dakle, za svako j i za koje je Q j (x ) > Q j (x) važi prethodna nejednakost. Za one indekse j i za koje je Q j (x ) Q j (x) gornja nejednakost svakako važi. Dakle, za svako j i važi Q i (x ) Q i (x) w i < w j (Q j (x) Q j (x )), k pa sabiranjem ovih nejednakosti za j =,..., i, i +,..., l dobijamo odnosno w i (Q i (x ) Q i (x)) < l w j Q j (x ) < j= l j=,j i w j w i. w j (Q j (x) Q j (x )) l w j Q j (x). Dobijamo da x nije rešenje težinskog problema tj. dolazimo do kontradikcije. Zaključujemo da je x zaista strogi Pareto optimum polaznog problema. Težinski koeficijent na neki način treba da predstavi značaj kriterijumske funkcije kojoj je dodeljen. Da bismo to postigli najpre moramo da normalizujemo kriterijumske funkcije tj. da ih promenimo tako da imaju približno jednake vrednosti, a pri tome da zadrže sve bitne osobine. Na primer, ako je kriterijumska funkcija linearna Q j (x) = n i= a ix i, tada će normalizovan oblik ove funkcije biti j= Q j (x) n i= a. i Ako je kriterijumska funkcija ograničena tada se za njen normalizovan oblik može uzeti sledeća funkcija čiji je kodomen [0, : Q i (x) = Q i (x) Q i max x S Q i (x) Q i,

125 Metod težinskih koeficijenata 22 Ukoliko donosilac odluke sam definiše težinske koeficijente, onda ovaj metod spada u grupu a priori metoda. Med utim, najčešće se malo zna o tome kako koeficijente treba izabrati. Zato se obično težinski problem rešava za razne vrednosti vektora (w,..., w l ) i na taj način dobijaju različita rešenja med u kojima DO bira ono koje mu najviše odgovara. Ako se koristi ovakav pristup, onda ovaj metod postaje a posteriori metod. Glavna mana ove metode je teškoća odred ivanja težinskih koeficijenata kada nema dovoljno podataka o problemu. Zato predlažemo algoritam za automatsko generisanje težinskih koeficijenata radi dobijanja Pareto optimalnih tačaka. Za pozitivne težine i konveksni problem, optimalna rešenja jednokriterijumskog problem jesu Pareto optimalna [4, tj. minimiziranje odgovarajućeg jednokriterijumskog problema je dovoljno za Pareto optimalnost. Med utim, formulacija ne obezbed uje neophodan uslov za Pareto optimalnost [6. Kada je višekriterijumski problem konveksan, primena funkcije Compositions[k,l produkuje b Pareto optimalnih rešenja, gde integer b ispunjava b ( ) k+l l. Algoritam 3.2 Izračunavanje Pareto optimuma generisanjem težinskih koeficijenata Ulaz: Problem višekriterijumske optimizacije (3..), zadat sa l funkcija cilja Q i, i =, l, sa skupom ograničenja X (reprezentovan skupom nejednačina). : Izabrati proizvoljno fiksiran prirodan broj k. 2: Generisati listu od p elementa koja sadrži kompozicije broja u l delova, na sledeći način: W = {( ω k,..., ω l k ) ω,..., ω l Z l ω i = k}. (3.4.2) 3: Za svako i =, p izvršiti Korake 2., 2.2 i 2.3: 2.: Upotrebiti listu W i = {W i,,..., W i,l } kao skup težinskih koeficijenata. 2.2: Izračunati funkciju cilja: f i (x) := l j= W i,j Q j (x). 2.3: Rešiti sledeći problem jedno-kriterijumske optimizacije: i= Min. f i (x) (3.4.3) p.o. x X Sledi opis implementacije metoda težinskih koeficijenata. Pozivom standardne funkcije Compositions[n,l možemo odrediti l-dimenzionalne tačke, čiji zbir koordinata daje n. Kada tu listu podelimo sa brojem n, možemo dobiti tačke u intervalu [0, čije koordinate mogu predstavljati koeficijente w i. Na taj način smo obezbedili automatsko generisanje koeficijenata w i potrebnih za realizaciju metoda. Ostavljena je i mogućnost da korisnik sam izabere koeficijente w i. To se postiže tako što pri pozivu funkcije MultiW, kojom se implementira metod težinskih koeficijenata, poslednji parametar zadamo kao nepraznu listu, tj. zadamo koeficijente w i u obliku liste. Sledi program kojim je implementiran metod težinskih koeficijenata [83. Ulazne veličine: q,var List - ciljna funkcija i lista njenih parametara; constr List - lista ograničenja; var - korak podele intervala [0,;

126 Metod težinskih koeficijenata 23 w List - lista težinskih koeficijenata u intervalu [0,. Prazna lista kao vrednost parametra w označava da će težinski koeficijentu biti generisani pomoću funkcije Compositions. Inače, pretpostavlja se da je svaki element w[[i, Length[w liste w jedan mogući skup koeficijenata w j, j =,..., l: w[[j = w[[i, j, j =,..., l. Lokalne promenljive: fun - formirana funkcija za jednodimenzionalnu optimizaciju. MultiW[q_, constr_list, var_list, w_list := Module[{i=0,k,l=Length[q,res={},W={},fun,sk={},qres={},mxs={},m,ls={}}, If[w=={}, k=input["initial sum of weighting coefficients?"; W=Compositions[k,l/k, W=w; ; Print["Weighting Coefficients: "; Print[W; Print["Single-objective problems: "; k = Length[W; For[i=, i<=k, i++, fun = Simplify[Sum[W[[i,j*q[[j, {j,l}; (* 3 *) AppendTo[res, Maximize[fun, constr, var; (* *) ; Print["Solutions of single-objective problems: "; Print[res; For[i=, i<=k, i++, AppendTo[qres, q/.res[[i, 2 ; AppendTo[mxs, res[[i, ; ; m=max[mxs; For[i=, i<=length[mxs, i++, If[m==mxs[[i, AppendTo[ls, {qres[[i, res[[i,2}; ; Return[ls; Primer Maksimizovati funkcije koje se nalaze u listi: prema ograničenjima Q = {Q (x, y) = x + y, Q 2 (x, y) = 2x y} 3x + 5y 9, 3x + 2y 2, 5x 4y 9, x 0, y 0. Prvo se koristi prazna lista za parametar w, i na taj način se koeficijenti w i generišu pomoću funkcije Compositions: In[:=MultiW[{x+y,2x-y},{-3x+5y<=9,3x+2y<=2,5x-4y<=9,x>=0,y>=0},{x,y},{} U slučaju k = 5, izraz w=compositions[k,l/k produkuje w={{0, },{, 4}, { 2, 3},{ 3, 2}, { 4, }, {, 0}} Takod e, jednokriterijumski problemi optimizacije dati su sledećim unutrašnjim reprezentacijama. Za {w, w 2 }={0, }: {2x-y,{ 3x + 5y <= 9,3x + 2y <= 2,5x 4y <= 9,x >= 0,y >= 0},{x, y}} Za {w, w 2 }={ 5, 4 5 }: { 3 5 (3x y), { 3x + 5y <= 9,3x + 2y <= 2,5x 4y <= 9,x >= 0,y >= 0},{x, y}}

127 Metod težinskih koeficijenata 24 Za {w, w 2 }={ 2 5, 3 5 }: { 5 (8x y), { 3x + 5y <= 9,3x + 2y <= 2,5x 4y <= 9,x >= 0,y >= 0},{x, y}} Za {w, w 2 }={ 3 5, 2 5 }: { 5 (7x + y), { 3x + 5y <= 9,3x + 2y <= 2,5x 4y <= 9,x >= 0,y >= 0},{x, y}} Za {w, w 2 }={ 4 5, 5 }: { 3 5 (2x + y), { 3x + 5y <= 9,3x + 2y <= 2,5x 4y <= 9,x >= 0,y >= 0},{x, y}} Za {w, w 2 }={, 0}: {x + y, { 3x + 5y <= 9,3x + 2y <= 2,5x 4y <= 9,x >= 0,y >= 0},{x, y}} Elementi liste res, koji odgovaraju rešenjima jednokriterijumskih problema, jednaki su {{ 9 2,{x 3,y 3 2 }},{{ 9 2,{x 3,y 3 2 }},{{ 9 2,{x 3,y 3 2 }}, {{ 9 2,{x 3,y 3 2 }},{{ 9 2,{x 3,y 3 2 }},{{5,{x 2,y 3}}} a rezultat je lista koja sadrži vrednosti ciljnih funkcija u tački {x 2, y 3}, koja odgovara maksimalnoj vrednosti težinske funkcije (koja je jednaka 5): Out[={{{5,}, {x 2, y 3}} Sada se vrednosti koeficijenata w i definišu od strane korisnika. Vrednosti težinskih koeficijenata sadržane su u svakom elementu liste {{, 0}, {0.9, 0.}, {0.875, 0.25}, {0.8, 0.2}, {0, }}. In[2:=MultiW[{x+y,2x-y},{-3x+5y<=2,5x-4y<=9,x>=0,y>=0},{x,y}, {{,0},{0.9,0.},{0.875,0.25},{0.8,0.2},{0,}} Sledeći problemi se rešavaju u ciklusu: Za {w, w 2 }={, 0}: {x + y,{ 3x + 5y <= 9,3x + 2y <= 2,5x 4y <= 9,x >= 0,y >= 0},{x,y}} Za {w, w 2 }={0.9, 0.}: {.x + 0.8y,{ 3x + 5y <= 9,3x + 2y <= 2,5x 4y <= 9,x >= 0,y >= 0},{x,y}} Za {w, w 2 }={0.875, 0.25}: {.25x y,{ 3x + 5y <= 9,3x + 2y <=2,5x 4y <=9,x>=0,y >=0},{x,y}} Za {w, w 2 }={0.8, 0.2}: {.2x + 0.6y,{ 3x + 5y <= 9,3x + 2y <= 2,5x 4y <= 9,x >= 0,y >= 0},{x,y}} Za {w, w 2 }={0, }: {2x y,{ 3x + 5y <= 9,3x + 2y <= 2,5x 4y <= 9,x >= 0,y >= 0},{x,y}} Dobija se sledeća vrednost za listu res koja odgovara rešenjima ovih problema: {{5,{x 2,y >3}},{4.6,{x >2.,y >3.}},{4.5,{x >3.,y.5}}, {4.5,{x 3.,y.5}},{ 9 2,{x 3,y 3 2 }}} a rezultat je Out[2= {{{5,},{x 2,y 3}}}

128 Metod težinskih koeficijenata Linearni metod težinskih koeficijenata Uočimo sledeći problem normalizovane jednokriterijumske oiptimizacije: Max.: f(x) = l ω k Q o k(x), (3.4.) k= p.o.: x X, (3.4.2) gde težine w i, i=,..., l odgovaraju funkcijama cilja zadovoljavajući sledeće uslove: l w i =, w i 0, i =,..., l, (3.4.3) i= i Q o k (x) je normalizovana k-ta funkcija cilja Q k(x), k =, l. U slučaju linearnih težinskih koeficijenata, posmatramo problem višekriterijumske optimizacije (3..) sa linearnim funkcijama cilja sledećeg oblika: Q i (x) = l a ki x i, a ki R. k= Dakle, normalizovane funcije cilja imaju sledeću formu: Q o k(x) = Q k(x) S k = a k S k x + a k2 S k x a kn S k x n, u kojem slučaju su normalizacione vrednosti S k odred ene na sledeći način: S k = n a kj 0. j= Očigledno, u mnogim praktičnim problemima, funkcije cilja su predstavljene promenljivim mernim jedinicama (na primer, ako je Q mereno u kilogramima, Q 2 u sekundama, itd.). Iz tih je razloga neophodna normalizacija funkcija cilja. Jasno je da sada koeficijenti imaju vrednosti iz segmenta [0,. Sada, posmatrajmo dobijeni normalizovani problem linearnog programiranja Max.: f(x) = p.o.: x X, l k= ω k Q k (x) S k = ω a k S k x + a k2 S k x ω n a kn S k x n, (3.4.4) Sledeća teorema daje praktičan kriterijum za otkrivanje nekih Pareto optimalnih rešenja problema (3.4.4). Teorema Rešenje problema višekriterijumske optimizacije (3..) u slučaju linearnih funkcija cilja, generisano metodom težinskih koeficijenata (3.4.4) je Pareto optimalno rešenje ako su sledeći uslovi zadovoljeni: ω k S k > 0 za svako k {,..., l}.

129 Metod težinskih koeficijenata 26 Dokaz. Označimo sa x rešenje problema višekriterijumske optimizacije (3.4.4), dobijeno maksimizovanjem funkcije f(x) = l k= f(x), x X. dalje, dobijamo slede ca tvrd enja ω k Q o k (x). Očigledno, zadovoljeno je da f(x ) l ω k Q o k (x ) k= l k= l k= l k= ω k Q o k (x), x X ω k (Q o k (x ) Q o k (x)) 0, x X ω k S k (Q k (x ) Q k (x)) 0, x X (3.4.5) pretpostavimo suprotno, da rešenje x problema (3..) nije Pareto optimalno. onda tu postoje neki mogući slučajevi x problema (3..) za koje je zadovoljeno: Q k (x ) Q k (x ), koje podrazumeva da Q k (x ) Q k (x ) 0 k {,..., l}. Pritom tu postoji na kraju jedan indeks k i za koji je nejednakost stroga. Sumiranjem ovih nejednakosti i sa imajući u vidu pretpostavku teoreme da su sve vrednosti ω k S k pozitivne l k= ω k S k [Q k (x ) Q k (x ) < 0. Naravno,ova nejednakost je suprotna tvrd enju (3.4.5). rešenje x mora biti Pareto optimalno. U ovom slučaju, posmatrano Ova teorema predstavlja način konstruisanja težinskih koeficijnata ω i, i =, l u nameri da generiše samo Pareto optimalna rešenja primenom metoda težinskih koeficijenata. to je, ako donosilac odluke izabere pozitivan realan broj c, težinski koeficijenti su automatski generisani kao ω i = c S i, i =, l. Posledica Rešenje problema višekriterijumske optimizacije (3..) u slučaju nenormalizovanih lineartnih funkcija cilja, generisanih metodom težinskih koeficijenata (3.4.4) je Pareto optimalno ako su sledeći uslovi zadovoljeni: ω k > 0 za svako k {,..., l}. Mehanizovanje procesa konstruisanja skupa Pareto optimuma može biti izvšeno kompjuterski potpomognutom metodom težinskih koeficijenata w i, zadovoljavajući (3.4.3). Ovaj metod je baziran na standardnoj MATHEMATICA funkciji Compositions[. Na osnovu Teoreme 3.4.5, za pozitivne težine i konveksan problem, optimalno rešenje smenjenog problema (3.4.) je Pareto optimalno (sličan rezultat je dobijen u [4). Minimizovanje problema (3.4.) sa strogo pozitivnim težinama je dovoljan uslov za Pareto optimalnost. Ipak, formulacija ne obezbed uje neophodan uslov za Pareto optimalnost [6. Kada je višekriterijumski problem konveksan, primena funkcije W=Compositions[k,l daje b Pareto optimalnih rešenja, gde ceo broj b zadovoljava b (k+l )! k!(l )!.

130 Metod težinskih koeficijenata 27 Primer u slučaju k = 5, l = 2, izraz W=Compositions[k,l/k daje sledeću listu W : {{0, }, { 5, 4 5 }, {2 5, 3 5 }, {3 5, 2 5 }, {4 5, }, {, 0}}. 5 broj Pareto optimalnih tačaka je ceo izmed u i 6. Takod e je dopušteno da donosilac odluka eksplicitno definiše koeficijente w i, i =,..., l Implementacioni detalji za dvodimenzionalni slučaj Posmatrajući opštu formu problema višekriterimuske optimizacije u R 2 : Max.: Q(x) = Q (x),..., Q l (x), x R 2 p.o.: a i x 2 + a i 22y 2 + 2a i 2xy + 2a i x + 2a i 2y + a i 0 0, i I a i x 2 + a i 22y 2 + 2a i 2xy + 2a i x + 2a i 2y + a i 0 0, i I 2 (3.4.) x, y 0. gde I I 2 = {,..., m}, I I 2 = and a ij, b i, c j su zadati realni brojevi m = I + I 2, sto je objašeno u [79. Svaka nejednakost je ograničena u (3.4.) odred uje podskup D i R 2, i =,..., m, predstavljajući skup tačaka na jednoj strani od pdgovarajućih realnih algebarskih krivih a i x 2 + a i 22y 2 + 2a i 2xy + 2a i x + 2a i 2y + a i 0 = 0. Dakle, skup mogućih rešenja (označen kao Ω P u R 2 ) je odred en kao presek Ω p = D D 2 D m D m+ D m+2, gde su podskupovi D m+, D m+2 of R 2 dobijeni iz uslova x 0, y 0. Formalni parametri funkcije MultiW su korišeni u sledećem smislu: q, constr List, var List: Lista neizračunatih izraza (predstavljena funkcijama cilja), lista zadatih uslova i lista neozna cenih promenljivih, respektivno (u internoj formi problema). w List: Prazna lista je korišćena kao vrednost parametra w zna v ci da će težinski koeficijenti biti generisani sa značenjem funkcije Compositions. Inače, to je simulirano da svaki element w[[i, Length[w liste w je mogući skup koeficijenata w j, j =,..., l: w[[j = w[[i, j, j =,..., l. Lokalna promenljivares u funkciji MultiW sabira med urezultate. promenljiva fun predstavlja izraz Q(x) = w i Q i (x) u (3.2.). Takod e, lokalna

131 Metod težinskih koeficijenata 28 MultiW q_, constr_list, var_list, w_list : Module i 0, k, l Length q, res, w, fun, sk, qres, mxs, Paretos, m, ls, If w, k Input "Initial sum of weighting coefficients? " ; w Compositions k, l k, w w; ; Print "Weighting Coefficients: " ; Print w ; Print "Single objective problems: " ; k Length w ; For i, i k, i, fun Simplify Sum w i, j q j, j, l ; Print fun, constr, var ; Temp Maximize fun, constr, var ; AppendTo res, Temp ; If IsPareto q, constr, First Rest Temp, var, AppendTo Paretos, List Temp 2,, 2, Temp 2, 2, 2 ; ; Print "Solutions of single objective problems: " ; Print res ; For i, i k, i, AppendTo qres, q. res i, 2 ; AppendTo mxs, res i, ; ; Print "Values of objectives corresponding to solutions of single objective problems: " ; Print qres ; m Max mxs ; For i, i Length mxs, i, If m mxs i, AppendTo ls, qres i, res i, 2 ; ; Print "Paretos ",Paretos ; DrawParetos Paretos, constr, var ; Return ls ; Primer Rešimo sledeći problem višekrijumske optimizacije: max [40x + 0y; x + y p.o. 2x + y 6 x + y 5 x 2 x, y 0 formiravši koeficijente w i : pts = MultiW[{40x + 0y, x + y}, {2x + y <= 6, x + y <= 5, x <= 2, x>= 0, y >= 0}, {x, y}, {}

132 Metod težinskih koeficijenata 29 U slučaju k = 5 imamo w = {{0, 5}, {, 4}, { 2, 3}, { 3, 2}, { 4, }, {5, 0}}. Neophodno je rešiti sledećih šest problema linearnog programiranja, za svaku podlistu w. Naš modul najpre iskorišćava probleme linearnog programiranja, i onda odgovarajuća rešenja. max 5(x+y), 2 {{80, 5}, {x, y 4}} max 4x+y, 5 {{80, 5}, {x, y 4}} max 3x+9y, 0 {{80, 5}, {x, y 4}} max 7x+8), 5 {{00, 4}, {x 2, y 2}} max 37x+3y, 0 {{00, 4}, {x 2, y 2}} max 4x+y, {{00, 4}, {x 2, y 2}} Uzimajući težinske koeficijente w = i w 5 2 = 4, rešavamo problem maksimizacije 5 funkcije 4x+y na datom skupu uslova. Rešenje x =, y = 4 je dobijeno. U toj tački 5 prva funkcija cilja ima vrednost 80, i druga 5. Rešenje {x =, y = 4} je Pareto optimalno po definiciji. U slučaju težinskih koeficijenata w = 3 and w 5 2 = 2, sa maksimizovanjem 5 funkcije 4x+y dobijamo rešenje {x = 2, y = 2}, koje je takod e Pareto optimalno. 5 Funkcija za dokazivanje uslova Pareto optimalnosti i funkcije za ilustraciju Pareto optimalnih tačaka su opisane u radu [83. Sva generisana rešenja zadovoljavajući IsPareto implementirana u [83 su korišćena za generisanje Pareto optimalnih tačaka, označenih sa Paretos. Standardna MATHEMATICA funkcija ListPlot iscrtava tače koje su sadržane u listi Paretos. Funkcija RegionPlot[ineqs, vars daje grafičko prikazivanje skupa nejednakosti ineqs, sa promenljivim vars. Sa značenjem grafičkih funkcija Show kombinujemo grafike Pareto optimalnih tačaka i grafike skupa ograničenja. Svaki od odgovarajućih realnih algebarskih krivih deli oblast u opsegu koji je moguć za ove uslove i opseg koji je nemoguć za ove uslove. Dopušteni uslovi su smešteni u opsegu Ω P to je dopušteno za sve uslove (oblast mogućih uslova). Funkcija DrawParetos koristi sledeće parametre:. Paretos List: Pareto tačke; 2. constr List: lista ograničenja; 3. var List: lista promenljivih. DrawParetos[Paretos_List, constr_list, var_list:= Block[{p, p2}, p=listplot[paretos, PlotStyle->{PointSize[0.033, Hue[}, DisplayFunction->Identity; p2=regionplot[constr,{var[[},{var[[2}, AspectRatio->, DisplayFunction->Identity; Show[p2,p,DisplayFunction->$DisplayFunction ; Najpre iscrtavamo skup Pareto optimalnih tačaka Paretos primenom standardne MATHEMATICA funkcije ListPlot (videti [3). U sledećem koraku, crtamo skup ograničenja (grafike constr) preimenjući standardnu MATHEMATICA funkciju RegionPlot.

133 Metod težinskih koeficijenata 30 Primer Rešimo sledeći problem: Max.: Q (x, x2) = 8x + 2x2, Q 2 (x, x2) = 4x + 0x2, Q 3 (x, x2) = x + x2 p.o.: 8x + 4x2 600, 2x + 3x2 300, 4x + 3x2 360, 5x + 0x2 600, x 0, y 0. Koristimo, na primer, metod težinskih koeficijenata, i biramo sledeće težinske koeficijente: Ovaj problem može biti rešen izrazom {{0, 0, }, {0, 2 5, 3 }, {, 0, 0}} 5 MultiW[{8x+2x2, 4x+0x2, x+x2}, {8x+4x2<=600,2x+3x2<=300,4x+3x2<=360,5x+0x2>=600,x>=0,x2>=0}, {x,x2}, {{0,0,}, {0,2/5,3/5}, {,0,0}} Program generiše tri rešenja, odgovarajući svakoj selekciji težinskih koeficijenata. Za prvi odabir ovih koeficijenata rešenje problema je {{200, 220, 0}, {x 30, x2 80}}, i Pareto optimalno je. Rešenje {{080, 230, 05}, {x 45, x2 60}}, dobijeno korišćenjem težinskih koeficijenata {0, 2, 3 } je takod e Pareto optimalno. 5 5 Optimalno rešenje koje odgovara težinskim koeficijentima {, 0, 0} dato je u obliku {{200, 000, 00}, {x 0, x2 00}}. ovo rešenje nije Pareto optimalnoi, zato što reešenje odgovara prvom izboru težinskih koeficijenata, gde {x > 30, x2 80}, daje veće vrednosti funkcija Q 2 i Q 3, i vrednosti za funkciju Q u tačkama {x 30, x2 80} i {x 0, x2 00} su jednake. Ovaj rezultat je ilustrovan Slikom 3.4., gde je prostor ograničenja predstavljen kao oblast na kojoj Pareto optimalne tačke leže Slika Grafička reprezentacija rešenja problema.

134 Metod težinskih koeficijenata Implementacioni detalji za trodimenzionalni slučaj Posmatrajmo opštu formu problema višekriterijumske optimizacije u R 3 (3D problem): Max.: Q(x) = Q (x),..., Q l (x), x R 3 p.o.: a x 2 + a 22 y 2 + a 33 z 2 + 2a 2 xy + 2a 3 xz + 2a 23 yz + 2a x + 2a 2 y + 2a 3 z + a 0 0, i I a x 2 + a 22 y 2 + a 33 z 2 + 2a 2 xy + 2a 3 xz + 2a 23 yz + 2a x + 2a 2 y + 2a 3 z + a 0 0, i I 2 x, y, z 0. Slično slučaju 2D, skup dopustivih rešenja (u R 2 označen sa Ω P ) je odred en kao presek Ω p = D D 2 D m D m+ D m+2 D m+3, gde D i R 3 je skup rešenja nejednakosti i-th i D m+, D m+2, D m+3 R 3 je dobij iz uslova x 0, y 0, z 0. MultiW3D q_, constr_list, var_list, w_list : Module i 0, k, l Length q, res, w, fun, sk, cfs, qres, mxs, m, ls, If w, k Input "How many times? " ; w Compositions k, l k, k Length w ; w w; ; Print "Weighting Coefficients: " ; Print w ; Normalization For i, i l, i, cfs Coefficient q i, var ; AppendTo sk, Sum cfs j, j, Length cfs ; ; Print "Single objective problems: " ; For i, i k, i, fun Simplify Sum w i, j q j sk j, j, l ; Print fun, constr, var ; AppendTo res, Penalty fun, constr, var, 5, 5, 0 ^ 4, 0 ^ 4, 30, Interior ; ; Print "Solutions of single objective problems: " ; Print res ; For i, i k, i, AppendTo qres, q. res i, 2 ; AppendTo mxs, res i, ; ; Print "Values of objectives corresponding to solutions of single objective problems: " ; Print qres ; m Max mxs ; For i, i Length mxs, i, If m mxs i, AppendTo ls, qres i, res i, 2 ; ; Return ls ;

135 Metod težinskih koeficijenata 32 Odgovarajući algoritam je implementiran MATHEMATICA funkcijom DrawParetos3D koja rešava dati 3D problem i daje interaktivnu vizuelizaciju Pareto optimalnog rešenja. Ova funkcija ima sledeću formu: DrawParetos3D[Paretos_List, constr_list, var_list, {} := Module[{p,p2}, {p =Graphics3D[Table[{Blue, PointSize[0.08, Point[Paretos[[i}, {i, Length[Paretos}, DisplayFunction -> Identity, p2 = RegionPlot[constr,(*Display the constraint set*) {var[[}, {var[[2}, {var[[3}, AspectRatio ->, DisplayFunction -> Identity, Show[p2, p, DisplayFunction -> dip[edgeform[, ViewPoint -> {3, 4, 0}, AspectRatio -> } Primer Posmatrajmo sledeći problem višekriterimske optimizacije, za slučaj tri promenljive Max.: Q(x) = [x + y + z, x 3y 6z, x + y + z p.o.: x + y + z x + 3y + z 0 x + 5y + 2z 0 x 0, y 0, z 0 pts = MultiW3D[{x + y + z, -x - 3y - 6z, x + y + z}, { x + y + z <=, x + 3y + z >= 0, -x + 5y + 2z <= 0, z >= 0, y >= 0, x >= 0}, {x,y,z}, {} Za slučaj k = 6 imamo više mogućnosti za bolju grafičku ilustraciju (videti Sliku 3.4.2). DrawParetos3D[pts, { x + y + z <=, x + 3y >= -z, -x + 5y <= -2z, z>= 0, y >= 0, x >= 0}, {x, y, z}, {} Slika Reprezentacija skupa dopustivih rešenja i skupa Pareto optimuma

136 3.5. Leksikografska višekriterijumska optimizacija 33 Primer Razmatrajmo sledeći 3D problem višekriterijumske optimizacije Korišćenjem sledeće funkcije Max.: Q(x) = [x + y + z, x 3y 6z, x + y + z p.o.: x 2 + y 2 + z 2 x 0, y 0, z 0 pts =MultiW3D[{x+y+z, -x-3y-6z, x+y+z}, {x^2+y^2+z^2<=, z>=0, x>=0}, {x,y,z}, {} kada k = 9, dobijamo sledeće Pareto optimalne tačke: {0,, 0}, { 2 + 2, 2, 0}, { , 7 2 2, 0}, { , 3, 3 }, { ( ), 26, 0}, { ( ), Korišćenjem sledeće funkcije 78, 2 }. 39 DrawParetos3D[pts, { x^2 + y^2 + z^2 <=, z >= 0, x >= 0}, {x, y,z}, {} dobijamo grafičko predstavljanje Pareto optimalnih tačaka Slika Pareto optimalne tačke leže na granici skupa dopustivih rešenja Primenom prvobitnog koda dobijamo lepu interaktivnu demonstraciju. Demonstracija takod e pruža mogućnost korisniku da rotira sliku i vidi iz različitih uglova i tačaka vid enja, i mogućnost da vide sve Pareto optimalne tačke. 3.5 Leksikografska višekriterijumska optimizacija Često se do optimalnog rešenja dolazi posle uzastopnog donošenja odluka. Prvo se nad e optimalno rešenje za najvažniju funkciju cilja. Ako je optimalno rešenje jedinstveno, tada je problem rešen. Med utim, ako optimalno rešenje nije jedinstveno, tada se na skupu svih optimalnih rešenja optimizuje funkcija cilja koja je druga po važnosti. Ako je optimalno

137 Leksikografska višekriterijumska optimizacija 34 rešenje sada jedinstveno, problem je rešen; ako nije, optimizuje se funkcija cilja treća po važnosti na skupu optimalnih rešenja prve i druge funkcije cilja itd. Dakle posmatrajmo problem minimizacije date ured ene sekvence ciljnih funkcija i skup ograničenja Q (x),..., Q l (x) x X. Trebalo bi da se reši sledeći skup konveksnih uslovnih nelinearnih programa max p.o. Q i (x) x X Q j (x) a j, j =,..., i, i 2, gde su a j = Q j (x j ), j =,..., i optimalne vrednosti prethdono postavljenih jednokriterijumskih problema na nivoima prioriteta j =,..., i, i 2. Nejednakosti u poslednjem problemu mogu biti zamenjene jednakostima [72. leksikografski metod spada u grupu apriornih metoda. Pretpostavimo da su kriterijumske funkcije Q,..., Q l pored ane od najvažnije do najmanje važne. Polazni problem višekriterijumske optimizacije se rešava sledećim algoritmom. Algoritam 3.3 Leksikografski metod višekriterijumske optimizacije Ulaz: Problem VKO (3..) sa listom ured enih funkcija cilja Q,..., Q l. : Postaviti vrednost S 0 := S, i := 2: Rešava se problem: Minimizovati Q i (x) pod uslovom x S i Neka je rešenje ovog problema x (i). 3: Ako je x (i), dobijeno u koraku 2, jedinstveno rešenje, ono se proglašava za rešenje višekriterijumskog problema i algoritam se završava. 4: Formira se skup S i := {x S i Q i (x) Q i (x (i) )}. 5: Ako je i = l skup S l se proglašava za skup rešenje problema višekriterijumske optimizacije, i algoritam se završava. 6: Stavlja se i := i + i vraćamo se na korak 2. Jedan od načina za implementaciju višekriterijumske optimizacije dat je funkcijom MultiLex [83. MultiLex[q_List,constr_List,var_List:= Module[{res={},s,f=constr,l=Length[q,i}, For[i=,i<=l,i++, s=maximize[q[[i,f,var; (* 2 *) If[i<l, AppendTo[f,q[[i>=First[s ; (* 3,2 *) AppendTo[res,{q/.Last[s,Last[s}; ; Print[res; Return[{q/.Last[s,Last[s};

138 Leksikografska višekriterijumska optimizacija 35 Primer Problem maksimizacije funkcija koje su sadržane u listi {8x + 2x2, 4x + 0x2, x + x2} prema ograničenjima {8x + 4x2<=600, 2x + 3x2<=300, 4x + 3x2<=360, 5x + 0x2>=600, x>=0, x2>=0} može biti rešen koristeći izraz MultiLex[{8x+2x2,4x+0x2,x+x2}, {8x+4x2<=600,2x+3x2<=300,4x+3x2<=360,5x+0x2>=600,x>=0,x2>=0}, {x,x2} Unutrašnje reprezentacije jednokriterijumskih problema su: za i = : 8x + 2x2, {8x + 4x2 <= 600, 2x + 3x2 <= 300, 4x + 3x2 <= 360, 5x + 0x2 >= 600, x >= 0, x2 >= 0}, {x, x2} za i = 2: 4x + 0x2, {8x + 4x2 <= 600, 2x + 3x2 <= 300, 4x + 3x2 <= 360, 5x + 0x2 >= 600, x >= 0, x2 >= 0, 8x + 2x2 >= 200}, {x, x2} za i = 3: x + x2, {8x + 4x2<=600, 2x + 3x2<=300, 4x + 3x2<=360, 5x + 0x2>=600, x>=0, x2>= 0, 8x + 2x2>=200, 4x + 0x2>= 220}, {x, x2} Rešenja uzastopnih optimizacionih problema su zapamćena u listi res, koja je jednaka {{200,{x->0,x2->00}},{220,{x->30,x2->80}},{0,{x->30,x2->80}}} Teorema Rešenje dobijeno leksikografskom metodom je Pareto optimalno rešenje problema višekriterijumske optimizacije. Dokaz. Označimo sa x rešenje dobijeno leksikografskim metodom. Pretpostavimo da ono nije Pareto optimalno tj. da postoji neko x S tako da je Q i (x) Q i (x ) za svako i =,..., l, pri čemu za neko k važi Q k (x) > Q k (x ). Mogu nastati dva slučaja:. Prva mogućnost je da je x jedinstveno rešenje i da su iskorišćeni svi kriterijumi do j-tog (to znači da je na kraju prethodno opisanog algoritma i = j). Kako je x S = S 0 i Q (x) Q (x ) sledi da je Q (x) = Q (x ), kao i x S. Kako je sada x S i Q 2 (x) Q 2 (x ) sledi Q 2 (x) = Q 2 (x ) i x S 2. Nastavljajući ovakvo rezonovanje zaključujemo Q j (x) = Q j (x ) i x S j. Kako je x jedinstveno rešenje problema Minimizovati Q j (x) pod uslovom x S j

139 Leksikografska višekriterijumska optimizacija 36 a pri tome važi Q j (x) Q j (x ) i x S j zaključujemo da mora biti x = x pa je Q k (x) = Q k (x ), odakle dobijamo kontradikciju sa pretpostavkom Q k (x) > Q k (x ). 2. Druga mogućnost je da su iskorišćeni svi kriterijumi (tj. u prethodnom algoritmu je i = l). Potpuno analogno kao u prvom slučaju se pokazuje da x S k i da za svako i =,..., k važi Q i (x) = Q i (x ), što je kontradikcija sa Q k (x) > Q k (x ). Iz ovog dokaza se može zaključiti da se ograničenje oblika Q j (x) Q j (x (i) ) može zameniti ograničenjem Q j (x) = Q j (x (i) ). Mane leksikografske metode su očigledne: - U praksi je često teško odrediti koji je kriterijum važniji od drugog. - Najčešće se dešava da se jedinstveno rešenje dobije pre nego što se iskoriste svi kriterijumi, ili čak nakon korišćenja samo jednog kriterijuma. Na taj način, neki kriterijumi uopšte ne učestvuju u donošenju odluke, što je krajnje nepoželjno. Zbog toga klasični leksikografski medod ima jako ograničenu primenu Primena geometrijskog metoda u leksikografskom metodu Modifikacija leksikografskog metoda za slučaj dve ili tri promenljive predložena je u radu [73. Pritom su korišćeni poznati rezultati linearnog programiranja, koje ovde navodimo. Relacije izmed u linearnog programiranja i višekriterijumske optimizacije su dobro istražene. Neki od poznatih rezultata navedeni su u radu [39, od kojih ćemo ovde navesti neke od njih. Posmatrajmo najpre bazični problem linearnog programiranja u prostoru R n, koristeći ograničenja u obliku nejednakosti. Bez gubitka opštosti, možemo posmatrati samo problem maksimizovanja: Max.: p.o.: f(x) = f(x,..., x n ) = c x c n x n n a ij x j b i, i =,..., m, (3.5.) j= gde su konstante a ij, b i, c j R, i =,..., m, j =,..., n unapred zadate. Dalje ćemo navesti nekoliko poznatih rezultata korišćenih u geometrijskom (grafičkom) metodu. Proizvoljno rešenje (x, x 2,..., x n ) R n gore navedenog sistema nejednačina se naziva dopustivo rešenje. U geometrijskoj interpretaciji, ono je tačka n-dimenzionalnog prostora R n. Sa Ω R n označavamo skup svih dopustivih rešenja problema (3.5.). Pretpostavimo da je Ω. Tada važi sledeće pomoćno tvrd enje. Lema Granični skup Ω P rešenja Ω je konveksan skup. = {x n j= a ijx j = b i, i =,..., m} skupa dopustivih Optimalna tačka x = (x,..., x n) Ω problema linearnog programiranja (3.5.) je dopustivo rešenje u kojoj je vrednost funkcije cilja f(x,..., x n ) maksimalna. Lema Optimalna vrednost funkcije cilja problema (3.5.) dobija se u nekoj od ekstremnih tačaka skupa dopustivih rešenja Ω.

140 Leksikografska višekriterijumska optimizacija 37 Značaj prethodne teoreme je u tome što se broj potencijalnih ekstremuma funkcije f(x) redukuje sa (u opštem slučaju) beskonačnog skupa Ω P na konačan skup temena koji ima maksimalno ( n m) elemenata. Ciljna funkcija f(x) dostiže maksimum ili minimum u temenima konveksnog skupa Ω p. Formalno, dovoljno je izračunati vrednosti ciljne funkcije u svim ekstremnim tačkama skupa Ω P i odrediti onu tačku, ili tačke, u kojima je vrednost funkcije f(x) ekstremna. U sledećoj teoremi su generalizovana neka poznata tvrd enja. Stav Ako su dobijena dva optimalna rešenja problema (3.5.), tada svaka tačka na duži odred enoj tim tačkama predstavlja optimalno rešenje problema (3.5.). Odnosno, ako su x () Ω P i x (2) Ω P optimalna rešenja, onda je svaki vektor oblika optimalno rešenje. x λ = λx () + ( λ)x (2), 0 λ Dokaz. Pošto su x () i x (2) optimalna rešenja, važi f(x () ) f(x), x Ω P f(x (2) ) f(x), x Ω P Sledi da za svaki vektor x λ važi f(x λ ) = f(λx () + ( λ)x (2) ) = λf(x () ) + ( λ)f(x (2) ) λf(x) + ( λ)f(x) = f(x), x Ω P. Dakle, svaki tačka x λ, 0 λ je optimalno rešenje. Skup dopustivih rešenja geometrijski predstavlja poliedar u prostoru, a ciljna funkcija, koja se za f(x) = const interpretira kao hiperravan, dostiže maksimum (minimum) u jednom temenu poliedra (slučaj jedinstvenog optimalnog rešenja) ili po jednoj strani poliedra ako je hiperravan f(x) = const njoj paralelana (slučaj beskonačno mnogo optimalnih rešenja). Kod slučaja n = 2, ako se ograničenja grafički predstave u koordinatnom sistemu x x 2 dobija se konveksan poligon, na čijim se temenima (ekstremnim tačkama) nalaze moguća rešenja datog linearnog modela. Teme najudaljenije od prave odred ene funkcijom cilja predstavlja optimalno rešenje datog modela. Na osnovu prethodnih diskusija, implementacija geometrijskog metoda za slučaj dve promenljive može biti data funkcijom čiji su formalni parameteri funkcija cilja f i skup ograničenja g. Rešavanjem sistema nejednačina iz g dobijamo region dopustivih rešenja, zapamćen u promenljivoj h. Pritom koristimo funkciju Reduce (sličan način za rešavanje sistema nejednačina je dat u [5). Ekstremne tačke su sačuvane u listi R. Ove tačke se odred uju u preseku svake dve prave odred ene prevod enjem nejednakosti iz ograničenja u jednakosti. Nakon toga, lista ekstremnih tačaka R se sortira u neopadajući poredak na osnovu rastojanja od prave f(x, x 2 ) = 0. Optimalno rešenje je maksimalni element ove liste.

141 Leksikografska višekriterijumska optimizacija 38 LinProgGraphicalM f_, g_list : Module res, var Variables f, i, j, h, ge, t, r, For i, i Length g, i, var Union Variables First g i, var ; h g. List And ; h Reduce h, var ; If h False, Print "The problem is inadmissible" ; Break ; ; ge g. LessEqual Equal, GreaterEqual Equal, Less Equal, Greater Equal ; For i, i Length ge, i, For j i, j Length ge, j, t FindInstance ge i && ge j && h, var ; If t, AppendTo res, ReplaceAll f, t, t ; ; ; ; For i, i Length res, i, For j i, j Length res, j, If res i, res j,, r res i ; res i res j ; res j r; ; ; ; If res, res 2,, r res, 2, res 2, 2, r res, 2 ; ; Return r ; Modifikovani algoritam leksikografskog metoda Ovde navodimo modifikaciju algoritma leksikografskog metoda za rešavanje linearnog problema višekriterijumske optimizacije, za slučaje dve ili tri nepoznate. Za razliku od klasičnog leksikografskog metoda, u svakom koraku se skup dopustivih rešenja smanjuje na skup optimalnih tačaka dobijenih u prethodnoj iteraciji, primenjujući geometrijski metod linearnog programiranja. Ulazni parametri sledećeg algoritma su: lista funkcija cilja f (ured ena po prioritetima) i lista ograničenja g. Algoritam 3.4 Rešavanje linearnog problema višekriterijumske optimizacije (3..), za slučaj dve nepoznate x, x 2. Modifikovani leksikografski metod 2D Ulaz: Lista ured enih funkcija cilja f i lista ograničenja g. : Postaviti vrednost indeksa i := i početnu vrednost skupa R :=. Uzeti prvu funkciju f kao funkciju cilja, a listu g kao skup ograničenja. 2: Rešiti optimizacioni problem jedne funkcije cilja za datu funkciju cilja i ograničenja, koristeći geometrijski metod. Sačuvati rešenje u skupu R. 3: Ako rešenje iz R predstavlja duž, reprezentovanu kao λx () + ( λ)x (2), gde je 0 λ, ići na Korak 4. U suprotnom, ako je rešenje iz R tačka, ići na Korak 5. 4: Ako je i < l tada: uvećati indeks i za, uzeti f i kao funkciju cilja a skup R kao skup ograničenja, i ići na Korak 2. Ako je i = l, ići na Korak 5. 5: Rezultat: Skup R kao rešenje polaznog problema. Zaključujemo da je rešenje problema VKO primenom prethodnog algoritma dato ili kao duž u ravni ili kao jedinstvena tačka (korak 5 algoritma). Nakon rešavanja svakog jedno-kriterijumskog problema u Koraku 2, uzima se najbolje rešenje (koje maksimizuje funkciju cilja). Dakle, očigledno sledi sledeća teorema.

142 Leksikografska višekriterijumska optimizacija 39 Teorema [73 Neka je dat linearni problem višekriterijumske optimizacije (3..), gde je x R 2. Za datu listu ured enih funkcija cilja f i datu listu ograničenja g, rešenje dobijeno Algoritmom 3.4 je Pareto optimalna tačka prosmatranog problema VKO (3..). Dokaz. Najpre, primetimo da primenom Algoritma 3.4 imamo niz dobijenih rešenja maksimalno l jedno-kriterijumskih optimizacionih problema. Označimo ove skupove rešenja sa R i i l. Za svaki indeks i l, postoje dve mogućnosti: ) skup R i se sastoji od jedinstvene ekstremne tačke. 2) skup R i predstavlja duž odred enu dvema ekstremnim tačkama. Očigledno je f k (x (l) ) f k (x (k) ) zadovoljeno za svako k =, l. Pretpostavimo suprotno, da rešenje x (l) nije Pareto optimalna tečka problema (3..). Tada postoji druga tačka x, takva da je f k (x ) f k (x (l) ), k {,..., l}, gde je najmanje jedna stroga nejednakost. Neka je na primer, za indeks t validna nejednakost f t (x ) > f t (x (l) ). S obzirom da važi f t (x (l) ) f t (x (t) ), nejednakost f t (x ) > f t (x (t) ) je zadovoljena. Ovo povlači da je x / Ω P, pri čemu je Ω P = Ω P {x f (x) f (x () ),..., f t (x) f t (x (t ) ). Dakle, x Ω P \Ω P t, što znači da za neko i {,..., k } je zadovoljena nejednakost f i (x ) < f i (x (i) ). Ovo je u kontradikciji sa polaznim tvrd enjem f k (x ) f k (x (k) ), za svako k =,..., l. Očigledno, rešenje x (l) mora viti Pareto optimalno. S obzirom na varijante geometrijskog metoda za dve i tri promenljive, analogni algoritam sa Algoritmom 3.4 se može navesti za trodimenzionalni slučaj. Algoritam 3.5 Rešavanje linearnog problema višekriterijumske optimizacije (3..), za slučaj tri nepoznate x, x 2, x 3. Modifikovani leksikografski metod 3D Ulaz: Lista ured enih funkcija cilja f i lista ograničenja g. : Postaviti vrednost indeksa i := i početnu vrednost skupa R :=. Uzeti prvu funkciju f kao funkciju cilja, a listu g kao skup ograničenja. 2: Rešiti optimizacioni problem jedne funkcije cilja za datu funkciju cilja i ograničenja, koristeći geometrijski metod. Sačuvati rešenje u skupu R. 3: Ako se skup R sastoji od jedinstvene tačke, ići na Korak 5. U suprotnom, ako je skup rešenja R odred en kao λ x () + λ 2 x (2) + λ 3 x (3), gde je 0 λ, λ 2, λ 3, λ + λ 2 + λ 3 =, gde su najmanje dva koeficijenta različita od nule, ići na Korak 4. 4: Ako je i < l tada: uvećati indeks i za, uzeti f i kao funkciju cilja a skup R kao skup ograničenja, i ići na Korak 2. Ako je i = l, ići na Korak 5. 5: Rezultat: Skup R kao rešenje polaznog problema. Teorema [73 Neka je dat linearni problem višekriterijumske optimizacije (3..), gde je x R 3. Za datu listu ured enih funkcija cilja f i datu listu ograničenja g, rešenje dobijeno Algoritmom 3.5 je Pareto optimalna tačka prosmatranog problema VKO (3..).

143 Leksikografska višekriterijumska optimizacija 40 Dokaz. Dokaz je sličan dokazu Teoreme 3.5.5, sa razlikom da se za svako i l, skup rešenja R i može sastojati od jedinstvene tačke, duži ili dela ravni. Skup rešenje je dat kao linearna kombinacija tri optimalne tačka: λ x () + λ 2 x (2) + λ 3 x (3), where 0 λ, λ 2, λ 3, λ + λ 2 + λ 3 =. Ovde navodimo i implementaciju modifikovanog leksikografskog metoda koristeći geometrijski metod linearnog programiranja. LexicModif f_list, g_list : Module l Length f, var Variables f, r, q, q, q2, i, m, m2, r LinProgGraphicalM f, g ; Print r ; q RegionPlot g, var, 0, 0, var 2, 0, 0, AspectRatio ; For i 2, i l && Length r 2, i, m ReplaceAll f i, r ; m2 ReplaceAll f i, r 2 ; If m m2, r r ; If m2 m, r r 2 ; ; If Length r, Print "Pareto optimal solutions have the form: Lambda ", r, " Lambda ", r 2, ", 0 Lambda " ; q Graphics Thick, Line r, Print "Pareto optimal solution is: ", r ; q2 ListPlot r, PlotStyle PointSize 0.03, DisplayFunction Identity ; Return ReplaceAll f, r, r ; Ovde koristimo funkciju RegionPlot [3, radi reprezentacije skupa dopustivih rešenja. Ovaj se skup nakon svakog koraka smanjuje na skup optimalnih tačaka iz prethodne iteracije algoritma. Ova ideja ubrzava izvršenje programas Numerički eksperimenti Ukoliko je ciljna funkcija od dve ili tri promenljive, procedura geometrijskog metoda se može primeniti [68. Tada je optimalno rešenje dobijeno iscrtavanjem grafika modifikovane funkcije cilja f(x, x 2 ) = 0 i njenim paralelnim pomeranjem u smeru vektora gradijenta. Ako su nad ena sva različita rešenja, tada su sve tačke na duži izmed u njih takod e optimalna rešenja. Dakle, modifikacija leksikografskog metoda se ne ograničava samo na nalaženje jedne Pareto optimalne tačke. Primer Rešiti sledeći linearni problem VKO: Max. : [8x + 2y, 4x + 0y, x + y Such that : 2x + y 50 2x + 3y 300 4x + 3y 360 x + 2y 20 x, y 0 koristeći navedeno leksikografsko ured enje kao u listi. Najpre posmatramo prvu funkciju po važnosti: f = 8x + 2y. Primenom grafičke metode imamo da svaka tačka na duži λ{30, 80}+( λ){0, 00}, 0 λ, maksimizuje funkciju cilja f. Ovaj rezultat je ilustrovan na Slici 3.5., sa leve strane.

144 Leksikografska višekriterijumska optimizacija 4 Nakon toga, ispitujemo samo tačke na dobijenoj duži, koje maksimizuju drugu funkciju cilja po leksikografskom ured enju: f 2 = 4x + 0y. Kako prava f 2 = 0 nije paralelna sa dobijenom duži, to maksimalna tačka mora biti izmed u krajnjih tačaka duži. Testiranjem, zaklučujemo da je to tačka {30, 80}. Dalje izračunavanje ovde staje jer je rešenje problema jedno-kriterijumske optimizacije jedinstvena tačka. Dakle, rešenje ovog problema je {30, 80} (videti desnu stranu na Slici 3.5.), u kojem slučaju tri polazne funkcije cilja imaju respektivno sledeće vrednosti: 200, 220, Slika Rezultati iz prve i druge iteracije Algoritma 3.4. Sledeća instrukcija je korišćena za rešavanje ovog problema: LexicModif[{8x + 2y, 4x + 0y, x + y}, 2x + y<= 50, 2x + 3y<= 300, 4x + 3y<= 360, x + 2y>= 20, x>= 0, y>= 0 Pritom je, dakle, dobijen sledeći rezultat: {{200, 220, 0}, {x 30, y 80}}. Primer Rešiti trodimenzionalni problem VKO: Max. : [x 2y z, x + y + z Such that : x + 2y + z 3, x y + 2z 4, x 0. Geometrijskom metodom je dobijeno da svaka tačka duži λ{, 7, 4 } + ( λ){0, 2, }, λ maksimizuje funkciju cilja f = x 2y z, što je ilustrovano na Slici sa leva. Dalje, pretražuju se tačke dobijene duži koje maksimizuju drugu po ured enju funkciju cilja: f 2 = x + y + z. Sledeća komanda je primenjena na rešavanje polaznog problema: LexicModif[{x-2y-z, x+y+z}, {-x+2y+z+3>=0, x-y+2z<=4, x>=0} Rešenje problema je tačka {, 7 5, 4 5 } (desna strana Slike 3.5.2), u kojoj zadate tri funkcije cilja imaju sledeće vrednosti, respektivno: {3, 2 5 }.

145 3.6. Analiza drugih metoda višekriterijumske optimizacije 42 Slika Prve dve iteracije Algoritma 3.5 ilustrovane u MATHEMATICA. 3.6 Analiza drugih metoda višekriterijumske optimizacije 3.6. Relaksirani leksikografski metod Hijerarhijski metod je modifikacija leksikografskog metoda, u kome se koriste ograničenja oblika [60 ( Q j (x) + δ ) j Q j (x j ). 00 Relaksacija se sastoji u povećanju desne strane ograničenja za procenat Q j (x j ) δ j. Variranjem parametra δ j mogu se generisati različite Pareto optimalne tačke [50. Još jedna varijacija leksikografskog metoda je uvedena u [07, gde su ograničenja jednaka Q j (x) Q j (x j ) δ j. U ovom slučaju, δ j 00 jesu pozitivne tolerancije definisane od strane DO. Relaksirani leksikografski metod je iterativni postupak u kome se rešavaju jednokriterijumski zadaci optimizacije. Pretpostavlja se da su od strane DO dati prioriteti kriterijuma i da su u skladu sa njima dodeljeni indeksi kriterijumima. U relaksiranoj leksikografskoj metodi se po svakom od p kriterijuma rešava jednokriterijumski zadatak optimizacije. Pri tome se u narednoj iteracijine postavlja kao ograničenje zahtev da rešenje bude optimalno po kriterijumu višeg prioriteta, več se ono relaksira tako da se zahteva da rešenje bude u okolini optimalnog rešenja dobijenog u prethodnoj iteraciji. Nataj način, svaki kriterijum utiče na konačno rešenje. DO zadaje redosled kriterijuma po značajnosti. Pored toga, svakom kriterijumu, uzimajući poslednji, dodeljuje se vrednost δ k, k =,..., l, za koju kriterijum višeg prioriteta sme da odstupi od svoje optimalne vrednosti. Metoda obuhvata izvršavanje l koraka opisanih sledećim algoritmom.