Sveučilište JJ Strossmayera u Osijeku Odjel za matematiku Goran Pavić Matrične dekompozicije i primjene Diplomski rad Osijek, 2012
Sveučilište JJ Strossmayera u Osijeku Odjel za matematiku Goran Pavić Matrične dekompozicije i primjene Diplomski rad Mentor: doc dr sc Darija Marković Osijek, 2012
Sadržaj Uvod 1 1 Matrice 2 11 Podjela i obilježja matrica 2 12 Operacije nad matricama 7 121 Umnožak matrica 8 122 Elementarne operacije nad matricama 10 13 Matrice i sustavi linearnih jednadžbi 10 131 Trokutasti sustavi i supstitucije unaprijed i unazad 11 2 Gauss - Jordan 13 3 LU dekompozicija 16 31 LU dekompozicija s pivotiranjem 23 4 Cholesky dekompozicija 25 5 QR dekompozicija 27 51 Householderov reflektor i QR 28 52 Primjena QR dekompozicije na rješavanje problema najmanjih kvadrata 30 6 Dekompozicija na singularne vrijednosti 33 Literatura 35 Sažetak 36 Abstract 37 Životopis 38
Uvod Rješavanje sustava linearnih jednadžbi svrstava se medu najstarije matematičke probleme te je oduvijek bio jedan od glavnih predmeta zanimanja matematičara Postoji mnogo načina rješavanja sustava jednadžbi, a s obzirom da se problem pronalaženja rješenja sustava može prikazati pomoću matrica, otuda dolazi dodatna stimulacija za detaljnijim proučavanjem matrica koju su jedno od područja linearne algebre Pristup tematici dekompozicija matrica može biti iz različitih perspektiva, a u ovom radu ćemo se bazirati na same načine tehnika dekompozicija, odnosno faktorizacija matrica iz perspektive linearne algebre Definirat ćemo neke od osnovnih pojmova linearna algebre koje ćemo koristiti u analizi i prikazu rješavanja sustava jednadžbi preko matrica odnosno matričnih dekompozicija (faktorizacija, rastava) Možemo reći da će naše dekompozicije pretežno biti faktorizacije, te ćemo navedene pojmove koristiti kao sinonime Jedan od osnovni problema linearne algebre je rješavanje sustava linearnih jednadžbi Ax = b Kada je matrica A regularna, postoji jedinstveno rješenje x = A 1 b, no taj inverz nije uvijek lako izračunati Stoga, matricu A ćemo transformirati u neki drugi oblik, pretežno trokutasti, koji je lakše riješiti U prvom poglavlju detaljno ćemo razmotriti pojam matrice, uvesti osnovne definicije i operacije nad matricama, te prikazati vezu matrica i sustava linearnih jednadžbi Nadalje, Gauss-Jordan metoda će nam dati poticaj razmišljanju o obliku matrica koje su nam podobnije za daljnji rad U trećem poglavlju obradit ćemo LU dekompoziciju, kojom prikazujemo rastav odredene matrice na dvije trokutaste matrice Spomenut ćemo rastav Choleskog specifičan za simetrične pozitivno definitne matrice, te QR dekompoziciju koja ne zahtjeva poseban oblik matrice Kratkim predstavljanjem SV D dekompozicije završavamo proučavanje odabranih dekompozicija 1
1 Matrice Matrice su matematički objekti koje čine elementi, realni ili kompleksni brojevi, smješteni u retke i stupce S R m n (C m n ) označavamo skup svih realnih (kompleksnih) m n matrica, a ponegdje se koristi i oznaka M mn tj M mn (R) ukoliko želimo naglasiti da se radi o realnim matricama S obzirom da je cilj ovog diplomskog rada proučiti načine dekomponiranja, bazirat ćemo se na matricama s realnim elementima te ćemo koristiti oznaku R m n Definicija 11 Neka su m i n elementi skupa N Svaku familiju A realnih ili kompleksnih brojeva zapisanih u obliku sheme a 11 a 12 a 1n a 21 a 22 a 2n A = a m1 a m2 a mn zovemo matrica Element koji se nalazi u i-tom retku i j-tom stupcu označava se s a ij odnosno (A) ij Za matricu A koja ima m redaka i n stupaca kažemo da je tipa m n Matrica A je realna ako su elementi a ij, ( i, j) realni Tako je npr [ ] 2 3 1 A = 3 0 2 realna matrica tipa 2 3 11 Podjela i obilježja matrica Definicija 12 Neovisno o tome kojega je tipa, matrica čiji su svi elementi jednaki nula, tj matrica za koju vrijedi a ij = 0, i, j, naziva se nul-matrica i označava s 0 0 0 0 0 0 0 0 = 0 0 0 Definicija 13 Za matricu A R m n koja ima jednak broj redaka i stupaca, odnosno za koju vrijedi m = n, kažemo da je kvadratna matrica n-tog reda 2
a 11 a 12 a 1n a 21 a 22 a 2n A = a n1 a n2 a nn Definicija 14 Neka je A R n n, odnosno, neka je A kvadratna matrica n-tog red Elementi a ij matrice A, za koje vrijedi da je i = j, čine glavnu dijagonalu te matrice, i njihov se zbroj naziva trag matrice A te se označava sa tr A Slijedi tr A = a 11 + a 22 + + a nn Definicija 15 Rang matrice A R m n, oznaka r(a) ili rang(a), je maksimalan broj linearno nezavnisnih stupaca, odnosno redaka te matrice Definicija 16 Kvadratnu matricu n-tog reda, A R n n, za koju vrijedi nazivamo dijagonalna matrica a ij = 0, i j Drugim riječima, matrica a 11 0 0 0 a 22 0 A = 0 0 a nn je dijagonalna ako su svi nedijagonalni elementi jednaki nuli Poseban oblik dijagonalne matrice je jedinična matrica kojoj su svi dijagonalni elementi jedinice, dok su svi ostali elementi nule Jedinična matrica najčešće se označava slovom I 1 0 0 0 1 0 I = 0 0 1 Nadalje ćemo spomenuti matrice posebnih oblika koje ćemo koristiti u daljnjem proučavanju, a koje imaju trokutast oblik 3
Definicija 17 Matrica je gornje trokutasta ako su joj svi elementi ispod glavne dijagonale jednaki nuli, odnosno ako vrijedi a ij = 0, i > j Gornje trokutaste matrice su primjerice [ ] 1 2 0 2 1, 0 0 3 ili 0 2 0 0 4 a 11 a 12 a 1n 0 a 22 a 2n 0 0 a nn Definicija 18 Matrica je donje trokutasta ako su joj svi elementi iznad dijagonale jednaki nuli, odnosno ako vrijedi a ij = 0, i < j Donje trokutaste matrice su primjerice [ ] 1 0 0 2 0, 0 3 0 ili 3 1 1 2 2 a 11 0 0 a 21 a 22 0 a n1 a n2 a nn Definicija 19 Za matricu B kažemo da je transponirana matrica matrice A ako vrijedi (B) ij = (A) ji, i, j, te za operaciju transponiranja matrice A koristimo oznaku A T Transponiranu matricu dobijemo tako da elemente prvog retka matrice A, ne mjenjajući njihov poredak, zapišemo na mjesto prvog stupca matrice B itd Takvo pridruživanje nazivamo transponiranjem Pri transponiranju dolazi do promjene tipa matrice Tako matrica A tipa m n prelazi u matricu A T tipa n m Primjer operacije transponiranja nad matricom tipa 3 3: 1 0 5 1 0 1 0 3 7 0 3 2 1 2 2 5 7 2 4
Povezivanjem svojstva transponiranja s prethodno spomenutim matricama sa specifičnim svojstvima možemo izdvojiti slijedeća svojstva a) Ako je D dijagonalna matrica, tada je D T = D b) Ako je L gornja trokutasta, tada je L T donja trokutasta, i obratno c) (A T ) T = A, za svaku matricu A d) Matrica A je simetrična ako je A T = A e) Matrica A je antisimetrična ako je A T = A Definicija 110 Ako je matrica A = [a] R 1 1, tada je njena determinanta dana s det(a) = a Determinanta kvadratne matrice A R n n je definirana izrazom det(a) = n ( 1) j+1 a 1j A 1j j=1 koji se naziva Laplaceov razvoj determinante Pri tome, A 1j je determinanta matrice tipa (n 1) (n 1) koja se dobije iz matrice A izostavljanjem prvog reda i j-tog stupca Determinanta je funkcija A det A definirana na skupu svih kvadratnih matrica, prima vrijednosti u skupu realnih brojeva, a označavamo ju s a 11 a 12 a 1n a 21 a 22 a 2n det a n1 a n2 a nn ili a 11 a 12 a 1n a 21 a 22 a 2n a n1 a n2 a nn Vrijedi da je det(ab) = det A det B A, B R n n det(a T ) = det(a) A R n n det(ca) = c n det(a) c R, A R n n det I = 1 5
Funkciju A det A možemo definirati induktivno Za matrice tipa 2 2, odnosno 3 3, determinanta se računa na sljedeći način: a 1 a 2 b 1 b 2 = a 1b 2 a 2 b 1, a 1 a 2 a 3 b 1 b 2 b 3 c 1 c 2 c 3 = a 1 b 2 b 3 c 2 c 3 a 2 b 1 b 3 c 1 c 3 + a 3 b 1 b 2 c 1 c 2 Definicija 111 Minor 1 A ij kvadratne matrice A R n n je determinanta matrice reda (n 1) koja se dobije iz matrice A izostavljanjem i-tog reda i j-tog stupca Definicija 112 Glavni minor reda k kvadratne matrice A je determinanta matrice reda k koja se dobije iz matrice A izostavljanjem posljednjih n k redaka i stupaca Definicija 113 Kofaktor C ij matrice A dobijemo množenjem ( 1) i+j s odgovarajućim minorom A ij reda (n 1) matrice A Sada kad smo definirali pojam kvadratne matrice i njene determinante uvest ćemo pojam regularne matrice Regularna matrica će nam biti potrebna za provedbu nekoliko dekompozicija te nam je stoga od važnosti Definicija 114 Za kvadratnu matricu A R n n kažemo da je regularna (invertibilna) ako postoji matrica B R n n takva da je Kažemo da je matrica A singularna ako nije regularna AB = BA = I (1) Za svaku regularnu matricu A vrijedi da je det A 0 Važno je takoder spomenuti da je matrica B jednoznačno odredena s (1) Navedenu tvrdnju ćemo dokazati Uzmimo da je AC = CA = I za neku drugu matricu C R n n Tada je C = C I = C (AB) = (CA)B = I B = B, tj C = B Budući da je matrica B jednoznačno odredena uvjetom (1), to ćemo označiti s B = A 1 i matricu A 1 zovemo inverzna matrica matrice A, te vrijedi A A 1 = A 1 A = I 1 Uz korištenje naziva minor matrice, u literaturi se nalazi i naziv minora matrice 6
12 Operacije nad matricama Skup svih matrica tipa m n označavamo sa M mn Na tom su skupu definirane dvije operacije: zbrajanje matrica, množenje matrice skalarom Da bismo zbrojili dvije matrice one moraju biti istoga tipa, pri čemu je i rezultat zbrajanja opet matrica istog tipa kao matrice koje smo zbrajali U tom slučaju, zbrajanje matrica A i B definirano je na slijedeći način: (A) ij + (B) ij := (A + B) ij, tj a 11 a 12 a 1n b 11 b 12 b 1n a 11 + b 11 a 12 + b 12 a 1n + b 1n a 21 a 22 a 2n + b 21 b 22 b 2n = a 21 + b 21 a 22 + b 22 a 2n + b 2n a m1 a m2 a mn b m1 b m2 b mn a m1 + b m1 a m2 + b m2 a mn + b mn Primjer 11 [ ] 2 1 + 3 2 [ ] 1 0 = 3 2 [ ] 2 + ( 1) 1 + 0 = 3 + 3 2 + 2 [ ] 1 1 6 4 Množenje matrica skalarom Neka je λ R bilo koji skalar, te A M mn Umnožak matrice A skalarom λ je matrica λa definirana izrazom λ(a) ij := (λa) ij a 11 a 12 a 1n λa 11 λa 12 λa 1n a 21 a 22 a 2n λ = λa 21 λa 22 λa 2n a m1 a m2 a mn λa m1 λa m2 λa mn Dakle zaključujemo, matrica se množi nekim skalarom tako da se svaki njen element pomnoži tim skalarom Primjer 12 2 [ ] 1 0 = 3 2 [ ] 2 ( 1) 2 0 = 2 3 2 2 [ ] 2 0 6 4 7
Razlika dviju matrica svodi se na već uvedene operacije zbrajanja matrice i množenja matrice skalarom Tako je razlika matrica A i B definirana kao zbroj matrice A i matrice B pomnožene skalarom ( 1) Vrijedi: A B := A + ( 1)B Definicija 115 Skup M mn na kojemu su definirane operacije zbrajanja matrica i množenja matrica skalarom je vektorski prostor budući da te operacije zadovoljavaju sljedeća svojstva: 1) ( A, B, C M mn ) A + (B + C) = (A + B) + C 2) ( 0 M mn )( A M mn ) A + 0 = 0 + A = A 3) ( A M mn )( A M mn ) A + A = A + A = 0 4) ( A, B M mn ) A + B = B + A 5) ( α, β R)( A M mn ) α(βa) = (αβ)a 6) ( α R)( A, B M mn ) α(a + B) = αa + αb 7) ( α, β R)( A M mn ) (α + β)a = αa + βb 8) 1 A = A 121 Umnožak matrica Množenje matrica je složenija operacija od zbrajanja i od množenja matrice skalarom Umnožak je definiran tipovima matrica, no ovisi i o njihovom poretku Umnožak AB, matrica A i B, definira se samo ako matrica A ima toliko stupaca koliko matrica B ima redaka U tom slučaju za matrice A i B kažemo da su ulančane Definicija 116 Neka je A matrica tipa m n i B matrica tipa n p matrica A i B je matrica C = AB tipa m p, čiji su elementi dani s Umnožak c ij = n a ik b kj, i = 1,, m; j = 1,, p k=1 Prema tome, na presjeku i-tog retka i j -tog stupca u matrici C stoji element koji je jednak skalarnom umnošku i-tog retka, [a i1 a i2 a in ], matrice A s j -tim stupcem, [b 1j b 2j b nj ] T, matrice B 8
Primjetimo, umnožak AB može biti definiran, dok istovremeno umnožak BA ne mora biti definiran, tj množenje matrica nije komutativno Množenje matrica ipak jest asocijativno što ćemo dokazati u sljedećem teoremu Teorem 11 Množenje matrica je asocijativno Dokaz: Neka su A, B, C tri matrice redom tipa m n, n p, p q Tada su definirani produkti AB, (AB)C, BC, A(BC) te treba dokazati da je Matrice (AB)C, A(BC) su tipa m q Imamo (AB)C = A(BC) (1) odakle slijedi (2) [(AB)C] ij = = = p (AB) ik c kj = k=1 p k=1 r=1 n a ir ( r=1 p n ( a ir b rk )c kj k=1 n (a ir b rk )c kj = p b rk c kj ) = k=1 = [A(BC)] ij, r=1 p k=1 r=1 n a ir (b rk c kj ) n a ir (BC) rj Teorem 12 Množenje matrica je distributivno prema zbrajanju slijeva i zdesna Preciznije: Neka su A, B, C, D matrice po redu tipa m n, m n, p m, n q i neka je a R, I m jedinična matrica m-tog reda, I n jedinična matrica n-tog reda Tada je a) C(A + B) = CA + CB (distributivnost slijeva), b) (A + B)D = AD + BD (distributivnost zdesna), c) a(ad) = (aa)d = A(aD), d) I m A = A e) A I n = A Dokaz se provodi direktnom provjerom, odnosno računom 9 r=1
122 Elementarne operacije nad matricama Pod elementarne operacije nad matricama podrazumijevaju se ove operacije: permutacija dvaju stupaca matrice permutacija dvaju redaka matrice množenje jednog stupca matrice skalarom λ 0, množenje jednog retka matrice skalarom λ 0 dodavanje jednom stupcu nekog stupca matrice pomnoženog skalarom, dodavanje jednom retku nekog retka matrice pomnoženog skalarom Navedene operacije nad matricama moguće je dobiti množenjem elementarnim matricama Svaka od elementarnih matrica dobiva se na jednostavan način iz jedinične matrice 13 Matrice i sustavi linearnih jednadžbi Za m linearnih jednadžbi s n nepoznanica, a 11 x 1 + a 12 x 2 + + a 1n x n = b 1 a 21 x 1 + a 22 x 2 + + a 2n x n = b 2 a m1 x 1 + a m2 x 2 + + a mn x n = b m, kažemo da čine sustav linearnih algebarskih jednadžbi Elemente a ij, i = 1,, m, j = 1,, n zovemo koeficijentima sustava, x 1, x 2,, x n nepoznanicama, a elemente b 1, b 2,, b m zovemo desnom stranom ili slobodnim članovima Ako je m = n onda sustav zovemo kvadratni U svezi s prethodno prikazanim sustavom možemo uočiti dvije matrice: a 11 a 12 a 1n a 11 a 12 a 1n b 1 a 21 a 22 a 2n A =, A a 21 a 22 a 2n b 2 b = a m1 a m2 a mn a m1 a m2 a mn b m Matricu A zovemo matricom sustava, a matricu A b proširenom matricom sustava Rješenje sustava je uredena n-torka elemenata (c 1, c 2,, c n ) koja zadovoljava svaku od jednadžbi u sustavu Sustav može imati jedno rješenje, beskonačno mnogo rješenja ili niti jedno rješenje 10
Teorem 13 (Kronecker-Capelli) Neka je A R m n i b R m Sustav Ax = b ima rješenje ako i samo ako vrijedi r(a) = r(a b ), tj ako matrica sustava A i proširena matrica sustava A b imaju isti rang Dokaz Kronecker-Capelli teorema može se pronaći u [4] 131 Trokutasti sustavi i supstitucije unaprijed i unazad Mnoge dekompozicije koriste praktičnost trokutastih sustava Kao što ćemo vidjeti u nastavku rada, s obzirom na svojstva trokutastih sustava, matrice na koje rastavljamo početnu matricu često će imati trokutasti oblik Takvi sustavi se jednostavno rješavaju Ukoliko imamo sustav Lx = b dimenzije n = 4, gdje je matrica L donje trokutasta, sustav izgleda ovako: l 11 0 0 0 x 1 b 1 l 21 l 22 0 0 x 2 l 31 l 32 l 33 0 x 3 = b 2 b 3 l 41 l 42 l 43 l 44 x 4 b 4 Ukoliko je matrica L regularna tada vrijedi da su elementi l ii 0, i, te je očito x 1 = b 1 l 11 x 2 = 1 l 22 (b 2 l 21 x 1 ) x 3 = 1 l 33 (b 3 l 31 x 1 l 32 x 2 ) x 4 = 1 l 44 (b 4 l 41 x 1 l 42 x 2 l 43 x 3 ) Iz navedenih jednadžbi vidimo da se x 1 možemo odmah izračunati uvrštavanjem poznatih elemenata iz sustava Nadalje, izračunatu vrijednost koristimo pri računanju nepoznanice x 2, te induktivno nastavljamo do posljednje nepoznanice koja je u ovom slučaju x 4 Navedeni postupak može se generalizirati za bilo koji n N Ovakav postupak zovemo supstitucija unaprijed 2 2 eng forward substitution (FS) 11
Algoritam 11 Rješavanje linearnog sustava jednadžbi Lx = b gdje je L R n n gornje trokutasta matrica x 1 = b 1 l 11 ; za i = 2,, n i 1 x i = (b i l ij x j )/l ii j=1 Gornje trokutasti sustavi rješavaju se na sličan način, a pri tome imamo sustav Ux = b oblika u 11 u 12 u 13 u 14 x 1 b 1 0 u 22 u 23 u 24 x 2 0 0 u 33 u 34 x 3 = b 2 b 3, 0 0 0 u 44 x 4 b 4 pri čemu vrijedi u ii 0 za i = 1, 2, 3, 4 te je očito x 4 = b 4 u 44 x 3 = 1 u 33 (b 3 u 34 x 4 ) x 2 = 1 u 22 (b 2 u 23 x 3 u 24 x 4 ) x 1 = 1 u 11 (b 1 u 12 x 2 u 13 x 3 u 14 x 4 ) Ovaj postupak zovemo supstitucija unazad 3 Algoritam 12 Rješavanje linearnog sustava jednadžbi Ux = b gdje je U R n n donje trokutasta matrica x n = b n u nn ; za i = n 1,, 1 n x i = (b i u ij x j )/u ii j=i+1 3 eng back supstitution (BS) 12
2 Gauss - Jordan Gauss-Jordanova metoda je direktna metoda rješavanja sustava linearnih jednadžbi Kao takva, pogodna je za rješavanje sustava s manjim brojem jednadžbi Gauss- Jordanova metoda koristi već spomenute elementarne transformacije matrice Neka je zadan sustav od m linearnih jednadžbi s n nepoznanica Da bismo sustav riješili Gaussovom metodom potrebno je proširenu matricu sustava, A b, svesti na njoj ekvivalentnu gornje trokutastu matricu koristeći se elementarnim transformacijama (zamjenom redaka, množenjem retka skalarom različitim od nule, dodavanjem nekog retka pomnoženog s brojem različitim od nule nekom drugom retku) Proširenje Gaussove metode je Gauss-Jordanova metoda gdje se matrica sustava svodi na dijagonalnu matricu iz koje izravno iščitamo rješenja u slučaju kada je matrica sustava kvadratna, odnosno kad imamo jednak broj jednadžbi i nepoznanica Neka je zadana kvadratna regularna matrica A i vektor slobodnih koeficijenata b, a 11 a 12 a 1n b 1 a 21 a 22 a 2n A =, b = b 2 (1) a n1 a n2 a nn b n Sustav Ax = b je rješiv i ima jedinstveno rješenje Pretpostavimo da je tzv pivot-element a 11 0 Koristeći Gaussove eliminacije matricu A svedemo na oblik gdje je, uz oznaku m i1 = a i1 a 11, a 11 a 12 a 1n b 1 A (1) 0 a (1) 22 a (1) 2n =, b (1) b(1) = 2, (2) 0 a (1) n2 a (1) nn b (1) n a (1) ik = a ik m i1 a 1k, b (1) i = b i m i1 b 1, (i, k = 2,, n) Uz pretpostavku da je sljedeći pivot-element a (1) 22 0, na sličan način dobivamo gdje je, uz oznaku m i2 = a(1) i2 a 11 a 12 a 13 a 1n b 1 0 a (1) 22 a (1) 23 a (1) 2n b (1) A (2) = 0 0 a (2) 33 a (2) 2 3n, b (2) = b (2), (3) 3 0 0 a (2) n3 a (2) nn b (2) n a (1) 22, 13
a (2) ik = a(1) ik m i2a (1) 2k, b(2) i = b (1) i m i2 b (1) 2, (i, k = 3,, n) Uz pretpostavku da su svi pivot-elementi bili različiti od nule, nakon (n 1) ovakvih koraka matrica A prijeći će u oblik gornje trokutaste matrice, gdje su svi dijagonalni elementi različiti od nule: a 11 a 12 a 13 a 1n 0 a (1) 22 a (1) 23 a (1) 2n A (n 1) = 0 0 a (2) 33 a (2) 3n 0 0 0 a (n 1) nn Primjedba 21 Primjenom Gaussovih eliminacija matricu sustava mogli bismo svesti i na dijagonalnu matricu U tom slučaju govorimo o Gauss - Jordanovoj metodi 4 Primjer 21 Metodom Gaussovih eliminacija riješi sustav x 1 x 3 +2x 4 = 3 2x 2 +x 3 +x 4 = 1 x 1 +x 2 x 3 = 1 2x 1 +x 2 +x 3 +x 4 = 3 Množenjem prve jednadžbe s 1 i dodavanjem trećoj, zatim množenjem prve jednadžbe s 2 i dodavanjem četvrtoj dobivamo: x 1 x 3 +2x 4 = 3 2x 2 +x 3 +x 4 = 1 x 2 2x 4 = 2 x 2 +3x 3 3x 4 = 9 Napravimo zamjenu redaka, tj zamjenimo mjesto druge i treće jedandžbe Sada, drugu jednadžbu množimo s 2 i dodamo trećoj, i s 1 te dodajemo četvrtoj jednadžbi x 1 x 3 +2x 4 = 3 x 2 2x 4 = 2 x 3 +5x 4 = 3 3x 3 x 4 = 7 Treću jednadžbu množimo s 3 i dodajemo četvrtoj x 1 x 3 +2x 4 = 3 x 2 2x 4 = 2 x 3 +5x 4 = 3 16x 4 = 16 4 Gauss - Jordanova metoda igra važnu ulogu kod simplex-metode za rješavanje problema linearnog programiranja 14
Na ovaj način dobili smo gornje trokutastu matricu te rješavanjem jednadžbi odozdo prema gore pronalazimo nepoznanice Iz zadnje jednadžbe slijedi x 4 = 1, što uvrstimo u treću pa slijedi x 3 = 2, te u četvrtu pa dobijemo x 2 = 0 Sada nam je jedina nepoznanica x 1, koju dobijemo iz prve jednadžbe uvrštavanjem izračunatih nepoznanice te dobijemo x 1 = 1 Navedenu metodu eliminacije možemo iskoristiti i nakon svodenja na trokutasti oblik da bismo, uz nule ispod glavne dijagonale, dobili nule i iznad glavne dijagonale Na taj način dobivamo dijagonalni oblik pri čemu su elementi na dijagonali ujedno i rješenja sustava Takva metoda nazivamo Gauss-Jordanova metoda Primjer 22 Prethodni primjer riješit ćemo koristeći Gauss-Jordanovu metodu Nakon provedenih operacija za dobivanje gornje trokutaste matrice (iz prethodnog primjera) posljednju jednadžbu dijelimo s 16 x 1 x 3 +2x 4 = 3 x 2 2x 4 = 2 x 3 +5x 4 = 3 x 4 = 1 Radi poništavanja nepoznanice x 4 u drugoj i trećoj jednadžbi, četvrtu jednadžbu množimo s 2 i dodajemo drugoj, te s -5 i dodajemo trećoj jednadžbi x 1 x 3 +2x 4 = 3 x 2 = 0 x 3 = 2 x 4 = 1 Sada, treću jednadžbu dodajemo prvoj, a četvrtu množimo s -2 i takoder dodajemo prvoj x 1 = 1 x 2 = 0 x 3 = 2 x 4 = 1 Dobivanjem dijagonalne matrice provedena je Gauss-Jordanova metoda 15
3 LU dekompozicija LU 5 dekompozicija je ključan korak u nekoliko fundamentalnih numeričkih algoritama u linearnoj algebri kao što su rješavanje sustava linearnih jednadžbi, invertiranje matrice ili računanje determinante matrice Pretpostavimo da je A R n n regularna kvadratna matrica kojoj su svi glavni minori različiti od nule Tada je na jedinstven način moguće načiniti rastav A = LU, gdje je L donje trokutasta matrica kojoj su na glavnoj dijagonali jedinice, a U gornje trokutasta matrica čiji dijagonalni elementi nisu nule; a 11 a 12 a 1n 1 0 0 u 11 u 12 u 1n a 21 a 22 a 2n = l 21 1 0 0 u 22 u 2n a n1 a n2 a nn l n1 l n2 1 0 0 u nn Rješenje početnog problema Ax = b dobiva se rješavanjem dva sustava s trokutastim matricama: Ly = b, Ux = y = Ax = LUx = Ly = b Uz odredene uvjete, Gaussovim eliminacijama matricu možemo svesti na trokutastu te dobiti sustav koji se lako rješava Pri tome ćemo proučiti faktorizaciju matrice A R n n na produkt donje i gornje trokutaste matrice Iako nas navedena dekompozicija zanima pri proizvoljnoj dimenziji n, zbog jednostavnosti ćemo ju prikazati na matrici dimenzija 5 5 Neka je a 11 a 12 a 13 a 14 a 15 a 21 a 22 a 23 a 24 a 25 A = a 31 a 32 a 33 a 34 a 35 a 41 a 42 a 43 a 44 a 45 a 51 a 52 a 53 a 54 a 55 Eliminaciju elemenata prvog stupca matrice A koji se nalaze ispod elementa a 11, napravimo jednim korakom definirajući matricu 5 od eng lower-upper Korišten i naziv LR dekompozicija od eng left-right 16
L (1) = 1 0 0 0 0 a 11 1 0 0 0 a 11 0 1 0 0 a 11 0 0 1 0 a 11 0 0 0 1 a 21 a 31 a 41 a 51 Tada imamo matricu A (1) kao produkt matrica L (1) i A a 11 a 12 a 13 a 14 a 15 0 a (1) 22 a (1) 23 a (1) 24 a (1) 25 A (1) L (1) A = 0 a (1) 32 a (1) 33 a (1) 34 a (1) 35 0 a (1) 42 a (1) 43 a (1) 44 a (1) 45 0 a (1) 52 a (1) 53 a (1) 54 a (1) 55 Oznake u zagradi povrh elemenata označava za koju matricu, takoder označenu istim indeksom, su svojstveni ti elementi Tako, prvi redak matrice A (1) odgovara prvom retku matrice A, elemente prvog stupca matrice A (1), osim elementa a 11, čine nule, dok su ostali elementi, označeni gornjim indeksom (1), svojstveni matrici A (1) Napomenimo da transformaciju A A (1) možemo provesti samo ako je Trivijalno je provjeriti da vrijedi te da iz A = (L (1) ) 1 A (1) slijedi a 11 0 (1) 1 0 0 0 0 a 21 (L (1) ) 1 a 11 1 0 0 0 = a 31 a 11 0 1 0 0 a 41 a 11 0 0 1 0 a 51 a 11 0 0 0 1 [ ] [ ] [ ] a11 a 12 1 0 a11 a 12 = a a 21 a 21 22 a 11 1 0 a (1) 22 Na taj način dobili smo faktorizaciju vodeće podmatrice matrice A, čiji je uvjet postojanja dan pod (1) Ako za α 2 definiran na slijedeći način [ ] a11 a α 2 det 12 a 21 a 22 = a 11 a (1) 22, vrijedi da je α 2 0, onda je i a (1) 22 0 pa je dobro definirana matrica 17
1 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 1 0 0 0 0 a(1) 32 1 0 0 0 a(1) L (2) = a (1) 32 1 0 0 22 i njen inverz (L (2) ) 1 = a (1) 22 0 a(1) 42 0 1 0 a (1) 0 a(1) 42 0 1 0 22 a (1) 22 0 a(1) 52 0 0 1 0 a(1) 52 0 0 1 a (1) 22 a (1) 22 Tada vrijedi a 11 a 12 a 13 a 14 a 15 0 a (1) 22 a (1) 23 a (1) 24 a (1) 25 A (2) L (2) A (1) = L (2) L (1) A = 0 0 a (2) 33 a (2) 34 a (2) 35 0 0 a (2) 43 a (2) 44 a (2) 45 0 0 a (2) 53 a (2) 54 a (2) 55 Iz oznaka elemenata uočavamo da je prvi redak matrice A (2) jednak prvom retku matrice A, a drugi redak jednak drugom retku matrice A (1) Ukoliko u relaciji A = (L (1) ) 1 (L (2) ) 1 A (2) izračunamo produkt (L (1) ) 1 (L (2) ) 1 dobijemo 1 0 0 0 0 a 21 a 11 1 0 0 0 a 11 a 12 a 13 a 14 a 15 a 31 a (1) 32 A = a 11 1 0 0 0 a (1) 22 a (1) 23 a (1) 24 a (1) 25 a (1) 22 0 0 a (2) a 41 a (1) 33 a (2) 34 a (2) 35, 42 a 11 0 1 0 a (1) 0 0 a (2) 43 a (2) 44 a (2) 45 22 a 51 52 0 0 a (2) 0 0 1 53 a (2) 54 a (2) 55 a (1) a 11 a (1) 22 odakle zaključujemo da vrijedi a 11 a 12 a 1 0 0 13 a 11 a 12 a 13 a 21 a 22 a 23 a 21 = a 11 1 0 0 a (1) a a 31 a 32 a 31 a (1) 22 a (1) 23 32 33 a 11 1 0 0 a (2) 33 Ako je a 11 0 i α 2 0, tada imamo trokutastu faktorizaciju vodeće podmatrice matrice A, dimenzija 3 3, te stavimo a (1) 22 a 11 a 12 a 13 α 3 det a 21 a 22 a 23 = a 11 a (1) 22 a (2) 33 a 31 a 32 a 33 Ako je α 3 0 tada je i a (2) 33 0 te su dobro definirane matrice 18
i vrijedi: 1 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 1 0 0 0 L (3) 0 0 1 0 0 = i njen inverz (L (3) ) 1 0 0 1 0 0 = 0 0 a(2) 43 1 0 a (2) 0 0 a(2) 43 1 0 33 a (2) 33 0 0 a(2) 53 0 1 0 0 a(2) 53 0 1 a (2) 33 a (2) 33 a 11 a 12 a 13 a 14 a 15 0 a (1) 22 a (1) 23 a (1) 24 a (1) 25 A (3) L (3) A (2) = L (3) L (2) L (1) A = 0 0 a (2) 33 a (2) 34 a (2) 35 0 0 0 a (3) 44 a (3) 45 0 0 0 a (3) 54 a (3) 55 Izračunavamo produkt (L (1) ) 1 (L (2) ) 1 (L (3) ) 1 te vidimo da vrijedi te da je 1 0 0 0 0 a 21 a 11 1 0 0 0 a 11 a 12 a 13 a 14 a 15 a 31 a (1) 32 A = a 11 1 0 0 0 a (1) 22 a (1) 23 a (1) 24 a (1) 25 a (1) 22 0 0 a (2) a 41 a (1) 42 a (2) 33 a (2) 34 a (2) 35, a 11 a (1) 43 1 0 22 a (2) 0 0 0 a (3) 44 a (3) 45 33 a 51 52 0 0 0 a (3) 0 1 54 a (3) 55 a (1) a 11 a (1) 22 a (2) 53 a (2) 33 1 0 0 0 a 11 a 12 a 13 a 14 a 21 a 21 a 22 a 23 a 24 a a 31 a 32 a 33 a 34 = 11 1 0 0 a 11 a 12 a 13 a 14 a 31 a (1) 0 a (1) 22 a (1) 23 a (1) 24 32 a 11 1 0 a (1) 0 0 a (2) 22 33 a (2) 34 a 41 a 42 a 43 a 44 a 41 42 1 0 0 0 a (3) 44 Induktivno zaključujemo: a (1) a 11 a (1) 22 a (2) 43 a (2) 33 a 11 a 12 a 13 a 14 α 4 det a 21 a 22 a 23 a 24 a 31 a 32 a 33 a 34 = a 11a (1) a 41 a 42 a 43 a 44 22 a (2) 33 a (3) 44 Kao i u prethodnim slučajevim, ukoliko je α 4 0, onda je i a (3) 44 0 te su dobro definirane matrice 19
1 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 1 0 0 0 L (4) = 0 0 1 0 0 i njen inverz (L (4) ) 1 = 0 0 1 0 0 0 0 0 1 0 0 0 0 1 0 0 0 0 a(3) 54 1 0 0 0 a(3) a (3) 54 1 44 a (3) 44 Može se provjeriti da je a 11 a 12 a 13 a 14 a 15 0 a (1) 22 a (1) 23 a (1) 24 a (1) 25 A (4) L (4) A (3) = L (4) L (3) L (2) L (1) A = 0 0 a (2) 33 a (2) 34 a (2) 35 0 0 0 a (3) 44 a (3) 45 0 0 0 0 a (4) 55 Nakon računanja produkta (L (1) ) 1 (L (2) ) 1 (L (3) ) 1 (L (4) ) 1, imamo da vrijedi 1 0 0 0 0 a 21 a 11 1 0 0 0 a 11 a 12 a 13 a 14 a 15 a 31 a (1) 32 A = a 11 1 0 0 0 a (1) 22 a (1) 23 a (1) 24 a (1) 25 a (1) 22 0 0 a (2) a 41 a (1) 42 a (2) 33 a (2) 34 a (2) 35 a 11 a (1) 43 1 0 22 a (2) 0 0 0 a (3) 44 a (3) 45 33 a 51 a (1) 52 a (2) a 11 a (1) 53 a (3) 22 a (2) 54 0 0 0 0 a (4) 1 55 33 a (3) }{{} 44 }{{} U L Na taj način smo napravili faktorizaciju matrice A na donje trokutastu matricu L i gornje trokutastu matricu U, čija je provedba ovisila o pivotnim elementima (pivotima) a 11, a (1) 22, a (2) 33 i a (3) 44 koji su morali biti različiti od nule tj moralo je vrijediti: a 11 0, a (1) 22 0, a (2) 33 0, a (3) 44 0 Navedeni uvjeti su osigurani ako su u matrici A glavni minori različite od nule, odnosno, ukoliko je prvih n 1 minora matrice A različito od nule, tada su i svi pivotni elementi različiti od nule, a provedbom Gaussove elimininacije dobiti ćemo LU dekompoziciju matrice A 20
Algoritam 31 LU faktorizacija matrice A L = I; za k = 1,, n 1 za j = k + 1,, n l jk = a(k 1) jk a (k 1) kk a (k) jk = 0; za j = k + 1,, n za i = k + 1,, n a (k) ij ; = a (k 1) ij U = A (n 1) = [a (n 1) ij ] l ik a (k 1) kj ; Prikazat ćemo egzistenciju i jedinstvenost LU dekompozicije Teorem 31 Neka je A R n n i neka su determinante glavnih podmatrica matrice A(1 : k, 1 : k) različite od nule za k = 1, 2,, n 1 Tada postoji donje trokutasta matrica L s jedinicama na dijagonali i gornje trokutasta matrica U, tako da vrijedi A = LU Ako navedena dekompozicija A = LU postoji i ako je matrica A regularna, tada je dekompozicija na faktore jedinstvena tj postoji točno jedna matrica L i točno jedna matrica U s navedenim svojstvima Tada je i det(a) = n u ii i=1 Dokaz: Prvo ćemo dokazati jedinstvenost, tj da ne postoje dvije takve dekompozicije A = LU = L U Ako je A regularna onda su i L, U, L, U, takoder regularne matrice te vrijedi L 1 L = U(U ) 1 21
U gornjoj relaciji imamo jednakost donje trokutaste i gorenje trokutaste matrice, čija je jednakost uvjetovana time da su obje dijagonalne Pri množenju dvije donjet rokutaste matrice, dijagonala rezultantne matrice sastoji se od produkata dijagonalnih elemenata početnih matrica S obzirom na prepostavku da L i L imaju jedinice na dijagonali i na izrečenu tvrdnju, slijedi da se dijagonala produkta L 1 L sastoji od jedinica Iz toga slijedi, L 1 L = I, tj L = L, te je tada i U = U, čime je dokazana jedinstvenost Dalje nam slijedi dokazati egzistenciju LU dekompozicije U prethodnom primjeru, na matrici dimenzija 5 5, skiciran je induktivni dokaz Prikazat ćemo kako uvjeti teorema omogućuju korak indukcije tj prijelaz s A (k) na A (k+1), gdje je a 11 a 12 a 13 a 1k a 1,k+1 a 1n 0 a (1) 22 a (1) 23 a (1) 2,k+1 a (1) 2n (2) a 33 a (2) 3,k+1 a (2) 3n A (k) = L (k) L (1) A = 0 0 a (k 1) kk a (k 1) k,k+1 a (k 1) kn 0 0 a (k) k+1,k+1 a (k) k+1,n 0 0 a (k) n,k+1 a nn (k) Budući da je produkt (L (k) L (1) ) 1 donjet rokutasta matrica s jedinicama na dijagonali, možemo zaključiti da je det A(1 : k + 1, 1 : k + 1) = a 11 a (1) 22 a (2) 33 a (k 1) kk a (k) k+1,k+1 0 Iz navedenog slijedi da je i a (k) k+1,k+1 0 pa možemo definirati matricu L(k+1) koja bi poništila elemente u (k + 1)-om stupcu, a koji se nalaze ispod dijagonale Tada bismo dobili A (k+1) = L (k+1) A (k) Nakon konačnog broja koraka dobijemo matricu A (n 1) koja je gornje trokutasta Primjedba 31 U povezanosti s LU dekompozicijom uvodi se sličan način rastava matrice A gdje izmedu donje i gornje trokutaste matrice imamo dijagonalnu matricu, o čemu nam govori sljedeći teorem 22
Teorem 32 Ukoliko su svi glavni minori matrice A R n n različiti od nule, tada postoji jedinstvena donje trokutasta matrica L i jedinstvena gornje trokutasta matrica M, koje imaju jedinice na glavnoj dijagonali, te jedinstvena dijagonalna matrica D = diag(d 1,, d n ) takve da vrijedi A = LDM Matricu U dobivenu LU dekompozicijom rastavimo u oblik L = DM gdje nam je D dijagonalna matrica, a M je gornje trokutasta matrica s jedinicama na dijagonali Tako da nam rastav početne matrice izgleda ovako: A = LU = L(DM) = LDM Dokaz navedenog teorema može se pronaći u [3] 31 LU dekompozicija s pivotiranjem Jedan od navedenih uvjeta postojanja LU dekompozicije je taj da determinante glavnih podmatrica matrice A(1 : k, 1 : k) moraju biti različite od nule za k = 1, 2,, n 1, tj sve glavne podmatrice moraju biti regularne Sustav jednadžbi 0x 1 + 1x 2 = b 1 1x 1 1x 2 = b 2 ima rješenje x 2 = b 1, x 1 = b 1 + b 2 te daje matricu A = [ ] 0 1 1 1 koja nema LU dekompoziciju Ukoliko sustav napišemo obrnutim redoslijedom, imamo isti sustav jednadžbi, no sada nam matrica sustava biva A = [ ] 1 1 = 0 1 [ 1 0 0 1 ] [ ] 1 1 0 1 koja ima LU dekompoziciju Zamjenu redaka, koja nam je omogućila provedbu LU dekompozicije, činimo matricom permutacija P Za navedeni primjer vrijedi: [ ] [ ] [ ] 1 1 0 1 0 1 = 0 1 1 0 1 1 }{{}}{{}}{{} A P A Za bilo koju matricu A R n n postoji permutacija P takva da Gaussove eliminacije daju LU faktorizaciju P A = LU matrice P A, gdje je P permutacijska matrica, L je donje trokutasta, a U je gornje trokutasta matrica 23
Dakle, da bismo rješili sustav Ax = b prvo djelujemo permutacijskom matricom s obije strane jednadžbe: P Ax = P b d Produkt P A zamjenjujemo dekompozicijom LU te imamo: te rješavamo LUx = d, Vrijedi sljedeći teorem Ly = d i Ux = y Teorem 33 Neka je A R n n proizvoljna matrica Tada postoji permutacija P takva da Gaussove eliminacije daju LU dekompoziciju P A = LU matrice P A Matrica L = [l ij ] je donje trokutasta s jedinicama na dijagonali, a U je gornje trokutasta Pri tome, ako je P produkt od p inverzija, vrijedi da je det A = ( 1) p U tom slučaju faktorizaciju P A = LU zovemo LU faktorizacija s pivotiranjem redaka Dokaz navedenog teorema može se pronaći u [1] n i=1 u ii 24
4 Cholesky dekompozicija Za simetričnu matricu A, dimenzija n n, kažemo da ima svojstvo pozitivne definitnosti ako za sve x R n, x 0, vrijedi x T Ax > 0 Neka je S proizvoljna regularna matrica i x 0, onda je i y = Sx 0 te vrijedi x T (S T AS)x = (Sx) T A(Sx) = y T Ay > 0, iz čega proizlazi da je i S T AS pozitivno definitna matrica, što osigurava egzistenciju LU faktorizacije bez pivotiranja Dakle, ukoliko A particioniramo tako da je [ ] a11 a T A =,  R (n 1) (n 1), a  onda je i a 11 > 0 te prvi korak eliminacija biva Takoder vrijedi [ 1 0 a a 11 I n 1 ] [a11 ] a T = a 11 a T a  0  aat a 11 [ ] 1 0 [a11 ] a a T 1 at I n 1 a  a 11 = a 11 0 a 11 0 I 0  aat n 1 a 11 pri čemu je dobivena matrica takoder pozitivno definitna Može se provjeriti da je prvi element matrice  aat strogo veći od nule, iz čega slijedi da je i navedena a 11 matrica pozitivno definitna te se postupak eliminacije može nastaviti Time smo pokazali egzistenciju dekompozicije A = R T R, u kojoj je R gornje trokutasta matrica, koju nazivamo dekompozicija (ili faktorizacija) Choleskog ili trokutasta dekompozicija simetrične pozitivno definitne matrice Elemente matrice R možemo izračunati raspisivanjem relacije r 11 0 0 0 r 11 r 12 r 1n r 12 r 22 0 0 0 r 22 r 2n A = R T R = 0 rn 1,n 1 0 0 rn 1,n 1 r n 1,n r 1n r 2n r n 1,n r nn 0 0 0 r nn po komponentama, za i j, dobijemo 25
i a ij = r ki r kj k=1 Algoritam 41 Cholesky dekompozicija za simetrične pozitivno definitne matrice A R (n n) za i = 1,, n i 1 r ii = aii rki 2 ; k=1 - za i = 1, r ii = a ii za j = i + 1,, n i 1 r ij = (a ij r ki r kj )/r ii ; k=1 Primjer 41 Rastav pozitivno definitne matrice A na umnožak R T R 4 2 2 2 0 0 2 1 1 2 10 2 = 1 3 0 2 2 5 1 1 0 3 1 3 0 0 3 }{{}}{{}}{{} A R T R Primjedba 41 U poveznici s prethodno iskazanim teoremom 42 koji nam govori o rastavu A = LDM, iskazat ćemo i teorem za rastav simetrične matrice Teorem 41 LDM faktorizacijom regularne simetrične matrice A dobijemo LDM rastav za koji vrijedi da je M = L T Stoga, ovakva dekompozicija se naziva LDL T dekompozicija Dokaz navedenog teorema može se pronaći u [1] 26
5 QR dekompozicija Matrična dekompozicija koju ćemo obraditi u ovom poglavlju naziva se QR dekompozicija Prikazat ćemo osnovna svojstva dekompozicije kao i primjenu na rješavanje linearnih sustava Za razliku od dosad spomenutih dekompozicija kojima je bila potrebna kvadratna matrica, QR dekompoziciju možemo primjeniti na bilo kojoj matrici čiji je broj redaka veći od broja stupaca Prvo ćemo definirati matrice potrebne za QR dekompoziciju Promotrit ćemo matrice koje zadovoljavaju izraz s obzirom da imaju važna svojstva te ćemo ih definirati Q T Q = QQ T = I, (1) Definicija 51 Kvadratna matrica Q R n n ortogonalna matrica za koju vrijedi Q T Q = I naziva se Budući da je Q ortogonalna matrica (prema prethodnoj definiciji), tada zaključujemo da je r(q) = n S obzirom da je Q kvadratna, vrijedi m = n = r(q), što povlači regularnost matrice Q Takoder vrijedi Q T = Q 1 Ortogonalne matrice imaju važnu ulogu kod rješavanja problema najmanjih kvadrata i svojstvenih vrijednosti, a mi ćemo prikazati njihovu upotrebu pri QR dekompoziciji Teorem 51 Za bilo koju matricu A R m n, takvu da je m n postoje matrice Q i R takve da A = QR, pri čemu je Q R m m ortogonalna, a R R m n je gornje trokutasta Ako je, na primjer, matrica A tipa 5 3, tada rastav matrice A koristeći QRfaktorizaciju možemo shematski prikazati na sljedeći način: 0 = 0 0 0 0 0 0 0 0 }{{}}{{}}{{} A R 5 3 Q R 5 5 R R 5 3 27
51 Householderov reflektor i QR Rastav neke matrice A na ranije spomenute matrice Q i R može se napraviti na više načina, primjerice koristeći Householderove reflektore, Gram-Schmidtov postupak ortogonalizacije ili Givensove rotacije U ovom radu QR rastav ćemo prikazati pomoću Householderovih reflektora 6, a o ostalim se postupcima može više saznati u [1] Prvo ćemo spomenuti pojmove koje do sada nismo koristili, a koje ćemo trebati pri analizi QR dekompozicije Duljina ili norma vektora x = [ x 1 x 2 x m ] T, x R m, je broj x = ( m x 2 1 + x 2 2 + + x 2 m = i=1 x 2 i ) 1 2 Korištenje QR rastava temelji se na svojstvu ortogonalne matrice da za svaki vektor x R m 1 vrijedi Zaista vrijedi x = Qx (2) Neka je zadan vektor x R m, te neka je Qx 2 = (Qx) T Qx = x T Q T Qx = x T x = x 2 x 1 x 2 x m x =, x = Qr QR rastav tog vektora Tada je zbog svojstva (2) r = x pa vrijedi x x r = 0 ili r = 0 0 0 S obzirom da se radi o vektoru postupak je relativno jednostavan, no nalaženje matrice Q je nešto složenije U ovom slučaju matrica Q jednaka je Householderovom reflektoru, koji je definiran s 6 Uz naziv Householderov reflektor u literaturi se susreće i na nazive Householderove transformacije 28
x 1 ± x H = I 2 x 2 v T v vvt, v = x 3 x m Uvrštavanjem možemo provjeriti da za ovaj izbor matrice H vrijedi x Hx = r = 0 0 Budući da je H ortogonalna i simetrična iz toga proizlazi da vrijedi pa smo dobili QR rastav vektora x x = H T (Hx) = H T r = Hr Na sličan način, rekurzivnom primjenom QR rastava vektora nalazimo i QR rastav matrice Uzmimo primjerice matricu tipa 5 3 Neka je a 1 prvi stupac matrice A i neka je ± a 1 0 H 1 a 1 = 0 0 0 QR rastav vektora a 1 Q 1 je simetrična te stavimo Q 1 = H 1 Tada je ± a 1 0 0 A 2 0 0 Neka je a 2 drugi stupac matrice A 2 koja je tipa 4 2 i neka je H 2 a 2 = QR rastav vektora a 2 Nadalje, stavimo ± a 2 0 0 0 29
Tada je Q 2 Q 1 A = [ 1 Q 2 = H 2 ] ± a 1 0 ± a 2 0 0 0 0 A 3 0 0 pri čemu je matrica A 3 tipa 3 1 U posljednjem koraku imamo a 3 = A 3 i neka je QR rastav vektora a 3 Stavimo Slijedi da je ± a 3 H 3 a 3 = 0 0 1 Q 3 = 1 H 3 ± a 1 0 ± a 2 Q 3 Q 2 Q 1 A = 0 0 ± a 3 0 0 0 = R 0 0 0 Uz svojstva ortogonalnosti i simetričnosti matrica Q 1, Q 2 i Q 3 za matricu Q = Q 1 Q 2 Q 3 vrijedi Q / Q 3 Q 2 Q 1 A = R, A = QR, te smo tako dobili QR rastav matrice A Navedeni postupak je proveden na matrici A tipa 5 3, no može se poopćiti za bilo koju dimenziju 52 Primjena QR dekompozicije na rješavanje problema najmanjih kvadrata Rješenje problema najmanjih kvadrata je jedinstveno u slučaju kada matrica sustava A ima linearno nezavisne stupce, te se može rijesiti QR dekompozicijom uz svojstvo 30
ortogonalne matrice Q da je Qx = x Neka je A matrica tipa m n, m > n, te neka je r(a) = n i neka je A = QR rastav matrice A Tada vrijedi: Ax b 2 = QRx QQ T b 2 = Q(Rx Q T b) 2 = Rx Q T b 2 Matricu R možemo zapisati kao R = [ ] R0, 0 gdje je R 0 gornje trokutasta kvadratna matrica reda n, a vektor Q T b zapišemo kao Q T b = [ ] c, d pri čemu je c tipa n 1, a d tipa (m n) 1 Imamo [ ] Ax b 2 = Rx Q T b 2 = R0 x c 2 = R d 0 x c 2 + d 2 Sada, trokutasti sustav R 0 x = c ima jedinstveno rješenje x za koje je R 0 x c = 0 Budući da d ne ovisi o x, vrijednost Ax b se ne može više smanjiti pa je x jedinstveno rješenje problema najmanjih kvadrata Primjer 51 Riješi problem najmanjeg kvadrata tj minimiziraj Ax b 2 ako je zadano koristeći QR dekompoziciju 3 6 1 A = 4 8, b = 7 0 1 2 Prethodno prikazanim postupkom se pronade QR rastav matrice A, te vrijedi: Iz matrice R dobijemo matricu Vektor Q T b zapišemo kao 3 6 06 0 08 5 10 4 8 = 08 0 06 0 1 0 1 }{{ } } 0 1 {{ 0 }} 0 0 {{ } A Q R Q T b = R 0 = [ ] 5 10 0 1 [ ] c, gdje je c = d 31 [ ] 5, d = [ 5] 2
Sada, trokutasti sustav R 0 x = c ima jedinstveno rješenje x, te iz dobijemo rješenje x 1 = 5, x 2 = 2 [ ] [ ] 5 10 x1 R 0 x = c = 0 1 x 2 [ ] 5 2 32
6 Dekompozicija na singularne vrijednosti Opisno ćemo spomenuti i dekompoziciju na singularne vrijednosti - SVD 7 Ortogonalnost, kao što smo već vidjeli, ima istaknutu ulogu u radu s matricama SVD je dekompozicija realne ili kompleksne matrice koja ima mnoge upotrebe, npr pri traženju pseudoinverza, matričnih aproksimacija, odredivanju ranga matrica i dr U prethodnom poglavlju smo definirali ortogonalnu matricu koja se koristi i pri dekomponiranju na singularne vrijednosti, a još ćemo definirati svojstvene vrijednosti kvadratne matrice A Definicija 61 Kažemo da je λ C svojstvena vrijednost kvadratne matrice A R n n ako postoji x 0 R n tako da vrijedi Ax = λx Singularne vrijednosti (σ 1,, σ p ) matrice A su kvadratni korijeni svojstvenih vrijednosti matrice A T A, odnosno matrice AA T Takav vektor x zovemo svojstveni vektor matrice A, a svaka kvadratna matrica A R n n ima n (ne nužno različitih) svojstvenih vrijednosti Teorem 61 Neka je A R m n Tada postoje ortogonalne matrice U = [u 1,, u m ] R m m i V = [v 1,, v n ] R n n takve da vrijedi U T AV = diag(σ 1,, σ p ) R m n, p = min{m, n} (1) pri čemu vrijedi σ 1 σ 2 σ p 0 Dokaz teorema pogledati u [3] (Tm 252) Ako izraz (1) pomnožimo s lijeve strane matricom U i s desne strane matricom V T, te ako uvedemo oznaku S = diag(σ 1,, σ p ), p = min{m, n}, gdje je S R m n dijagonalna matrica, tada dobijemo A = USV T Nenegativne brojeve σ 1,, σ p zovemo singularne vrijednosti matrice A, a prikazanu dekompoziciju zovemo rastav na singularne vrijednosti 7 SVD od eng singular value decomposition 33
Sada ćemo riješiti problem najmanjeg kvadrata iz prethodnog poglavlja koristeći SV D dekompoziciju Teorem 62 Neka je U T AV = S, tj A = USV T, dekompozicija na singularne vrijednosti matrice A R m n s r = rang(a) Neka su U = [u 1,, u m ] i V = [v 1,, v n ] matrice particionirane na stupce, te neka je b R m Tada minimizira Ax b 2 x LS = r i=1 u T i b σ i v i (2) Dokaz teorema pogledati u [3] (Tm 551) Primjer 61 Riješi problem najmanjeg kvadrata tj minimiziraj Ax b 2 ako je zadano koristeći SV D dekompoziciju 3 6 1 A = 4 8, b = 7 0 1 2 Provodenjem SV D dekompozicije na matrici A dobijemo rastav A = USV T, tj 3 6 05980 00479 08 112161 0 [ ] 4 8 = 07974 00639 06 0 04457 04443 08958 08958 04443 0 1 00798 09968 0 0 0 Uvrštavajući elemente dobivene dekompozicijom u izraz (2) dobijemo što je rješenje x LS = r i=1 u T i b σ i v i = Dekompozicija na singularne vrijednosti je korisna i kad matrica nije punog ranga, te ova metoda povećava osjetljivost linearnog sustava na numeričku grešku Koristeći SV D možemo riješiti većinu linearnih problema najmanjih kvadrata, te riješiti situacije kada su matrice singularne SV D se, takoder, koristi u obradi signala i statistici, te je nedavno postala korisna u analizi DNA [ ] 2 5 34
Literatura [1] Z Drmač, V Hari, M Marušić, M Rogina, S Singer, S Singer, Numerička analiza, Sveučilište u Zagrebu, PMF - Matematički odjel, Zagreb 2003 [2] N Elezović, Linearna algebra, drugo izadnje, Element, Zagreb, 1999 [3] G H Golub, CF Van Loan, Matrix computations, third edition, The Johns Hopkins University Press, Baltimore and London, 1996 [4] V Hari, Linearna algebra, PMF - Matematički odjel, Zagreb, 2005 [5] S Kurepa, Uvod u linearnu algebru, Školska knjiga, Zagreb, 1978 [6] R Scitovski, Numerička matematika, drugo izdanje, Odjel za matematiku, Osijek, 2004 [7] N Truhar, Numerička linearna algebra, Odjel za matematiku, Osijek, 2010 35
Sažetak U ovom radu pokušali smo prikazati tehnike provodenja pojedinih dekompozicija Obradene dekompozicije implementirane su u razne matematičke programe kao i u razne operacijske sustave Svaka zasebno može se puno detaljnije pročavati spominjući algoritam, cijenu, uvjetovanost i stabilnost odredene dekompozicije U ovom radu smo se bazirali na osnovnim idejama dekomponiranja uz prilagodbu odredenih algoritama LU dekompozicija ja zahtjevala kvadratnu matricu te ili glavne minore različite od nule ili pivotiranje Prikazali smo dekompoziciju Choleskog koja zahtjeva simetričnu pozitivno definitnu matricu S obzirom da nam matrica nije uvijek kvadratna, naveli smo i QR dekompoziciju koja ne zahtjeva matricu odredenog tipa već je dovoljno da je broj redaka matrice veći od broja stupaca Takoder smo spomenuli SV D dekompoziciju s obzirom na njene brojne primjene 36
Matrix decomposition and applications Abstract In this paper we tried to demonstrate different decomposition techniques Specified decompositions are implemented into various mathematical softwares and in different operation systems Each technique can be additionally researched by discussing algorithms, cost, conditioning and stability of certain decomposition We focused on basic ideas of decomposition with addition of adjusting certain algorithms LU decomposition required square matrix and either nonzero principal minors or pivoting We demostrated Cholesky decomposition which requires symmetric positive definite matrix Because matrix is not always squared, we also provided a QR decomposition which does not require matrix of defined type, it is only important that number of rows in matrix is larger than a number of columns We also mentioned SVD composition regarding its various applications 37
Životopis Roden sam 2 svibnja 1985 godine u Dakovu gdje sam od 1992 do 2000 godine pohadao Osnovnu školu Vladimira Nazora Godine 2000 sam upisao Opću gimnaziju AGMatoš u Dakovu 2004 godine sam uspješno završio gimnazijsko obrazovanje te iste godine upisao preddiplomski sveučilišni studij matematike na Odjelu za matematiku u Osijeku 2007 godine sam završio preddiplomski studij te iste godine upisao sveučilišni diplomski studij financijske i poslovne matematike na Odjelu za matematiku 38