Tvorba efekt vnych algoritmov

Transcription

1 Tvorba efekt vnych algoritmov RNDr. Pavol uri, CSc. Katedra informatiky MFF UK December 1997

2

3 Abstrakt Tento text vznikol ako materi l ku predn ke "Tvorba efekt vnych algoritmov" pre 3. ro n k t dia informatiky na Matematicko-fyzik lnej fakulte Univerzity Komensk ho. T to predn ka vo ne nadv zuje na predn ku "Algoritmy a trukt ry dajov" (2. ro n k), a preto sa aj tento text asto odkazuje na znalosti z tejto predn ky. Nem sl i ani ako n hrada za skript, ani ako n hrada za predn ku. Predstavuje len mierne prepracovan verziu pozn mok k tejto predn ke. Jednotliv kapitoly obvykle nepod vaj ucelen poh ad na problematiku. a iskom cel ho textu je kapitola 4, ktor pod va stru n preh ad jednotliv ch met d tvorby efekt vnych algoritmov. Vhodn pr klady itate n jde m.i. v kapitol ch 1 a 3. Kapitoly 1 a 3 s asne tvoria vhodn roz renie poznatkov oproti predn ke "Algoritmy a trukt ry dajov". Kapitola 5 pod va vod do NP- pln ch probl mov (je iasto ne doplnen o materi ly z predn ky "Te ria zlo itosti" z bloku "Matematick met dy"). Na z ver, v kapitole 6, sa itate m e obozn mi so stru n m vodom do tzv. aproximat vnych algoritmov. Autori textu nezodpovedaj za pr padn chyby, ktor sa v om nach dzaj.

4 Obsah 1 Vyh ad vanie, triedenie a s visiace probl my H adanie k-teho najmen ieho prvku : : : : : : : : : : : : : : : : : : : : : : : : : : : : Priemern po et porovnan triediacich algoritmov : : : : : : : : : : : : : : : : : : : : Algoritmy na dynamick ch mno in ch : : : : : : : : : : : : : : : : : : : : : : : : : : Realiz cia slovn ka hashovan m : : : : : : : : : : : : : : : : : : : : : : : : : : Realiz cia slovn ka pomocou 2-3 stromov : : : : : : : : : : : : : : : : : : : : UNION/FIND-SET probl m : : : : : : : : : : : : : : : : : : : : : : : : : : : Zr chlenie algoritmu pre UNION/FIND-SET probl m : : : : : : : : : : : : : al ia literat ra : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 13 2 Grafov algoritmy Najlacnej ia kostra grafu : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Najlacnej ie cesty v grafe : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Dijkstrov algoritmus : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Floyd{Warshallow algoritmus : : : : : : : : : : : : : : : : : : : : : : : : : : : al ia literat ra : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 20 3 Algoritmy na maticiach Strassenov algoritmus n sobenia mat c : : : : : : : : : : : : : : : : : : : : : : : : : : N sobenie booleovsk ch mat c : : : : : : : : : : : : : : : : : : : : : : : : : : LUP dekompoz cia mat c : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : al ia literat ra : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 24 4 Met dy tvorby efekt vnych algoritmov Princ p neust leho zlep ovania : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Vo ba vhodnej trukt ry dajov : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Princ p vyv enosti : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Met da "Rozde uj a panuj" : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Dynamick programovanie : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Probl m n sobenia re azca mat c : : : : : : : : : : : : : : : : : : : : : : : : : knapsack probl m : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Greedy algoritmy : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : al ia literat ra : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 32 5 NP- plnos Triedy P a NP : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : NP- pln probl my : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Booleovsk v razy : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : NP- pln probl my na neohodnoten ch grafoch : : : : : : : : : : : : : : : : Optimaliza n versus rozhodovacie probl my : : : : : : : : : : : : : : : : : : al ia literat ra : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 40 6 Aproximat vne algoritmy 41

5 2 1 VYH AD VANIE, TRIEDENIE A S VISIACE PROBL MY 1 Vyh ad vanie, triedenie a s visiace probl my V tejto kapitole sa budeme venova triedeniu a vyh ad vaniu. Oproti predn ke "Algoritmy a trukt ry dajov" uvedieme niektor al ie algoritmy (h adanie k-teho najmen ieho prvku) a zavedieme niektor nov d tov trukt ry (2-3 stromy, trukt ry pre UNION/FIND-SET probl m). Takisto si roz rime vedomosti o zlo itosti probl mu triedenia (doln odhad priemern ho pr padu). 1.1 H adanie k-teho najmen ieho prvku Nech U je line rne usporiadan mno ina. Nad touto mno inou majme dan n-prvkov postupnos S. Nie je a k nap sa algoritmus, ktor n jde minim lny (resp. maxim lny) prvok takejto mno iny v ase O(n). Takisto nie je probl mom v takom istom ase n js druh najmen prvok (na rie enie sta prida jednu premenn a pre ka d prvok jedno porovnanie). Vezmime si teraz o nie o v eobecnej iu lohu: dan je cel slo k (1 k n). Je potrebn n js v postupnosti S jej k-ty najmen prvok. Ak budeme postupova v duchu predch dzaj cich vah, dospejeme k nasleduj cemu algoritmu: v pam ti budeme uchov va doteraz n jden ch k najmen ch prvkov. Postupne budeme prech dza postupnos a pre ka d prvok pomocou k oper ci zaktualizujeme uveden trukt ru. Tak mto sp sobom dost vame algoritmus s asovou zlo itos ou (k:n), a teda vo v eobecnosti a (n 2 ). Tento v sledok je neuspokojiv. al m prirodzen m rie en m je utriedi cel postupnos a potom sa jednoducho pozrie na k-ty najmen prvok. Tak to rie enie n m d va asov zlo itos (n: log n). Ot zkou v ak zost va, i existuje algoritmus s asovou zlo itos ou porovnate nou s h adan m minim lneho prvku (doteraz uveden v sledky s toti asymptoticky hor ie ako O(n)). Skuto ne v al om texte uk eme, e existuje algoritmus s asovou zlo itos ou O(n). Idea r chleho algoritmu spo va v pou it met dy "Rozde uj a panuj". Probl m rozsahu n zredukujeme na jeden podprobl m rozsahu n=5 a jeden podprobl m rozsahu najviac 3n=4. Den cia 1.1 Medi n n-prvkovej postupnosti je jej dn=2e-t najmen prvok. Algoritmus 1 procedure SELECT(k,S) begin if jsj < 50 then begin utrie S return k-ty najmen prvok v utriedenej postupnosti else begin rozde S do bjsj=5c p prvkov ch postupnost utrie p prvkov postupnosti nech M je postupnos medi nov p prvkov ch postupnost m SELECT(djM j=2e; M) (1) rozde prvky z S do troch postupnost S 1 ; S 2 ; S 3 tak, aby S 1 obsahovala v etky prvky z S men ie ne m S 2 obsahovala v etky prvky z S rovn m S 3 obsahovala v etky prvky z S v ie ne m if js 1 j k then return SELECT(k,S 1 ) (2) else if js 1 j + js 2 j k then return m else return SELECT(k js 1 j js 2 j; S 3 ) (3) Lema 1.2 Pre ve kosti mno n S 1 a S 3 v algoritme 1 plat : js 1 j 3n=4, js 3 j 3n=4.

6 1.1 H adanie k-teho najmen ieho prvku 3 D kaz: Zora me (v neklesaj com porad "z ava doprava") jednotliv (utrieden ) p prvkov postupnosti pod a ve kosti ich medi nov 1 pozri obr. 1 (st pce predstavuj jednotliv p prvkov postupnosti utrieden neklesaj co "zhora dolu"). Obd nik B obsahuje 3 dbn=5c=2e prvkov a hodnota ka d ho z nich je aspo m. Preto js 1 j n jbj = n 3 dbn=5c=2e 3n=4 pre n 50. Podobne tvrdenie plat pre S 3 (v d kaze pou i obd nik A). 2 A e e e e e : : : : : : e e bn=5c - m obr. 1: Odhad ve kost js 1 j; js 3 j B utrieden M Veta 1.3 Algoritmus SELECT n jde k-ty najmen prvok v n-prvkovej postupnosti S v ase O(n). D kaz: Nech T (n) je as potrebn na n jdenie k-teho najmen ieho prvku v n prvkovej postupnosti. Ke e js 1 j 3n=4 a js 3 j 3n=4 (pozri lemu 1.2), rekurz vne volanie v riadku (2) alebo (3) potrebuje as nanajv T (3n=4). Rekurz vne volanie v riadku (1) potrebuje as nanajv T (n=5). V etky ostatn asti algoritmu potrebuj as O(n). Teda existuje c (c > 0) tak, e T (n) T (n=5) + T (3n=4) + cn: Indukciou ahko dok eme, e T (n) 20cn. D kaz korektnosti algoritmu prenech vame na itate a. 2 V al om uvedieme tvrdenia, ktor ukazuj, e nie je mo n zostroji algoritmus s asymptoticky lep ou asovou zlo itos ou ako O(n), i u uva ujeme o priemernom alebo najhor om pr pade. Den cia 1.4 H bka vrcholu w v strome T je d ka cesty z w do kore a stromu T. Veta 1.5 Ak T je rozhodovac strom, ktor h ad k-ty najmen prvok v mno ine S (jsj = n), potom ka d list stromu T m h bku aspo n 1. D sledok 1.6 N jdenie k-teho najmen ieho prvku v S potrebuje aspo n 1 porovnan v priemernom aj najhor om pr pade. Cvi enia Cvi enie 1.1 Uva ujme algoritmus 1. Je nutn, aby sme rozde ovali p vodn postupnos pr ve na p prvkov postupnosti, alebo je mo n toto slo zmeni (napr klad na trojprvkov alebo sedemprvkov )? Bude tak to zmena ma vplyv na asov zlo itos algoritmu, ak no, ak? Cvi enie 1.2 Pre o pre menej ako 50 prvkov postupujeme v algoritme 1 odli ne? Je d le it, e je to pr ve 50? Ak bude ma vplyv zmena tohoto sla na asov zlo itos algoritmu? 1 V imnite si, e algoritmus nezora uje p prvkov postupnosti ako na obr. 1, namiesto toho h ad prvok m ako medi n postupnosti M

7 4 1 VYH AD VANIE, TRIEDENIE A S VISIACE PROBL MY Cvi enie 1.3 Uva ujte tak to algoritmus pre h adanie k-teho najmen ieho prvku: procedure SEL(k,S) begin if jsj < 50 then begin utrie S return k-ty najmen prvok v utriedenej postupnosti else begin m ubovo n prvok z S rozde prvky z S do troch postupnost S 1 ; S 2 ; S 3 tak, aby S 1 obsahovala v etky prvky z S men ie ne m S 2 obsahovala v etky prvky z S rovn m S 3 obsahovala v etky prvky z S v ie ne m if js 1 j k then return SELECT(k,S 1 ) else if js 1 j + js 2 j k then return m else return SELECT(k js 1 j js 2 j; S 3 ) Ak je po et porovnan algoritmu SEL v najhor om a priemernom pr pade? Cvi enie 1.4 S dan dve polia A[1::N], B[1::N] rovnakej d ky N. Obe polia s vzostupne utrieden. N jdite o najefekt vnej algoritmus, ktor n jde medi n postupnosti, ktor by vznikla zl en m oboch t chto pol ( asov zlo itos O(log N)). Cvi enie 1.5 V krajine je postaven ch n vrtn ch ve. Nech i-ta ve a m s radnice (x i ; y i ) (mo no predpoklada, e iadne dve ve e nemaj rovnak x-ov s radnicu). In inieri sa rozhodli postavi potrubie ved ce od v chodu na z pad a ku ka dej vrtnej ve i postavi pr pojku. N jdite o najefekt vnej algoritmus, ktor ur, na ak y-ov s radnicu je potrebn potrubie postavi, aby s et d ok pr pojok k ve iam bol minim lny ( asov zlo itos O(n)). 1.2 Priemern po et porovnan triediacich algoritmov Pri sk man po tu porovnan triediacich algoritmov sme sa doteraz stretli s t mito tvrdeniami: Na utriedenie n prvkov v priemernom pr pade sta O(n log n) porovnan (vi. vlastnosti algoritmov HEAPSORT a QUICKSORT). Na utriedenie n prvkov v najhor om pr pade je potrebn ch (n log n) (vi. rozhodovacie stromy) a sta O(n log n) porovnan (vi. vlastnosti algoritmu HEAPSORT). V tejto kapitole sa budeme zaobera priemern m pr padom triediacich algoritmov a stanov me, ak po et porovnan je potrebn ch v priemernom pr pade na utriedenie n prvkov. Den cia 1.7 Striktne bin rny strom je strom, v ktorom m ka d vrchol okrem listov pr ve dvoch synov. Ozna enie: Nech D T je suma h bok listov stromu T. Nech d(m) = minfd T j T je striktne bin rny strom s m listamig Lema 1.8 Nech T R je rozhodovac strom s m listami. Potom D TR m log m.

8 1.2 Priemern po et porovnan triediacich algoritmov 5 D kaz: Nech T je striktne bin rny strom s m listami, ktor ho suma h bok listov D T je minim lna, tj. D T = d(m). Nech T 1 je av podstrom a T 2 je prav podstrom stromu T. Nech i je po et listov stromu T 1. Potom po et listov T 2 je m i. Zrejme plat D T = i + D T1 + (m i) + D T2 (h bka ka d ho z i listov stromu T 1 je v strome T o jedno v ia ako v strome T 1 a to ist plat pre m i listov stromu T 2 ). Ke e T m minim lnu hodnotu D T, mus tie plati D T1 = d(i) a takisto D T2 = d(m i) (in by bolo mo n nahradi av podstrom T 1 stromu T podstromom T 0 1, ktor by mal hodnotu D T 0 1 men iu a t m by sme zmen ili hodnotu D T ; podobne pre T 2 ). Teda d(m) = m + d(i) + d(m i): Matematickou indukciou ahko dok eme, e d(m) m log m, lebo funkcia f(x) = x log x + (m x) log(m x) nadob da minimum pre x = m=2. Ke e T R je striktne bin rny strom s m listami, mus plati : D TR d(m) m log m: Veta 1.9 Ka d algoritmus triediaci porovn van m urob v priemernom pr pade (n log n) porovnan za predpokladu, e v etky permut cie postupnosti n prvkov sa na vstupe vyskytuj s rovnakou pravdepodobnos ou. D kaz: Nech A je ubovo n algoritmus triediaci porovn van m. Nech n je ubovo n rozsah vstupu a nech TA n je rozhodovac strom triediaci n prvkov zodpovedaj ci algoritmu A. Strom T A n m pr ve n! listov (pre ka d permut ciu na vstupe pr ve jeden list) a suma h bok jeho listov je celkov po et porovnan, ktor vykon algoritmus A na v etk ch n! vstupn ch permut ci ch. Teda priemern po et porovnan algoritmu A na vstupoch rozsahu n je na z klade lemy D T n A n! n log n! log 2 n 2 = (n log n): 2 Cvi enia Cvi enie 1.6 Uk te, e na n jdenie minim lneho prvku v danej postupnosti je potrebn ch aspo d n 2 e porovnan. Uk te, e zlo itos tohto probl mu2 vzh adom na oper cie porovnania je n 1. Cvi enie 1.7 Uva ujme probl m s asn ho n jdenia minim lneho aj maxim lneho prvku v danej postupnosti prvkov. N jdite rie enie pou vaj ce d3n=2e 2 porovnan. Dok te, e menej porovnan nesta. 3 Cvi enie 1.8 Uk te, e druh najmen prvok z n prvkov sa d n js pomocou n + dlog 2 ne 2 porovnan. Cvi enie 1.9 Uk te, e na vyh adanie prvku v utriedenom poli je potrebn ch v priemernom pr pade (log n) porovnan. 2 Zlo itos ou t P (n) probl mu P, kde n je ve kos vstupu, rozumieme minft(a; n)ja 2 A P g, kde t(a; n) je po et pr slu n ch oper ci (v na om pr pade porovnan ) algoritmu A pre najhor pr pad vstupu n a A P je mno ina v etk ch algoritmov rie iacich probl m P. 3 M ete pou i met du stavov ch priestorov: Ozna me a po et neporovnan ch, b po et porovnan ch v dy men- ch, c po et porovnan ch v dy v ch a d po et ostatn ch prvkov a sledujme po et porovnan potrebn ch na zmenu stavu (n; 0; 0; 0)! (0; 1; 1; n 2).

9 6 1 VYH AD VANIE, TRIEDENIE A S VISIACE PROBL MY 1.3 Algoritmy na dynamick ch mno in ch Na dynamick ch mno in ch (dynamick preto, lebo povo ujeme aj oper cie, ktor menia tieto mno- iny) budeme uva ova tieto z kladn oper cie: MEMBER(a,S) zist, i prvok a patr do mno iny S, INSERT(a,S) do mno iny S prid prvok a, DELETE(a,S) z mno iny S odstr ni prvok a, MIN(S) n jde najmen prvok mno iny S, UNION(S 1,S 2 ) vytvor zjednotenie mno n S 1 a S 2 (predpoklad me, e mno iny S 1 a S 2 s disjunktn ), FIND-SET(a) n jde mno inu S, do ktorej patr a. Mnoh praktick probl my mo no redukova na podprobl my, ktor mo no abstraktne formulova ako postupnos uveden ch z kladn ch oper ci na nejakej dynamickej mno ine. Pr klad: Pri lexik lnej anal ze kompil tory asto pou vaj oper cie MEMBER, INSERT; niektor editory umo uj kontrolu preklepov (oper cie MEMBER, INSERT); mnoh greedy algoritmy pou vaj oper cie UNION, FIND-SET. Den cia 1.10 Nech je kone n postupnos z kladn ch oper ci na dynamick ch mno in ch. asov zlo itos postupnosti je mno stvo asu (vyjadren ako funkcia d ky postupnosti ), ktor treba na vykonanie in trukci postupnosti. Pozn mka: Postupnos vykon vame on-line sp sobom, t.j. algoritmus sa nem e "pozrie " na j-tu oper ciu v sk r, ako vykon oper cie 1; 2; : : :; j Realiz cia slovn ka hashovan m Od slovn ka po adujeme, aby o najefekt vnej ie dok zal realizova ubovo n postupnos oper ci skladaj cu sa z oper ci MEMBER, INSERT a DELETE. Pomerne jednoduch m rie en m probl mu je pou itie hashovania. Veta 1.11 Ak hashovacia funkcia h : U! f0; 1; : : :; m 1g zobrazuje U rovnomerne na mno inu f0; 1; : : :; m 1g, potom priemern zlo itos postupnosti d ky n m je O(n) (predpoklad me, e mno ina reprezentuj ca slovn k je na za iatku vykonania postupnosti pr zdna). D kaz: V etky (vzh adom na hashovaciu funkciu) r zne v po ty na n prvkov ch vstupn ch postupnostiach a 1 : : : a n mo no reprezentova pln m m- rnym stromom v ky n (kore je za iatok v po tu, list koniec v po tu). Ka dej hrane stromu pride me cenu takto: Nech w je ubovo n vrchol h bky i (0 i n 1) a nech tomuto vrcholu zodpoved (vzh adom na as v po tu kore { vrchol w) stav, kde d ka P j-teho zoznamu je l j (1 j m). Potom cena hrany z w do jeho j-teho m syna je c j = l j + 1. Ke e l j=1 j = i, potom mx j=1 c j = i + m Po et vrcholov h bky i je m i (0 i n). Z ka d ho vrcholu h bky i vych dza smerom k jeho synom m hr n a suma cien t chto hr n je i + m. Ka d z hr n vych dzaj ca z niektor ho vrcholu s h bkou i (smerom k jeho synom) le na m n i 1 cest ch z kore a k listom. Nazvime cenou cesty z kore a do listu s et cien hr n le iacich na tejto ceste.

10 1.3 Algoritmy na dynamick ch mno in ch 7 Suma cien v etk ch m n ciest z kore a do m n listov je teda n 1 X i=0 X n 1 m i (i + m)m n i 1 = m n (1 + i m ): Z toho vypl va, e priemern as potrebn na "spracovanie" n prvkovej postupnosti je X n 1 O( i=0 i=0 (1 + i )) = O(n) m pre n m, lebo cena cesty z kore a do listu je mern asu potrebn mu na spracovanie pr slu nej n prvkovej postupnosti. 2 Pozn mka: Nev hodou hashovania je zlo itos v najhor om pr pade a (n 2 ) napr klad =(INSERT(a 1,S), INSERT(a 2,S), : : :, INSERT(a n,s), MEMBER(a 1,S), : : :, MEMBER(a n,s)), kde h(a 1 ) = h(a 2 ) = : : : = h(a n ) Realiz cia slovn ka pomocou 2-3 stromov V kapitole sme sa zozn mili s probl mom slovn ka a s jeho rie en m pomocou hashovania. V tejto kapitole si uk eme in rie enie a to pomocou 2-3 stromov. Den cia strom je strom, v ktorom ka d vrchol, ktor nie je list, m dvoch alebo troch synov a v etky cesty z kore a do listov s rovnako dlh. Line rne usporiadan mno inu S mo no reprezentova 2-3 stromom priraden m prvkov z S listom 2-3 stromu (z ava doprava od najmen ieho prvku po najv ). Ozna enie: Nech E[l] ozna uje prvok z S priraden listu l. Nech v je vrchol 2-3 stromu, ktor nie je list. Nech L[v] (resp. M[v]) ozna uje najv prvok z S priraden listom podstromu, ktor ho kore om je naj avej (resp. druh ) syn vrcholu v. 2:4 R 1: :4 5:6 E 3 4 W 5 6 L:M obr. 2: 2-3 strom reprezentuj ci mno inu S = f4; 1; 3; 6; 2; 5g Lema 1.13 Nech T je 2-3 strom s v kou h. Potom po et vrcholov stromu T je medzi 2 h+1 1 a (3 h+1 1)=2 a po et listov je medzi 2 h a 3 h. D kaz: Matematickou indukciou vzh adom na v ku stromu h. 2 Oper cia MEMBER. Nech v je kore 2-3 stromu reprezentuj ceho mno inu S. Uvedieme proced ru SEARCH(a, v), ktor preh ad va strom T od kore a k listom, pri om vyu va hodnoty L a M v jednotliv ch vrcholoch. Algoritmus postupuje met dou podobnou bin rnemu preh ad vaniu. V pr pade, e a 2 S, proced ra vr ti vrchol w, ktor je otcom listu s hodnotou a. Ak a 62 S, potom bude v sledkom proced ry vrchol w, pod ktor by bol zaraden list s hodnotou a.

11 8 1 VYH AD VANIE, TRIEDENIE A S VISIACE PROBL MY Algoritmus 2 procedure SEARCH(a,v) begin if ka d syn vrcholu v je list then return v else begin s i i-ty syn vrcholu v if a L[v] then return SEARCH(a,s 1 ) else if v m dvoch synov or a M[v] then return SEARCH(a,s 2 ) else return SEARCH(a,s 3 ) Pomocou algoritmu 2 teraz ahko zrealizujeme proced ru MEMBER. Proced ra zist, i je prvok a v mno ine S reprezentovanej 2-3 stromom s kore om v. Algoritmus 3 procedure MEMBER(a,v) begin w l i SEARCH(a,v) i-ty syn vrcholu w if E[l i ] = a pre nejak i then return " no" else return "nie" Lema 1.14 Algoritmus 3 zist, i 2-3 strom T s n listami obsahuje list s hodnotou a v najhor om pr pade v ase O(log n). D kaz: Lema je d sledkom lemy Oper cia INSERT. Nech v je kore 2-3 stromu reprezentuj ceho mno inu S. Nech prvok a nepatr do mno iny S. 3:7 1:3 5:6 8: obr. 3: 2-3 strom T reprezentuj ci mno inu S = f1; 3; 5; 6; 7; 8; 9g Nech f je v sledkom proced ry SEARCH(a,v). Vytvor me nov list s hodnotou a a pripoj me ho ako syna k vrcholu f tak, aby nebolo poru en usporiadanie hodn t v listoch stromu. M e nasta jedna z nasleduj cich mo nost : 1. f m troch synov. V tomto pr pade sme z skali 2-3 strom reprezentuj ci S [ fag.

12 1.3 Algoritmy na dynamick ch mno in ch 9 2. f m tyroch synov. Vytvor me nov vrchol g, odpoj me od f jeho dvoch av ch synov a pripoj me ich na g a g pripoj me na otca f. Ak m otec vrcholu f po tejto oper cii troch synov, z skali sme 2-3 strom reprezentuj ci S [ fag, v opa nom pr pade pokra ujeme rekurz vnym sp sobom smerom ku kore u stromu, a k m iadny vrchol nem tyroch synov. Pozn mka: V algoritme pre INSERT treba tie priebe ne upravova hodnoty L a M. Lema 1.15 Algoritmus pre INSERT vsunie nov prvok do 2-3 stromu s n listami v najhor om pr pade v ase O(log n). Naviac algoritmus zachov va usporiadanie hodn t v listoch a v sledn strom je 2-3 strom. D kaz: Nech T je 2-3 strom s n listami. Z lemy 1.13 vypl va, e v ka stromu T je nanajv log n. Preto n jdenie vrcholu f =SEARCH(a,v), kde v je kore stromu T, potrebuje as O(log n). Vsunutie nov ho listu do stromu potrebuje as O(1). N sledn mo n prava na 2-3 strom, pri ktorej algoritmus postupuje pozd cesty od vrcholu f do kore a v, potrebuje as najviac O(log n). Druh as lemy vypl va priamo z realiz cie algoritmu INSERT. 2 3:7 1:2 5:6 8: obr. 4: V sledok oper cie INSERT(2,v) pre strom T 5:9 3:5 7:9 1:3 4: : : obr. 5: V sledok oper cie INSERT(4,v) pre strom T Oper cia DELETE. Nech v je kore om 2-3 stromu reprezentuj ceho mno inu S, nech a 2 S. Nech l je list s hodnotou a. Nech alej f je v sledkom proced ry SEARCH(a,v) 4. M e nasta jedna z nasleduj cich mo nost : 1. f m troch synov. Potom mo no odstr ni l a skon i. 4 Teda f je otcom listu l s hodnotou a

13 10 1 VYH AD VANIE, TRIEDENIE A S VISIACE PROBL MY 2. f m dvoch synov l a s. Nech alej f m av ho brata g (v pr pade prav ho brata postupujeme obdobne). Potom nast va jedna z t chto mo nost : g m troch synov. Potom odpoj me od g jeho najpravej ieho syna, pripoj me ho ku f ako naj avej ieho syna, odstr nime l a skon me. g m dvoch synov. Potom odpoj me s od f a pripoj me s na g ako najpravej ieho syna. Potom odstr nime l a pokra ujeme rekurz vne smerom ku kore u stromu odstra ovan m f. 5:7 1:5 6:7 8: obr. 6: V sledok oper cie DELETE(3,v) pre strom T Pozn mka: V algoritme pre DELETE takisto ako v predch dzaj cich pr padoch netreba zabudn na aktualiz ciu hodn t L a M. Lema 1.16 Algoritmu pre DELETE odstr ni prvok z 2-3 stromu s n listami v ase O(log n). Naviac tento algoritmus uprav p vodn 2-3 strom na 2-3 strom s n 1 listami. D kaz: D kaz je obdobn ako u lemy Implementa n pozn mky. Vrcholy 2-3 stromu obvykle implementujeme ako z znamy s t mito atrib tmi: pointer na otca, pointre na synov, hodnoty L, M a E. Vstupn mi parametrami pre oper cie MEMBER, INSERT a DELETE s potom hodnota prvku a a pointer ukazuj ci na kore 2-3 stromu T, ktor po ukon en oper cie bude ukazova na kore v sledn ho stromu. Veta 1.17 asov zlo itos postupnosti, ktor sa sklad z n oper ci typu MEMBER, INSERT, DELETE alebo MIN, je v najhor om pr pade O(n log n). D kaz: V priebehu vykon vania oper ci v po et listov v pr slu n ch 2-3 stromoch nepreko n. Ke e prvok s najmen ou hodnotou sa nach dza v naj avej om liste 2-3 stromu, oper ciu MIN mo no vykona v najhor om pr pade v ase O(log n). alej tvrdenie vety vych dza z lemy 1.14, 1.15 a UNION/FIND-SET probl m Majme mno iny S i = fig pre v etky i = 1; 2; : : :; n. lohou bude v tomto pr pade zostroji algoritmus, ktor by ( o najefekt vnej ie) vykonal ubovo n postupnos oper ci typu UNION(S i,s j ) a FIND-SET(l). Pr klad: Oper cie UNION/FIND-SET mo no pou i napr klad pri h adan s visl ch komponentov grafu. Algoritmus s vyu it m t chto oper ci by vyzeral asi takto: pre ka d vrchol v 2 V vytvor mno inu fvg pre ka d hranu (u; v) 2 E:

14 1.3 Algoritmy na dynamick ch mno in ch 11 if FIND-SET(u)6=FIND-SET(v) then UNION(FIND-SET(u),FIND-SET(v)) Den cia 1.18 V ka stromu T je d ka najdlh ej cesty z kore a stromu T do jeho listov. V ka vrcholu w stromu T je v ka podstromu stromu T, ktor ho kore om je vrchol w. Dynamick mno inu S i mo no reprezentova kore ov m stromom T i, ktor ho mno ina hr n bola vytvoren oper ciami UNION (pozri alej). Inform cie o hran ch a kore och stromov reprezentuj cich jednotliv mno iny mo no k dova v celo seln ch poliach p[1 : : :n], h[1 : : : n] takto: Ak p[j] = j, potom vrchol j je kore om niektor ho stromu a h[j] je v ka tohto stromu. Ak p[j] = l pre l 6= j, potom vrchol j je synom vrcholu l (v niektorom strome). Pred vykonan m postupnosti (ke S i = fig pre v etky i), plat p[i] = i a h[i] = 0 pre v etky i. Nap eme proced ru UNION(l i,l j ), ktorej vstupn hodnoty l i, l j s korene stromov reprezentuj cich mno iny S i, S j. Proced ra vytvor strom reprezentuj ci mno inu S i [ S j. Algoritmus 4 procedure UNION(l i,l j ) begin if h[l j ] < h[l i ] then pripoj kore l j ako syna na kore l i else pripoj kore l i ako syna na kore l j Pozn mka: V proced re UNION s vynechan detaily s visiace s pr padnou pravou hodn t p[l i ], p[l j ], h[l i ], h[l j ]. Proced ra FIND-SET(j) pre dan vrchol j stromu T reprezentuj ceho mno inu S vr ti kore stromu T. Algoritmus 5 procedure FIND-SET(j) begin if p[j] = j then return j else return FIND-SET(p[j]) Lema 1.19 Na vytvorenie stromu s v kou h treba aspo 2 h 1 oper ci typu UNION. D kaz: Indukciou vzh adom na h. Tvrdenie zrejme plat pre h = 0. Predpokladajme, e tvrdenie plat pre v etky stromy s v kou najviac h. Nech T je strom s v kou h + 1, ktor bol vytvoren oper ciou UNION zo stromu T 1 s v kou i h a zo stromu T 2 s v kou j h, kde i j. Ak by i < j h alebo i = j < h, potom by T mal v ku najviac h (pozri algoritmus 4), o je v spore s predpokladom. Teda i = j = h. Pod a induk n ho predpokladu bolo treba aspo 2 h 1 oper ci UNION na vytvorenie T 1 a al ch aspo 2 h 1 oper ci UNION na vytvorenie T 2, o je spolu s oper ciou UNION, ktor vytvor T, aspo 2 h+1 1 oper ci UNION. Preto tvrdenie plat aj pre v etky stromy s v kou h Veta 1.20 Nech S i = fig pre i = 1; 2; : : :; m. asov zlo itos postupnosti skladaj cej sa z najviac m 1 oper ci UNION a z n oper ci FIND-SET je v najhor om pr pade O(m + n log m).

15 12 1 VYH AD VANIE, TRIEDENIE A S VISIACE PROBL MY D kaz: Pod a lemy 1.19 m ka d strom vytvoren po as vykon vania postupnosti v ku nanajv log 2 m. Preto je mo n vykona ka d oper ciu FIND-SET v v ase O(log m). Oper ciu UNION mo no vykona v ase O(1). 2 Pozn mka: V pr pade, ke S i nie s tvaru S i = fig, ale napr klad S i obsahuj re lne sla, textov re azce apod., mo no ich prvky zotriedi a potom v ase O(log n) bin rnym vyh ad van m n js pr slu n slo j (pre proced ru FIND-SET(j)) Zr chlenie algoritmu pre UNION/FIND-SET probl m Nech j je vrchol stromu T s kore om l. Modikujeme algoritmus 5 (proced ru FIND-SET(j)) tak, aby ka d vrchol vyskytuj ci sa na ceste z vrcholu j do kore a l bol odpojen od svojho otca a napojen priamo na kore l. T to met du naz vame met dou kompresie cesty a m eme ju realizova takto: Algoritmus 6 procedure FIND-SET(j) begin if p[j] 6= j then p[j] return p[j] FIND-SET(p[j]) Modikujme taktie algoritmus 4 (proced ru UNION(l i,l j )) tak, aby strom reprezentuj ci mno- inu S i [ S j bol vytvoren nie pod a krit ria v ok ale pod a po tu vrcholov stromov T i a T j5. Den cia 1.21 Nech F (0) = 1 a nech F (i + 1) = 2 F (i) pre i 0. Potom log n := minfkjf (k) ng. Pozn mka: log n je extr mne pomaly rast ca funkcia, napr klad log n 5 pre v etky n Veta 1.22 asov zlo itos n-prvkovej postupnosti skladaj cej sa z n oper ci UNION a FIND- SET je v najhor om pr pade O(n log n), ak pou ijeme modikovan algoritmy UNION a FIND-SET. Cvi enia Cvi enie 1.10 Majme postupnos k z kladn ch slovn kov ch oper ci, pri om tieto oper cie pracuj iba s slami od 1 po n. V takomto pr pade je mo n udr iava pole A[1::n] tak, aby A[i] = 1 pr ve vtedy, ke i 2 S. Toto pole je potrebn na za iatku inicializova a tak tento algoritmus m asov zlo itos O(n+k). Je mo n modikova tento algoritmus tak, aby jeho asov zlo itos bola O(k) (tj. odstr ni inicializa n f zu)? 6 Cvi enie 1.11 Ko ko existuje 2-3 stromov reprezentuj cich mno inu sel f1; : : : ; 6g? Cvi enie 1.12 Pok ste sa detailne analyzova rie enie UNION/FIND-SET probl mu, ak pri oper cii UNION pou vame krit rium po tu vrcholov (tak ako v kapitole 1.3.4), ale neskracujeme cesty. Cvi enie 1.13 Pok ste sa detailne analyzova rie enie UNION/FIND-SET probl mu so skracovan m cesty (ale s p vodnou oper ciou UNION), ak predpoklad me, e najprv vykon me v etky oper cie UNION a potom v etky oper cie FIND-SET. Cvi enie 1.14 Majme N kov dynamitu a postupnos oper ci SPOJ(i,j) (spoji ky i a j z palnou n rou) a ROZPOJ(i,j) (rozpoji ky i, j, ak s z palnou n rou spojen ). Dynamit mo no odstreli, ak medzi ka d mi dvoma kami vedie cesta po z paln ch n rach. N jdite o najefekt vnej algoritmus, ktor zist, i po vykonan oper cie mo no dynamit odp li, alebo nie. 5 h[li ] a h[l j ] bud teraz obsahova namiesto v ok stromov ich po ty vrcholov 6 Hint: Pomocou druh ho po a sa pok ste rozl i neinicializovan prvok po a a inicializovan.

16 1.4 al ia literat ra 13 Cvi enie 1.15 Majme postupnos W = (W 1 ; : : :; W n ) slov. N jdite o najefekt vnej algoritmus, ktor n jde postupnos sel V = (V 1 ; : : : ; V n ), pri om V i = 0, ak sa medzi slovami W 1 ; : : :; W i 1 nenach dza pre my ka slova W i, alebo V i = k < i, ak existuje slovo W k (k < i), e W k je pre my kou slova W i (ak ich je viac, nech k je najmen ie mo n ). 1.4 al ia literat ra [AHU76] [CLR90] [KN373] Aho A. V., Hopcroft J. E., Ullman J. D: The Design and Analysis of Computer Algorithms, Addison-Wesley 1976 Cormen T. H., Leiserson C. E., Rivest R. L.: Introduction to Algorithms, MIT Press and McGraw-Hill, 1990 Knuth D. E.: The Art of Computer Programming. Volume 3: Sorting and Searching, Addison-Wesley 1973 [WIE91] Wiederman J.: Vyhled v n, SNTL Praha 1991 [WIR87] Wirth N.: Algoritmy a trukt ry dajov, Alfa Bratislava 1987

17 14 2 GRAFOV ALGORITMY 2 Grafov algoritmy Mno stvo praktick ch probl mov mo no sformulova v pojmoch te rie grafov. Z tohto h adiska m t to as te rie algoritmov mimoriadne ve k praktick v znam. V tejto kapitole rozdiskutujeme niektor zo z kladn ch probl mov, ktor maj rie enie v polynomi lnej asovej zlo itosti (najlacnej ia kostra, najlacnej ie cesty). 2.1 Najlacnej ia kostra grafu Den cia 2.1 Nech G = (V; E) je neorientovan s visl graf s ohodnoten mi hranami, (tj. pre G je dan cenov funkcia h : E! R; R je mno ina re lnych sel). 1. Kostra grafu G je ubovo n neorientovan strom (V; T ), T E, sp jaj ci v etky vrcholy z V (t.j. ubovo n dva vrcholy z V s spojen cestou v strome (V; T )). 2. Cena kostry je P e2t h(e). 3. Kostrov les pre graf G je ubovo n mno ina stromov f(v 1 ; T 1 ); : : : ; (V k ; T k )g, k 1 tak, e V = [ k i=1 V i, V i \ V j = ; pre i 6= j, v ka dom strome (V i ; T i ) s spojen v etky vrcholy z V i a T i E \ (V i V i ) pre ka d i (ka d strom (V i ; T i ) je kostra grafu (V i ; E \ (V i V i ))). Lema 2.2 Nech G = (V; E) je s visl neorientovan graf a nech S = (V; T ) je kostra grafu G. Potom: 1. Pre v etky u; w 2 V je cesta medzi u a w v S jedin. 2. Po pridan ubovo nej hrany z E T do S vznikne jedin kru nica. D kaz: as 1 vypl va z toho, e keby boli v S dve cesty medzi u a w, potom by bola v S kru nica. u r r r r r r pr r r r wp r obr. 7: Ak s medzi u a w dve cesty, existuje v grafe kru nica as 2. Ke e S je kostra (t.j strom sp jaj ci v etky vrcholy), existuje medzi ubovo n mi vrcholmi jedin cesta (pozri as 1) a preto po pridan ubovo nej hrany z E T mus vznikn jedin kru nica. 2 Lema 2.3 Nech G = (V; E) je s visl neorientovan graf a h je cenov funkcia na hran ch E. Nech f(v 1 ; T 1 ); : : : ; (V k ; T k )g, k > 1 je kostrov les pre graf G. Nech H = [ k i=1 T i. Nech (u; w) je najlacnej ia hrana z E H tak, e 9i, 1 i k,u 2 V i a w =2 V i. Potom existuje kostra grafu G obsahuj ca v etky hrany z H [ f(u; w)g, ktorej cena nie je v ia ne cena najlacnej ej kostry grafu G obsahuj cej v etky hrany z H. D kaz: Nech S = (V; T ) je ubovo n najlacnej ia kostra grafu G obsahuj ca hrany z H. Ak T obsahuje hranu (u; w), potom lema 2.3 plat. Nech teda (u; w) =2 T. Z lemy 2.2 as 2 vypl va, e pridanie hrany (u; w) do T vytvor jedin kru nicu (pozri obr. 8). T to kru nica mus obsahova nejak hranu (u 0 ; w 0 ) tak, e u 0 2 V i a w 0 =2 V i. Pod a predpokladu h(u; w) h(u 0 ; w 0 ), lebo (u 0 ; w 0 ) =2 [ k i=1 T i = H. Nech S 0 = (V; T 0 ), kde T 0 = (T [ f(u; w)g) f(u 0 ; w 0 )g. S 0 nem kru nicu, lebo jedin kru nica bola preru en odstr nen m hrany (u 0 ; w 0 ). Naviac, v etky vrcholy vo V s v grafe S 0 spojen, lebo existuje cesta medzi u 0 a w 0 v S 0 (cesta medzi vrcholmi x a y, ktor v S viedla cez hranu (u 0 ; w 0 ),

18 2.1 Najlacnej ia kostra grafu 15 s s w : : : w 0 s s. : : : : : : u u 0 V i obr. 8: P vodn a nov cesta z x do y s x s y vedie v S 0 cez vrcholy w 0 ; : : : ; w; u; : : :; u 0, vi obr. 8). Teda S 0 je kostra grafu G, ktorej cena nie je v ia ne cena kostry S, ke e h(u; w) h(u 0 ; w 0 ). 2 Nasleduj ci greedy algoritmus n jde najlacnej iu kostru grafu. Vstupom je neorientovan s visl graf G = (V; E) s ohodnoten mi hranami. Vrcholy s reprezentovan prirodzen mi slami 1; 2; : : :; jv j, hrany spolu s cenami s dan v zozname. Algoritmus 7 (Kruskal) begin T ; pre ka d vrchol v 2 V vytvor mno inu fvg (2) utrie hrany v E pod a cien v neklesaj com porad (3) pre ka d hranu v (u; w) 2 E v porad pod a neklesaj cih cien: (4) begin if FIND-SET(u) 6= FIND-SET(w) then begin (5) T T [ f(u; w)g (6) return T UNION(FIND-SET(u), FIND-SET(w)) (7) (8) ! G (V; T ) (1) obr. 9: Pr klad Kruskalovho algoritmu Veta 2.4 Algoritmus 7 n jde najlacnej iu kostru grafu G = (V; E) s asovou zlo itos ou v najhor om pr pade O(jEj log jej).

19 16 2 GRAFOV ALGORITMY D kaz: Spr vnos programu. Indukciou na po et vykonan ch cyklov v riadkoch (5) a (8) (t.j. na po et hr n pridan ch do T ) mo no dok za, e po vykonan l cyklov (l = 0; 1; 2; : : :; jv j 2) s splnen predpoklady lemy 2.3 (pre k = jv j l; ka d z mno n V i je niektor mno ina FIND-SET(v) pre v 2 V ). Vykonanie jedn ho cyklu toti sp sob (volan m proced ry UNION) nahradenie mno n V i a V j mno inou V i [ V j pr ve vtedy, ke hrana (u; w), pre ktor plat V i = FIND-SET(u) 6= FIND-SET(w) = V j sp ja stromy (V i ; T i ) a (V j ; T j ). Teda nov kostrov les (pre lemu 2.3) mo no dosta z kostrov ho lesa f(v 1 ; T 1 ); : : : ; (V k ; T k )g nahraden m stromov (V i ; T i ) a (V j ; T j ) stromom (V i [ V j ; T i [ T j [ f(u; w)g). Preto z lemy 2.3 vypl va, e algoritmus n jde najlacnej iu kostru grafu G. asov zlo itos. Inicializ cia v riadkoch (1) a (2) potrebuje as O(jV j) a triedenie v riadku (3) potrebuje as O(jEj logjej). V riadkoch (5) a (8) sa vyskytne najviac O(jEj) oper ci FIND-SET a pr ve jv j 1 oper ci UNION, ktor ch vykonanie vy aduje as najviac O(jV j + jej log jv j) (pozri vetu 1.20). Algoritmus vykon pr kaz v riadku (7) pr ve (jv j 1)kr t, pri om vykonanie jedn ho pr kazu potrebuje as O(1). Teda celkov zlo itos algoritmu je v najhor om pr pade O(jEj log jej), lebo jv j 1 jej pre s visl grafy. 2 Pozn mka: Existuje in algoritmus pre najlacnej iu kostru grafu so zlo itos ou O(jEj+jV j log jv j), ktor je v hodn pre hust grafy (t.j. grafy s ve k m po tom hr n). Cvi enia Cvi enie 2.1 Nech je dan graf G = (V; E), V = f1; 2; : : :; ng a cenov funkcia h tak, e cena hrany (u; v); ak (u; v) 2 E; h(u; v) = 1 inak: Nech h(u; v) > 0 pre v etky u; v 2 V. Uva ujme nasledovn algoritmus: begin q 0 S fv 0 g D[v 0 ] 0 pre ka d vrchol v 2 V n fv 0 g: D[v] h(v 0 ; v) while S 6= V do begin return q vyber w 2 V n S tak, e hodnota D[w] je minim lna S S [ fwg q q + D[w] pre ka d v 2 V n S: D[v] minfd[v]; h(w; v)g Dok te, e tento algoritmus po ta cenu najlacnej ej kostry grafu G 7. Cvi enie 2.2 Odhadnite asov zlo itos algoritmu z cvi enia 2.1 a porovnajte ju s asovou zlo itos ou algoritmu 7. Kedy je v hodnej ie pou i algoritmus z cvi enia 2.1 a kedy algoritmus 7? Cvi enie 2.3 V cvi en 2.1 sme predpokladali, e v etky hrany maj kladn ohodnotenia. Je mo n tento algoritmus pou i aj pre hrany, ktor maj z porn ohodnotenia? Ak nie, je mo n ho upravi tak, aby sa dal pou i? 7 V imnite si n padn podobnos s algoritmom 8

20 2.2 Najlacnej ie cesty v grafe Najlacnej ie cesty v grafe Den cia 2.5 Nech G = (V; E) je orientovan graf s ohodnoten mi hranami, tj. pre G je dan funkcia h : E! R. Cesta v grafe G je postupnos P vrcholov [v 0 ; v 1 ; : : : ; v k ], kde (v i 1 ; v i ) 2 E pre k i = 1; 2; : : :; k. Cena cesty P = [v 0 ; v 1 ; : : : ; v k ] je h(v i=1 i 1; v i ). Cenu cesty P ozna me symbolom jp j. V s vislosti s cenou cesty n s bud zauj ma tri probl my: 1. N js pre dan dvojicu vrcholov u, v cenu najlacnej ej cesty z u do v. 2. N js pre dan vrchol v 0 2 V cenu najlacnej ej cesty z v 0 do v pre v etky v 2 V. 3. N js cenu najlacnej ej cesty z u do v pre v etky u; v 2 V Dijkstrov algoritmus Ak s ceny hr n grafu nez porn re lne sla, potom mo no probl m 2 rie i Dijkstrov m algoritmom. Algoritmus dostane ako vstup orientovan graf G(V; E), vrchol v 0 a iasto n funkciu h : V V! R + 0. Predpoklad me, e h(u; u) = 0, ak (u; v) 2 E tak h(u; v) je ohodnotenie hrany (u; v). Vrcholy grafu s reprezentovan cel mi slami 1; 2; : : :; jv j a predpoklad me, e funkciu h mo no vypo ta v ase O(1). Po skon en algoritmu bude pre ka d vrchol v 2 V v D[v] ulo en cena najlacnej ej cesty z v 0 do v. Pozn mka: Pre jednoduchos iasto n funkciu h z pln me tak, e v pr pade (u; v) =2 E polo me h(u; v) = 1. V tomto zmysle potom pre ubovo n postupnos vrcholov [v 0 ; v 1 ; : : : ; v k ] vieme vypo ta cenu zodpovedaj cej cesty, pri om ak pre nejak i (0 i < k) plat (v i ; v i+1 ) =2 E, cena uvedenej cesty bude 1. Algoritmus 8 (Dijkstra) begin S fv 0 g D[v 0 ] 0 pre ka d vrchol v 2 V n fv 0 g: D[v] h(v 0 ; v) (3) while S 6= V do begin (4) vyber w 2 V n S tak, e hodnota D[w] je minim lna (5) S S [ fwg (6) pre ka d v 2 V n S: (7) D[v] minfd[v]; D[w] + h(w; v)g (8) Veta 2.6 Algoritmus 8 vypo ta cenu najlacnej ej cesty z v 0 do ka d ho vrcholu grafu G v najhor om pr pade v ase O(jV j 2 ). D kaz: asov zlo itos : Riadok (5) a tie aj cyklus v riadkoch (7) a (8) potrebuj as O(jV j). Riadok (6) potrebuje as O(1). Ke e riadky (5) a (8) s vykonan (jv j 1) kr t a riadky (1) a (3) potrebuj as O(jV j), na vykonanie algoritmu sta as O(jV j 2 ). Korektnos : Korektnos algoritmu uk eme met dou invariantov. Stanov me invariant, ktor bude platn pred za at m ka dej iter cie cyklu while (riadky (4) a (8)) resp. po jeho skon en. Pre ka d v 2 V : 1. Ak v 2 S, potom D[v] je cena najlacnej ej cesty z v 0 do v, pri om existuje cesta z v 0 do v cel le iaca v S s cenou D[v]. (1) (2)

21 18 2 GRAFOV ALGORITMY 2. Ak v 2 V n S, potom D[v] je cena najlacnej ej cesty z v 0 do v spomedzi ciest, ktor cel s v nimkou vrcholu v le ia v S. Platnos invariantu dok eme indukciou vzh adom na jsj. Pre jsj = 1 (tj. pri prvom prechode) m najlacnej ia cesta z v 0 do v 0 cenu 0 a cesta z v 0 do v cel s v nimkou vrcholu v le iaca v mno ine S pozost va z hrany (v 0 ; v). Nech alej invariant plat pre jsj = k. Nech w 2 V n S je vrchol, ktor vyberieme na z klade podmienky v riadku (5). Najprv sporom uk eme, e D[w] je cena najlacnej ej cesty z v 0 do w. Nech teda existuje cesta P z v 0 do w, kde jp j < D[w]. Pod a induk n ho predpokladu je D[w] cena najlacnej ej cesty z v 0 do w spomedzi tak ch ciest, ktor cel okrem vrcholu w le ia v S. Preto mus na ceste P existova vrchol (r zny od w), ktor nepatr do S. Nech v je prv tak to vrchol. Ozna me Q sek cesty P od v 0 po v. S v nimkou vrcholu v le ia v etky vrcholy cesty Q v mno ine S. Potom ale pod a induk n ho predpokladu mus plati D[v] jqj. S asne, ke e ceny hr n s nez porn, plat jqj jp j < D[w] a teda D[v] < D[w], o je v spore s podmienkou v beru vrcholu w v riadku (5). Preto D[w] mus by cena najlacnej ej cesty z v 0 do w. Teda tvrdenie 1 zost va v platnosti aj po pridan vrcholu w do S. Z riadkov (7) a (8) vypl va, e aj tvrdenie 2 zostane v platnosti aj po pridan w do S. V ka dom kroku cyklu prid me do mno iny S pr ve jeden vrchol a teda po kone nom po te krokov cyklus skon. Spr vnos algoritmu 8 vych dza priamo z platnosti invariantu po skon en cyklu. 2 Pozn mka: Algoritmus pre rie enie probl mu 2 m eme pou i aj pre rie enie probl mu 1. Navy e nie je zn my asymptoticky r chlej algoritmu pre rie enie probl mu 1. Pozn mka: Je zn my algoritmus pre rie enie probl mu 2 so zlo itos ou O(jV j:jej), pri om neuva- ujeme obmedzenie ohodnoten hr n na nez porn sla. Algoritmus zist i existuje v grafe cyklus z pornej ceny dosiahnute n z vrcholu v 0, ak tak cyklus neexistuje, potom pre ka d vrchol v vypo ta cenu najlacnej ej cesty z v 0 do v. Pozn mka: Algoritmus 8 mo no upravi tak, aby bolo mo n n js najlacnej ie cesty. Pre ka d vrchol v si budeme v P [v] pam ta slo vrcholu, ktor mu predch dza na doteraz n jdenej najlacnej ej ceste 8. Po skon en algoritmu bude teda najlacnej ou cestou z v 0 do v cesta (v 0 ; : : : ; P [P [v]]; P[v]; v). Na za iatku je potrebn polo i pre ka d v P [v] = v 0. Ak modikujeme D[v] v riadku (8) algoritmu 8, je potrebn modikova pr slu n m sp sobom aj pole P, tj. riadok (8) nahrad me takto: if D[w] + h(w; v) < D[v] then begin D[v] D[w] + h(w; v) P [v] w Floyd{Warshallow algoritmus V tejto asti uvedieme algoritmus, ktor rie i probl m 3 v ase O(jV j 3 ). Je dan orientovan graf G = (V; E) s cenami hr n z R, pri om sa v om nenach dza cyklus z pornej ceny. Nech je graf G reprezentovan inciden nou maticou W = (w ij ), pri om ak (i; j) 2 E, potom w ij je cena hrany (i; j), ak (i; j) =2 E tak w ij = 1 a alej w ii = 0 pre ka d i. V stupom algoritmu bude matica C (n) = (c (n) ij ), kde c(n) ij je cena najlacnej ej cesty z vrcholu i do vrcholu j. 8 Je dobr si uvedomi, e ak najlacnej ia cesta z vrcholu v0 do v prech dza vrcholom w, potom as tejto cesty z v0 do w je najlacnej ou cestou z v0 do w.

22 2.2 Najlacnej ie cesty v grafe 19 Algoritmus 9 (Floyd{Warshall) begin n C (0) jv j W for k 1 to n do for i 1 to n do for j 1 to n do return C (n) c (k) ij MIN(c (k 1) ij ; c (k 1) ik + c (k 1) kj ) Veta 2.7 Algoritmus 9 vypo ta cenu najlacnej ej cesty z ka d ho vrcholu i do ka d ho vrcholu j v najhor om pr pade v ase O(jV j 3 ). D kaz: asov zlo itos : Zrejm. Korektnos algoritmu: Indukciou vzh adom na k mo no dok za, e c (k) ij je cena najlacnej ej cesty z vrcholu i do vrcholu j, ktorej v etky vn torn vrcholy s z mno iny f1; 2; : : :; kg (vn torn vrcholy cesty s v etky vrcholy cesty okrem jej prv ho a posledn ho vrcholu). 2 Pozn mka: Podobne ako v pr pade algoritmu 8 mo no aj algoritmus 9 upravi tak, aby okrem hodn t c (k) ij po tal aj hodnoty p (k) ij, kde p(k) ij je predposledn vrchol najlacnej ej cesty z vrcholu i do vrcholu j, ktorej v etky vn torn vrcholy s z mno iny f1; 2; : : :; kg. Pomocou hodn t p (n) ij mo no zostroji najlacnej iu cestu medzi ubovo n mi dvoma vrcholmi grafu G. Pre p (k) ij plat nasleduj ci vz ah: 8 nil, ak k = 0 ^ (i = j _ w ij = 1) >< i, ak k = 0 ^ i 6= j ^ w p (k) ij < 1 ij = >: p (k 1) ij p (k 1) kj, ak k > 0 ^ c (k 1) ij, ak k > 0 ^ c (k 1) ij Vz ah mo no dok za matematickou indukciou. Cvi enia c (k 1) ik > c (k 1) ik + c (k 1) kj + c (k 1) kj Cvi enie 2.4 Uk te, e Dijkstrov algoritmus nefunguje pre z porn d ky hr n. N jdite as v d kaze spr vnosti Dijkstrovho algoritmu, kde sa podmienka nez pornosti hr n vyu va. Cvi enie 2.5 N jdite algoritmus asovej zlo itost O(jV j 3 ), ktor n jde najkrat ie cesty z vrcholu v 0 do v etk ch ostatn ch vrcholov, ak neuva ujeme podmienku nez pornosti hr n, ale iba podmienku, e v grafe G sa nenach dza cyklus z pornej d ky. Cvi enie 2.6 Uk te, e Floyd-Warshallow algoritmus nefunguje, ak sa v grafe nach dza cyklus z pornej d ky. N jdite, kde sa t to podmienka vyu ije v d kaze spr vnosti Floyd-Warshallowho algoritmu. Cvi enie 2.7 Hamiltonovsk kru nica je kru nica v grafe G, ktor prech dza cez v etky vrcholy grafu G. Uk te, e probl m, i v grafe G existuje Hamiltonovsk kru nica mo no rie i v polynomi lnom ase, ak mo no v polynomi lnom ase rie i probl m n jdenia najkrat ch ciest z ka d ho vrcholu do ka d ho, ak neuva ujeme iadne obmedzenia na ohodnotenie hr n.

23 20 Cvi enie 2.8 Uva ujme ohodnotenie hr n grafu G tak, e plat ak (u; v) 2 E potom 0 h(u; v) 1. Pri takomto ohodnoten spo ahlivos cesty v grafe G je s in ohodnoten jednotliv ch hr n na tejto ceste. Nap te algoritmy, ktor n jdu najspo ahlivej ie cesty v grafe z vrcholu v 0 do v etk ch ostatn ch vrcholov, resp. z ka d ho do ka d ho vrcholu grafu G. 9 Cvi enie 2.9 Podobne ako v predch dzaj com cvi en n jdite algoritmy pre tzv. naj ir iu cestu. rka cesty je maximum ohodnoten hr n na tejto ceste. Cvi enie 2.10 Dan ch je N let sk svojimi s radnicami, alej je dan dolet lietadla t (po preleten vzdialenosti t mus lietadlo nutne prist na niektorom letisku). alej s dan dve letisk s a t. Medzi ka d mi dvoma letiskami, ktor ch vzdialenos je nanajv rovn doletu lietadla, lietadlo let po priamke. Nap te algoritmus, ktor n jde trasu pre lietadlo: a) s najmen m po tom medziprist t, b) s najmen ou celkovou vzdialenos ou. Cvi enie 2.11 Dan ch je N miest. Medzi t mito mestami prem va M autobusov. Autobusy prem vaj v dy iba priamo z jedn ho mesta do niektor ho in ho mesta. U ka d ho autobusu vieme: z ktor ho mesta vych dza, as odchodu, do ktor ho mesta prich dza, as pr chodu. Cesta iadneho autobusu netrv viac ako 24 hod n. Nap te algoritmus, ktor pre zadan rozpis autobusov zist, ako sa najr chlej ie mo no dosta zo zadan ho mesta s do in ho zadan ho mesta t (nezabudnite na akacie doby na spoje). Cvi enie 2.12 Na s dlisku seln kovo je N kri ovatiek o slovan ch od 1 po N. Kri ovatky s posp jan ulicami r znej d ky (pod ulicou rozumieme sek cesty nepreru en kri ovatkou). Popri ka dej ulici stoja smetiaky. Smetiari, ktor maj depo na kri ovatke 1, maj k dispoz cii jedin smetiarske auto, ktor m ka d de musia vypr zdni v etky smetiaky v seln kove. N jdite algoritmus, ktor ur najkrat iu mo n trasu smetiarskeho auta v seln kove, pri om auto vych dza z kri ovatky slo 1, prejde v etky ulice a vr ti sa sp na kri ovatku slo al ia literat ra [AHU76] [CLR90] Aho A. V., Hopcroft J. E., Ullman J. D: The Design and Analysis of Computer Algorithms, Addison-Wesley 1976 Cormen T. H., Leiserson C. E., Rivest R. L.: Introduction to Algorithms, MIT Press and McGraw-Hill, 1990 [KU 83] Ku era L.: Kombinatorick algoritmy, SNTL Praha 1983 [PLE83] Plesn k J.: Grafov algoritmy, VEDA Pouva ujte nad vlastnos ami logaritmu.

24 21 3 Algoritmy na maticiach V tejto kapitole sa budeme zaobera v po tovou zlo itos ou n sobenia mat c. Uvid me, e asov zlo itos O(n 3 ) priamo iareho algoritmu na n sobenie mat c nie je optim lna. Uk eme si algoritmus s asovou zlo itos ou O(n 2:81 ). Najlep algoritmus zn my do roku 1990 m asov zlo itos O(n 2:376 ). Mno stvo in ch probl mov je mo n zredukova na n sobenie mat c. V t chto pr padoch pou it m lep ieho n sobenia mat c dostaneme efekt vne rie enia, ktor maj ni iu asov zlo itos, ako by sa na prv poh ad dalo predpoklada (napr klad rie enie s stav line rnych rovn c). 3.1 Strassenov algoritmus n sobenia mat c Zlep enie priamo iareho algoritmu n sobenia mat c spo va v pou it techniky "rozde uj a panuj". Priamo iare pou itie tejto techniky v ak neprinesie o ak van v sledok. Pok sme sa vyn sobi matice rozmeru 2n 2n pomocou oper ci n sobenia a s tania mat c rozmeru n n (ka d maticu rozdel me na tyri podmatice rozmeru n n): A11 A AB = 12 B11 B 12 A11 B = 11 + A 12 B 21 A 11 B 12 + A 12 B 22 A 21 A 22 B 21 B 22 A 21 B 11 + A 22 B 21 A 21 B 12 + A 22 B 22 Takto sme p vodn probl m n sobenia dvoch mat c rozmerov 2n 2n previedli na 8 n soben a 4 s tania mat c rozmerov n n. Nech T (n) je po et oper ci potrebn ch na n sobenie n sobenie dvoch mat c rozmerov n n. Pri pou it met dy rozde uj a panuj dost vame rekurentn vz ah T (n) = 8T n 2 + (n 2 ): Rie en m tohto rekurentn ho vz ahu dost vame T (n) = (n 3 ). Pou it m tejto met dy sme teda nedosiahli iadne zlep enie. K om k rie eniu je n jdenie tak ho sp sobu n sobenia mat c rozmerov 2 2, pri ktorom sa pou ije men po et n soben. Lema 3.1 S in dvoch mat c typu 2 2 mo no vypo ta pomocou 7 n soben a 18 s tan /od tan. D kaz: Pre s in mat c plat a11 a 12 b11 b 12 c11 c = 12 a 21 a 22 b 21 b 22 c 21 c 22 c 11 = m 1 + m 2 m 4 + m 6 c 12 = m 4 + m 5 kde c 21 = m 6 + m 7 c 22 = m 2 m 3 + m 5 m 7 ; m 1 = (a 12 a 22 )(b 21 + b 22 ) m 2 = (a 11 + a 22 )(b 11 + b 22 ) m 3 = (a 11 a 21 )(b 11 + b 12 ) m 4 = (a 11 + a 12 )b 22 m 5 = a 11 (b 12 b 22 ) m 6 = a 22 (b 21 b 11 ) m 7 = (a 21 + a 22 )b 11 2

25 22 3 ALGORITMY NA MATICIACH Veta 3.2 (Strassen) Na vyn sobenie dvoch mat c typu nn sta O(n log 2 7 ) aritmetick ch oper ci. D kaz: Nech A a B s dve matice typu n n, nech n = 2 k. Rozde me ka d z mat c A a B na tyri podmatice typu n 2 n 2. Teda A11 A AB = 12 B11 B 12 C11 C = 12 A 21 A 22 B 21 B 22 C 21 C 22 Pod a lemy 3.1 mo no v etky podmatice C ij vypo ta pomocou 7 s inov a 18 s tov/rozdielov mat c typu n n. Rekurz vnym aplikovan m tohoto algoritmu mo no vypo ta s in dvoch mat c 2 2 typu n n s pou it m T (n) jednoduch ch aritmetick ch oper ci, kde n n 2 T (n) 7T ; 2 pre n 2. Preto T (n) = O(7 log 2 n ) = O(n log27 ). Ak n nie je mocnina sla 2, potom dopl me obe matice A a B nulami tak, aby boli typu 2 k 2 k, kde n < 2 k 2n. Celkov po et oper ci posta uj ci na vykonanie algoritmu pop san ho vy ie na takto roz ren ch maticiach bude O((2 k ) log 2 7 ) = O((2n) log 2 7 ) = O(n log 2 7 ). 2 Pozn mka: Strassenova met da n sobenia mat c je pre mal (n 45) alebo riedke matice nepraktick. Vieme s ce t to met du implementova tak, e as potrebn na n sobenie dvoch mat c typu n n je nanajv cn log 2 7 cn 2:81, ale c je zna ne ve k kon tanta. Pre riedke matice existuje peci lny algoritmus lep ne Strassenov. Pozn mka: Existuj asymptoticky r chlej ie ale zna ne komplikovanej ie algoritmy ne Strassenov. V roku 1990 mal najr chlej algoritmus asov zlo itos O(n 2:376 ). Najlep z skan doln odhad zlo itosti n sobenia mat c je (n 2 ) N sobenie booleovsk ch mat c Den cia 3.3 Nech A = (a ij ), B = (b ij ) s booleovsk matice typu n n. Booleovsk s in mat c A a B je booleovsk matica C = (c ij ) typu n n, kde c ij = n_ k=1 a ik ^ b kj : V nasleduj com texte op eme algoritmus pre booleovsk n sobenie mat c. Algoritmus Strassenov m algoritmom (pozri vetu 3.2) vypo tame celo seln s in mat c A a B. V sledn maticu ozna me C 0 = (c 0 ij ) 2. Ke e a ik ^ b kj = 0, a ik b kj = 0, tak c ij = 0, c 0 ij = 0. Preto pre v sledn booleovsk maticu bude plati 0, ak c 0 c ij = ij = 0, 1 inak Pozn mka: Strassenov algoritmus nemo no pou i priamo na v po et booleovsk ho s inu mat c, ke e pre booleovsk matice nie je denovan rozdiel mat c (resp. opa n matica), ale tieto sa v Strassenovom algoritme pou vaj (pozri d kaz vety 3.2).