Fakulta matematiky, fyziky a informatiky Univerzity Komenského v Bratislave. Písomná práca k dizertačnej skúške

Transcription

1 Fakulta matematiky, fyziky a informatiky Univerzity Komenského v Bratislave Písomná práca k dizertačnej skúške Marec 2007 Tomáš Jurík

2 Fakulta matematiky, fyziky a informatiky Univerzity Komenského v Bratislave Vybrané algoritmy lineárneho programovania Písomná práca k dizertačnej skúške Tomáš Jurík Školiteľ: Prof. RNDr. Ján Plesník, DrSc. Bratislava 2007

3 Obsah Teória a metódy lineárneho programovania 7. Základné tvrdenia Farkasova lema Silná veta o dualite Charakteristika zvyčajných algoritmov lineárneho programovania Pivotové algoritmy Criss-cross metóda Primárna simplexová metóda Duálna simplexová metóda Ďalšie pivotové algoritmy Metódy vnútorného bodu (IPM) Von Neumannov algoritmus Dikinov algoritmus Bariérové metódy vnútorného bodu Porovnanie simplexovej metódy a metód vnútorného bodu Menej známe metódy Projektívna metóda autorov Golikov & Evtushenko Gravitačná metóda Prvý prístup, guľa má polomer ε Druhý prístup, guľa má čo najväčší polomer Revised primal dual simplex algorithm (RPDSA) Metóda Sagitta Ďalšie algoritmy Projekt dizertačnej práce Výstavba metódy po teoretickej stránke Projekcia a jej vlastnosti, test optimality Eliminácia ohraničení Algoritmus novej metódy Prípustnosť smeru v Kombinácia vektorov p a v Upravený algoritmus Experimentálne výsledky Efektívnejší výpočet projekcie P A (c) Všeobecnejšia úloha LP Ciele dizertačnej práce

4 Zoznam obrázkov. charakteristika zvyčajných algoritmov LP criss-cross metóda, schéma primárna simplexová metóda, schéma duálna simplexová metóda, schéma Von Neumannov algoritmus, krok iterácie Von Neumannov algoritmus, schéma afinno-škálovací Dikinov algoritmus, schéma metóda vnútorného bodu (s dlhým krokom), schéma simplexová metóda vs. IPM, pre a proti algoritmus G.&E., schéma algoritmus G.&E., závislosť /β, času výpočtu a počtu iterácií gravitačná metóda, pád gule s polomerom ε gravitačná metóda, schéma pre guľu s polomerom ε gravitačná metóda, schéma pre guľu s čo najväčším polomerom algoritmus RPDSA, schéma algoritmus RPDSA, geometrická interpretácia metóda Sagitta, hlavný cyklus metóda Sagitta, hľadanie prípustného riešenia metóda Sagitta, prvý príklad metóda Sagitta, druhý príklad metóda Sagitta, ilustrácia tvrdenia o neprípustnosti nová metóda, predbežná schéma nová metóda, sprípustnenie smeru v nová metóda, upravená schéma nová metóda, zjednodušená ilustrácia nová metóda, porovnanie vybraných metód nová metóda, súvislosť počtu ohraničení a hodnoty účelovej funkcie (stocfor)

5 Zoznam tabuliek 2. algoritmus G.&E., výsledky niektorých problémov knižnice Netlib algoritmus G.&E., porovnanie počtu iterácií s IPM a simplexovou metódou porovnanie výkonnosti jazykov Mathematica, MatLab a C porovnanie vybraných metód na náhodne generovaných vstupoch nová metóda na štandardných vstupoch

6 Označenie R n R m n u, v v priestor reálnych n-rozmerných vektorov priestor reálnych m n rozmerných vektorov skalárny súčin rovnako rozmerných vektorov u a v, u, v = u T v Euklidovská norma vektora v, v 2 = v T v e i jednotkový vektor, (0, 0,..., 0, i, 0,..., 0) v i i-ta zložka vektora v ɛ n vektor pozostávajúci zo samých jednotiek v priestore R n, ɛ n = (,,..., ) A matica koeficientov úlohy lineárneho programovania a i, A i. riadok matice A prvok v i-tom riadku a j-tom stĺpci prislúchajúcej matice a ij b vektor pravej strany primárnej úlohy c vektor účelovej funkcie primárnej úlohy x, y vektor primárnych a duálnych premenných s vektor doplnkových premenných duálnej úlohy, s = c A T y (P ), (D) primárna a duálna úloha lineárneho programovania P, D množina prípustných riešení primárnej a duálnej úlohy P, D hranica množiny prípustných riešení primárnej a duálnej úlohy I B, B množina indexov bázických premenných I N, N množina indexov nebázických premenných A B, A N matica stĺpcov matice A prislúchajúcich (ne)bázickým premenným c B, c N vektor pozostávajúci zo zložiek vektora c, ktoré sú (ne)bázickými indexami s B, s N vektor pozostávajúci zo zložiek vektora s, ktoré sú (ne)bázickými indexami A množina indexov aktívnych ohraničení v aktuálnom bode A A matica, ktorej riadky sú v množine indexov A P A (c) projekcia vektora c na priestor {x : A A x = 0} x k, x (k) riešenie v k-tom iteračnom kroku nnz počet nenulových prvkov matice úlohy LP revid. naprogramovaná revidovaná simplexová metóda nová naprogramovaná nová metóda 4

7 Úvod Lineárne programovanie (ďalej iba LP) je fundamentálnym problémom matematickej optimalizácie. Vychádza z enormného počtu aplikácií v ekonómii, inžinierstve, vede a mnohých iných oblastiach. Problémy LP pozostávajú z minimalizácie alebo maximalizácie lineárnej funkcie na určitej množine (prípustných riešení). Touto množinou je množina určená lineárnymi ohraničeniami. Ohraničenia môžu byť rovnosti alebo nerovnosti. Riešenie takéhoto problému LP spočíva nielen v nájdení optimálnej hodnoty, ale aj v nájdení (aspoň jedného) bodu, v ktorom sa táto hodnota dosahuje. Dva hlavné prvky: optimalizácia a riešenie lineárneho systému (ne)rovníc sú sami o sebe storočia staré, napriek tomu sa táto oblasť matematiky neustále dynamicky rozvíja. Optimalizácia je prirodzený proces. Prvky optimalizácie môžeme nájsť u starovekých Grékov. Lagrange sa zaoberal minimalizáciou istých funkcií pri splnení (pravdepodobne nelineárnych) ohraničení. Aj keď Lagrange neuvažoval o nerovnostiach, predsa položil základy teórie duality. Základy riešenia lineárnych systémov sa spájajú s Gaussovou eliminačnou metódou, ktorá je dodnes jednou z hlavných techník. Nanešťastie, pri problémoch LP máme do činenia aj s nerovnosťami. Teoreticky zaujímavý, ale výpočtovo neefektívny algoritmus je tzv. Fourierova-Motzkinova eliminácia [4]. Ďalší matematik, ktorý sa zaoberal systémom nerovníc bol Gyula Farkas, ktorého fundamentálna veta je jednou z najviac citovaných tvrdení v literatúre LP, pretože je ekvivalentná silnej vete o dualite. LP dôležitá disciplína so stále narastajúcim počtom aplikácií, vznikla v strede 20. storočia. Jej vznik v roku 947 spolu s ucelenou teóriou sa spája s menom George Bernard Dantzig [8], ktorý je právom považovaný za (už žiaľ nežijúceho) otca LP. Jeho pričinením uzreli svetlo sveta geometrická analýza, teória duality, zbierky štandardných problémov a výpočtovo efektívny algoritmus na ich riešenie - simplexová metóda, dodnes najefektívnejšia pivotová metóda na riešenie problémov LP. Riešenie problémov LP je pevne spojené vývojom výpočtovej techniky už od prvých algoritmov na počítačoch. V päťdesiatych rokoch minulého storočia boli problémy so stovkami neznámych považované za skutočne veľké. Dnes už každý môže riešiť problémy obsahujúce desiatky tisícok premenných na stolovom počítači, mnohé problémy s miliónmi premenných už boli vyriešené. Čitateľovi ponúkne dobrý prehľad pokroku LP od jeho začiatkov článok [3]. Nadšenie zo simplexovej metódy bolo na chvíľu schladné príkladmi problémov z roku 972 od autorov Klee Minty [23], ktoré si vyžadovali exponenciálne veľa (simplexových) iterácií v závislosti od počtu premenných. Pozitívnu správu priniesol Khachiyan [22]. Jeho elipsoidná metóda dokázala teoreticky riešiť ľubovoľný problém LP v polynomiálnom čase. Tento výsledok, ktorý sa dostal aj na stránky New York Times, sa ukázal ako výpočtovo neporovnateľne horší ako už spomínaná simplexová metóda. V praxi je totiž simplexová metóda omnoho rýchlejšia ako je jej teoretický odhad, na strane druhej, počet iterácií elipsoidnej metódy je v praxi veľmi blízky teoretickému odhadu. Ďalší prelom nastal v roku 984, keď Narendra K. Karmarkar [2] predstavil svoju metódu vnútorného bodu (ďalej iba IPM). Teoretický horný odhad jej zložitosti je lepší ako odhady pre simplexovú či elipsoidnú metódu, dokonca sa ukazuje aj ako výpočtovo rýchlejšia ako jej predchodkyne, obzvlášť pri veľmi veľkých problémoch. Táto metóda spustila revolúciu [33]. Skutočne, tri najvýznamnejšie triedy algoritmov LP sú: metódy s výberom pivota, elipsoidná metóda a metódy vnútorného bodu. Otcom LP je Dantzig, tomu nie je možné nič vytýkať, ale ďalšie rozdelenie slávy 5

8 je nespravodlivé. Idea IPM prechodu naprieč množinou prípustných riešení vedie najmenej k Frischovi [5] (955), ktorý už používal logaritmickú bariérovú funkciu. Bariérové a penalizačné metódy pre nelineárne programovanie boli do hĺbky študované v 60-tych rokoch (napr. [3]), ale upadli do zabudnutia kvôli prvotným numerickým nezdarom. Naviac sa ukazuje, že IPM bola počas jej objavovania študovaná viacerými autormi, medziiným aj Kantorovichovým študentom I. I. Dikinom [0, ]. Veľmi nápomocným prehľadom v oblasti ruskej matematiky je článok [32]. Prehľad problematiky v tejto práci ide ešte ďalej. Rozširujúce sa výpočtové možnosti nútia matematikov v tejto oblasti zefektívňovať svoje algoritmy, pričom neraz prichádzajú k novým nápadom, ktoré by mohli používať pri optimalizačných úlohách. Mnohých z nich neodradí monopol známych metód, pokúšajú sa svoje myšlienky rozvíjať ďalej. Ich inšpiratívne hlavné myšlienky uvádzame v krátkom prehľade v druhej kapitole. Medzi najzaujímavejšie patria projektívna metóda ruských autorov A. I. Golikova a Y. G. Evtusenka [8], gravitačná metóda [27, 28, 26, 25], metóda Sagitta [34] ako aj primárno duálna modifikácia simplexovej metódy od autorov Paparrizos, Samaras, Sephanides [29, 30]. Tieto metódy sa nám stali vodítkom pri vytváraní novej metódy. Snažili sme sa využiť ich silné stránky, nájsť výpočtovo efektívny alebo aspoň so známymi metódami porovnateľný algoritmus. Teoretický základ, schématický algorimus a experimentálne výsledky uvádzame v tretej kapitole. Výsledky, ktoré sme zatiaľ dosiahli, sú povzbudzujúce a dávajú nádej, že pri dôslednej implementácii môžu priviesť na svetlo sveta ďalšiu inšpiratívnu metódu. 6

9 Kapitola Teória a metódy lineárneho programovania V tejto kapitole sa pokúsime uviesť aký-taký prierez aktuálne najefektívnejšími a najznámejšími metódami na riešenie problémov LP. Na začiatku uvedieme základné označenie, ktoré bude platné len pre túto kapitolu. Totiž v druhej kapitole pri rôznorodosti myšlienok už nie je možné ujednotiť takéto označenie. Spolu s označením uvedieme aj základné tvrdenia v tejto oblasti. Definícia.. Dvojicou primárnej a duálnej úlohy nazývame problémy LP (P ) min c T x Ax = b x 0 (D) max b T y A T y + s = c s 0, kde c, x, s R n, b, y R m sú vektory a A R m n je daná matica. V skutočnosti presná duálna úloha je v tvare nerovností (bez vektora doplnkových premenných s), vzhľadom na konvenciu budeme uvažovať tento ekvivalentný tvar duálnej úlohy. Vektor x nazveme primárne prípustným bodom problému, ak pre neho platia podmienky Ax = b, x 0 (túto množinu nazývame množinou prípustných riešení primárnej úlohy a označujeme ju P). Podobne dvojicu vektorov (y, s) nazveme duálne prípustným riešením problému, ak spĺňajú A T y + s = c a s 0 (množina prípustných riešení duálnej úlohy a označujeme ju D). Vektor x nazývame optimálnym riešením problému (P ), ak je prípustným bodom množiny P a naviac neexistuje x P : c T x < c T x. Podobne vektor y nazývame optimálnym riešením problému (D), ak existuje vektor s, taký, že (y, s ) je prípustným bodom množiny D a naviac neexistuje (y, s) D : b T y > b T y. Bez ujmy na všeobecnosti možno predpokladať, že hodnosť matice A je m, t.j. že má plnú riadkovú hodnosť.. Základné tvrdenia Väčšina metód LP (ak nie všetky) je založená na niekoľkých stavebných kameňoch problémov lineárneho programovania. Tieto teoretické výsledky dobre opisujú štruktúru problémov LP ako aj štrukrúru množiny ich optimálnych riešení. Uvádzame preto úplné dôkazy týchto fundamentálnych kameňov. Tvrdenie. (Základná veta LP, [3]). Pre úlohu lineárneho programovania platí práve jedna z troch možností a) P =, množina prípustných riešení úlohy (P) je prázdna. Hovoríme aj, že úloha je neprípustná. 7

10 KAPITOLA. TEÓRIA A METÓDY LINEÁRNEHO PROGRAMOVANIA 8 b) P, sup x P c T x = +, úloha je neohraničená. c) P, sup x P c T x < +, úloha má optimálne riešenie, je optimálna. Tvrdenie.2 (Slabá veta o dualite). Ak x je primárne prípustné a (y, s) je duálne prípustné riešenie problému LP, tak platí c T x b T y, a rovnosť nastáva práve vtedy, ak x T s = 0. Dôkaz. Využijeme platnosť nerovností pre zodpovedajúce prípustné riešenia, nezápornosť vektorov x a s a dostávame c T x b T y = (A T y + s) T x (Ax) T y = s T x 0. Dôsledok.. Ak je množina {c T x : x P} (zdola) neohraničená, tak je množina D prázdna (neprípustnosť). Naopak, ak je množina {b T y : y P} (zhora) neohraničená, tak je množina P prázdna (neprípustnosť). Slabá veta o dualite, toto jednoduché tvrdenie má pekný dôsledok. Ak poznáme primárne prípustné riešenie, tak hodnota (primárnej) účelovej funkcie je horným odhadom optimálnej hodnoty problému a podobne, ak poznáme duálne prípustné riešenie, tak hodnota (duálnej) účelovej funkcie je dolným odhadom optimálnej hodnoty problému... Farkasova lema Nasledujúcimi tvrdeniami si pripravíme pôdu na dôkaz fundamentálnej vety teórie duality LP, Farkasovej lemy. Tvrdenie.3 (Weierstrassova veta). Nech f : X R n R je spojitá funkcia, pričom X je uzavretá a ohraničená množina. Potom existuje minimum {f(x) : x X}. Dôkaz. Najprv ukážeme, že množina {f(x) : x X} je zdola ohraničená. Sporom. Ak nie je zdola ohraničená, tak existuje taká postupnosť bodov {x k } k= X, že k N : f(x k) < k. Pretože množina X je ohraničená, tak aj postupnosť {x k } k= je ohraničená. Z tejto postupnosti teda vieme vybrať konvergentnú podpostupnosť {x nk } k= x. Pretože X je uzavretá, tak x X. Naviac, funkcia f je spojitá, preto f(x nk ) f(x ). Nakoľko ale f(x k ) < k, tak by muselo platiť f(x ) =, spor. Tým sme ukázali, že inf {f(x) : x X} = m >. Teraz ukážeme, že sa toho infimum aj dosahuje. Z vlastnosti infima máme, že k N x k : f(x k ) < m k. Ohraničená postupnosť bodov {x k} k= obsahuje konvergentnú podpostupnosť {x nk } k= s limitou v X, t.j. x n k x X. Zo spojitosti f naviac f(x ) = lim k f(x nk ), m f(x nk ) < m k preto f(x ) = m. Tvrdenie.4. Nech = X R n je uzavretá konvexná množina a y / X. Potom existuje najbližší bod x X k bodu y, x = arg min x X x y. Naviac pre tento bod x platí x X : (y x ) T (x x ) 0. Dôkaz. Keďže X je neprázdna, tak existuje x X, množina X = {x X : x y x y } je neprázdna (x X), uzavretá (pretože aj X je taká) a ohraničená (je to prienik guľe so stredom v y a polomerom y x s množinou X). Teraz definujeme (spojitú) funkciu f : X R, f(x) = x y, a použijeme na ňu tvrdenie.3. To nám definuje bod x X X, pre ktorý platí x X : x y x y. Tým sme ukázali existenciu bodu x, ostáva nám dokázať nerovnosť x X : (y x ) T (x x ) 0. Množina X je konvexná, preto pre jej ľubovoľný bod x a 0 ε platí ( ε)x + εx X. Dosadíme

11 KAPITOLA. TEÓRIA A METÓDY LINEÁRNEHO PROGRAMOVANIA 9 to do nerovnosti x y 2 ( ε)x + εx y 2 = x y + ε(x x ) 2 (y x ) T (x x ) ε 2 x x 2 x y 2 + 2ε(x y) T (x x ) + ε 2 x x 2 a limitným prechodom ε 0 dostávame požadované tvrdenie. Tvrdenie.5 (Veta o oddeľujúcej nadrovine). Nech X R n je konvexná uzavretá množina a y / X. Potom existuje nadrovina H = {x R n : a T x = α}, a R n, α R, ktorá oddeľuje bod y od množiny X, t.j. x X : a T x α, a zároveň a T y > α. (.) Dôkaz. Použijeme tvrdenie.4. Existuje teda bod x (najbližší bod množiny X k bodu y), pre ktorý platí x X : (y x ) T (y x) 0. Označme a = y x, α = a T x a ukážme platnosť (.). x X : (y x ) T (y x) = a T (x x ) 0 = a T x a T x = α pretože y Y, x X, t.j. a = y x 0. a T y = a T (a + x ) = a 2 + α > α, Tvrdenie.6 (Farkasova lema, [42]). Pre ľubovoľnú maticu G R p n a ľubovoľný vektor g R n platí práve jedna z možností i) Gd 0, g T d < 0, má riešenie d R n, ii) G T π = g, π 0, má riešenie π R p. Dôkaz. Najprv ukážeme, že nemôžu platiť obe tvrdenia súčasne. Potom by totiž 0 > g T d = π T Gd 0, pretože π 0, Gd 0, čo je sporné s ľavou nerovnosťou. Ďalej ukážeme, že ak ii) neplatí, tak nájdeme riešenie úlohy i). Uvažujme množinu S = { G T π : π 0}, ktorá je neprázdna (0 S), konvexná a uzavretá. Ak ii) neplatí, tak g / S. Potom z tvrdenia.5 pre x := s a y := y dostávame, že existuje nadrovina H = {x R n : a T x = α}, pre ktorú platí x S : a T x α, a zároveň a T ( g) > α. Pretože 0 S, tak 0 α, takže tieto nerovnosti nám skutočne zaručujú, že jedným z riešení i) je bod a: ( π 0 : a T G T π α) = Ga 0 a zároveň a T g < α 0. Dôsledok.2. Pre ľubovoľnú dvojicu matíc G R p n, H R q n a ľubovoľný vektor q R n platí práve jedna z možností i) Gd 0, Hd = 0, g T d < 0, má riešenie d R n,

12 KAPITOLA. TEÓRIA A METÓDY LINEÁRNEHO PROGRAMOVANIA 0 ii) G T π + H T η = g, π 0, má riešenie d R p, η R q. Dôkaz. Postupujeme rovnako ako v predchádzajúcom dôkaze. Ak by platili obe tvrdenia súčasne, tak 0 > g T d = π T Gd + η T Hd 0 + 0, čo je spor (využili sme Gd 0, π 0 a Hd = 0). Označme S = { (G T π + H T η) : π 0, η R q }. Potom ak ii) neplatí, tak g / S, a z tvrdenia.5 máme, že existuje nadrovina H = {x R n : a T x = α} taká, že x S : a T x α, a zároveň a T ( g) > α, čo po využití 0 S (0 α) a prepise dáva, že a spĺňa podmienky i): ( π 0, η R q : a T (G T π + H T η) α) = Ga 0, Ha = 0 a zároveň a T g < α Silná veta o dualite Zosilnenie slabej vety o dualite je zhrnuté v nasledujúcom tvrdení. Tvrdenie.7 (Silná veta o dualite, [42] Theorem 2.). Ak (P) aj (D) majú prípustné riešenia, tak majú aj optimálne riešenia. Naviac pre každé optimálne riešenie x, y platí c T x = b T y, t.j. duálna medzera je nulová. Dôkaz. Ak (P ) má prípustné riešenie x a (D) má prípustné riešenie (y, s), tak (x, y, s) je riešením systému ( ) ( ) ( ) ( ) A 0 x 0 b + 0 I s A T y =, (x, s) 0. c Dôsledok.2 hovorí, že je to ekvivalentné tomu, že systém ( ) ( ) ( ) A T 0 dy dy 0, (0, A) 0 I d x d x ( dy = 0, ( b, c) d x ) < 0 (.2) nemá riešenie. Chceme ukázať, že z tejto neexistenie vyplýva existencia optimálneho riešenia. Postupujme sporom. Nech problém (P ) nie je optimálny, pretože je prípustný, musí byť neohraničený (pozri tvrdenie.), t.j. existuje vektor d x taký, že Ad x = 0, c T d x < 0. Následne by (0, d x ) bola riešením systému (.2). Analogicky, ak by nebola (D) optimálna, tak by existoval vektor d y : A T d y 0, b T d y > 0 a potom by (d y, 0) bolo riešením systému (.2). Ostáva ukázať, že hodnoty účelových funkcií sa rovnajú. Nech x je optimálne riešenie (P ). Tvrdenie.8 nám zaručuje existenciu (y, s ) takých, že Ax = b, A T y + s = c, x T s = 0, x, s 0. čo dáva c T x b T y = y T Ax + s T x b T y = s T x = 0. Dôsledky tejto vety je možné používať rôznym spôsobom. Možno ich použiť na testovanie optimality. Ak máme vypočítané primárne a duálne riešenie x a (y, s), tak overíme prípustnosť Ax = b, A T y + s = c a optimalitu nám zaručí podmienka c T x = b T y. Ak máme v ruke prípustné primárne aj duálne riešenie, tak hodnota c T x b T y 0 nám prezradí, ako ďaleko od optimálneho riešenia sa nachádzame. Čím je rozdiel c T x b T y menší, tým sme bližie. Toto kritérium využívajú aj metódy vnútorného bodu.

13 KAPITOLA. TEÓRIA A METÓDY LINEÁRNEHO PROGRAMOVANIA Tvrdenie.8 (Nutné a postačujúce podmienky komplementarity, [42] str. 4). Vektor x R n je optimálnym riešením úlohy (P) práve vtedy, ak existujú vektory s R n, y R m také, že trojica (x, y, s) = (x, y, s ) spĺňa A T y + s = c, Ax = b, x i s i = 0, i =, 2,..., n, (.3) (x, s) 0. Dôsledkom tohoto tvrdenia je fakt, že j =, 2,..., n platí x i = 0 alebo s i = 0. Takto môžeme definovať rozklad množiny B = {j {, 2,..., n} : x j 0 pre nejaké x Ω P } N = {j {, 2,..., n} : s j 0 pre nejaké (y, s ) Ω D } Dôsledok.3. Množiny B a N sú disjunktné. Dôkaz. Nech existuje taký index j {, 2,..., n} : j B N. To znamená, že existujú optimálne riešenia x, (y, s ), že x j > 0, s j > 0, čo je sporné s podmienkou((.3) komplementarity optimálneho riešenia x i s i = 0. Podmienka x i s i z tvrdenia.8 vyjadruje komplementaritu riešenia. Pre problémy LP (narozdiel od nelinárnych problémov) je možné ukázať silnejšie tvrdenie. Nielenže komplementárne, ale ostro komplementárne riešenie vždy existuje. O nasledujúcu vetu sa opierajú najmä metódy vnútorného bodu, ktorým zaručí korektnosť algoritmu, jeho konvergenciu do ostro prípustného riešenia. Tvrdenie.9 (Goldman-Tucker, [42], Theorem I.20, str. 36). Ak (P) aj (D) majú prípustné riešenia, tak majú aj optimálne riešenia spĺňajúce x + s > 0, t.j. i =,..., n : x i + s i > 0. Dôkaz. Existencia optimálneho riešenia vyplýva zo silnej vety o dualite (tvrdenie.7). Hlavná časť dôkazu ukazuje existenciu ostro komplementárneho riešenia. Využijeme pri tom dôsledok.2. Nech J je množina indexov {, 2,..., n}, ktoré nepatria ani do množiny B ani do množiny N. Vďaka dôsledku.3 potrebujeme už iba ukázať, že J =. Vieme už, že B N =. Nech A B resp. A N označujú podmatice matice A so stĺpcami v príslušnej množine indexov. Vyberme si ľubovoľný index i J a uvažujme systém pre w R m A T.i w > 0, A Ṭ jw 0, pre j J \ {i} (.4) A T Bw = 0, pričom A.i označuje i-ty stĺpec matice A. Všimnime si, že tento systém (.4) zahŕňa iba stĺpce matice A zodpovedajúce bázickým premenným a premenným s indexami v množine J = {, 2,..., n} \ B \ N. Predpokladajme, že systém (.4) má riešenie w. Uvažujme ľubovoľné optimálne riešenie (x, y, s ), pre ktoré je s N > 0 (také z definície množiny N existuje). V nasledujúcom ukážeme, že potom vieme z neho za pomoci w nakombinovať nové optimálne riešenie (x, y, s), pre ktoré je s j > 0, t.j. ukážeme, že musí platiť j N. Nové riešenie duálnej úlohy bude y = y + εw, s = c A T y = s εa T w (teda A T y + s = c). Aby (y, s) bolo prípustným bodom (D), potrebujeme ešte zabezpečiť s 0. Pretože A T B w = 0, s B = 0, tak aj s B = 0. Hodnotu ε zvolíme dostatočne malú kladnú tak, aby platilo s i = s i εa Ṭ i w > 0, s j = s j εa Ṭ jw > 0, j J \ {i} s N = s N εa T N w > 0.

14 KAPITOLA. TEÓRIA A METÓDY LINEÁRNEHO PROGRAMOVANIA 2 Criss-Cross Method x j s j = 0 j Ax = b A T y + s = c Primal Simplex x 0 s 0 Interior Point Methods Dual Simplex Obrázok.: charakteristika zvyčajných algoritmov LP Potom skutočne (y, s) je prípustné riešenie (D), naviac je aj optimálne, pretože pre každý optimálny bod x musí platiť x N = 0 a preto platí aj s T x = 0 (pozri tvrdenie.8). Druhá možnosť je, že (.4) nemá riešenie w. Potom z Dôsledku.2 dostávame, že musí existovať riešenie (π, η) systému j J \{i} π j A.j + A B η = A.i, π j 0, (pre všetky j J \ {i}). (.5) Podobne ako v predchádzajúcom zostrojíme optimálne riešenie primárnej úlohy x : x i = ε > 0. Ak si definujeme vektor v R J tak (.5) možno prepísať do tvaru v i =, v j = π j pre všetky j J \ {i}, A J v = A B η, v 0, v i > 0. (.6) Zoberme teraz nejaké optimálne riešenie úlohy (D), vektor x, pre ktorý platí x B > 0. Definujme x ako x B = x B εη, x J = εv, x N = 0, pre dostatočne malé ε > 0. Také malé, aby ostalo v platnosti x 0, je bod x prípustným bodom x B Ax = (A B, A J, A N ) x J = A B x B εa B η + A J x J +A }{{} N x N = b ε(a }{{} B η A J v) = b. x N εv 0 Rovnako ako v predchádzajúcom, pretože x N musí byť i B. Naozaj platí J =. = 0, tak je aj optimálnym. V tomto (druhom) prípade Poznámka.. Iný elegantný dôkaz tohoto tvrdenia založený na teórii vnútorného bodu je možné nájsť v [42]...3 Charakteristika zvyčajných algoritmov lineárneho programovania Teória duality nám zaručuje, že k nájdeniu optimálneho riešenia pre primárnu aj duálnu úlohu musíme nájsť riešenie systému (.3). Obvyklé algoritmy LP pristupujú k riešeniu tohoto systému rozdielne. Obrázok. ilustruje požiadavky rôznych metód, ktoré podmienky využívajú jednotlivé prístupy.

15 KAPITOLA. TEÓRIA A METÓDY LINEÁRNEHO PROGRAMOVANIA 3 Podmienka komplementarity reprezentuje kombinatorický charakter úloh LP, ktoré dodržiavajú pivotné algoritmy. Pivotné algoritmy používajú bázické riešenia a vždy udržiavajú platnosť rovností Ax = b a A T y + s = c. Tým je zaručená komplementarita bodov počas výpočtu, ale nie je zaručená nezápornosť x 0, s 0. Naproti tomu metódy vnútorného bodu dosiahnu komplementaritu iba vo vypočítanom optimálom bode. Ostatné postačujúce podmienky optimality sú splnené počas behu programu. V nasledujúcich odstavcoch sa pokúsime urobiť prierez hlavnými myšlienkami týchto metód a pokúsime sa ich porovnať. Väčšina prehľadu pochádza z [38]..2 Pivotové algoritmy Z obrázka. vyplýva, že na riešenie problému LP by sme potrebovali riešiť nelineárny systém rovníc x i s i = 0. Táto rovnosť je ekvivalentná tvrdeniu x i = 0 s i = 0. Kandidáti na riešenie v pivotových algoritmoch vždy spĺňajú jednu podmienku z týchto podmienok a usilujú sa o prípustnosť x 0 resp. s 0. Bázické riešenia Definícia.2. Nech A B R m m je regulárna podmatica A, t.j. pozostáva z m lineárne nezávislých stĺpcov matice A = [a,..., a n ]. Vtedy A B sa nazýva bázou problému LP. Množinou I B {, 2,..., n} budeme označovať množinu indexov stĺpcov matice A, ktoré patria do množiny A B. Podobne A N sa bude označovať doplnok matice A B k matici A, t.j. nebázické stĺpce matice A. Zodpovedajúco rozdelíme aj vektory c, x a s. Teraz by malo byť jasné, že pre každú bázu existuje práve jedno riešenie x = (x B, x N ) = (A B b, 0), pretože ( ) xb Ax = (A B, A N ) = b a matica A B je regulárna. x N Toto riešenie nazveme primárnym bázickým riešením. Analogicky je možné definovať duálne bázické riešenie tak, že položíme s B = 0 a tým dostaneme y = A T B c B, s N = c N A T N y = c N A T N A T B c B, nakoľko ( ) ( ) ( A T A T y + s = B sb A A T y + = T B y ) ( ) cb N s N A T N y + s =. N c N Toto rozdelenie nás vedie ku (krátkej) simplexovej tabuľke. Definícia.3. Krátkou simplexovou tabuľkou zodpovedajúcu problému z Definície. rozumieme tabuľku T = (τ i,j ), T R (m+) (n m+) B b T = ct B A A B b ct N ct B A B A N A B A N (.7) Zhrnutím je, že ak si zoberieme x, (y, s), primárne a duálne bázické riešenia zodpovedajúce nejakej báze A B, tak z ich definície platí nielen Ax = b, A T y + s = c, ale aj podmienka komplemetarity x i s i = 0. Toto platí, lebo x i = 0 pre i I B a s i = 0 pre i / I B. Definícia.4. Riešenie x, (y, s) zodpovedajúce báze A B sa nazýva bázické riešenie. A naviac x 0 (s 0), tak sa nazýva primárne (duálne) prípustné riešenie. Bázické riešenie je optimálne, ak je primárne aj duálne prípustné.

16 KAPITOLA. TEÓRIA A METÓDY LINEÁRNEHO PROGRAMOVANIA 4 Pivotové algoritmy postupujú z jedného bázického riešenia do druhého smerom k optimálnemu riešeniu. Geometricky táto cesta je na hranici množiny prípustných riešení medzi krajnými bodmi. Tento postup môže byť zdĺhavý, keď má množina prípustných riešení veľa stien a hrán. Ak postupujeme po bázických riešeniach tak, aby sme dosiahli nezápornosť, vtedy hovoríme o criss-cross metódach (pozri obrázok.). Konečná metóda criss-cross metóda prechádza medzi bázickými riešeniami (zvyčajne primárne aj duálne neprípustnými), aby dosiahla primárnu neprípustnosť, duálnu neprípustnosť alebo optimalitu. Tento algoritmus je možné spustiť z ľubovoľného bázického riešenia bez potreby jeho prípustnosti v konečnom počte krokov. Criss-cross metóda, ktorá vyberá ohraničenia podľa najmenšieho indexu je najjednoduchším pivotovým algoritmom za pomoci ktorého je možné veľmi elegantne dokázať silnú vetu o dualite. Pri algoritmoch simplexovej metódy potrebujeme dodržiavať buď primárnu alebo duálnu prípustnosť aktuálneho riešenia. Primárna (duálna) simplexová metóda štartuje z primárneho (duálneho) prípustného riešenia. Ak v aktuálnom bode nemáme optimalitu ani neohraničenosť, tak sa vyberie nová báza a zodpovedajúce nové bázické riešenie, pričom duálne (primárne) neprípustná premenná vstúpi do (vystúpi z) bázy tak, aby platilo. nová báza je primárne (duálne) prípustná 2. nová báza sa od starej líší o práve jednu premennú 3. hodnota primárnej (duálnej) účelovej funkcie sa monotónne znižuje (zvyšuje). simplexová metóda potrebuje k štartu primárne (duálne) prípustnú bázu, čo je netriviálna úloha. Tento problém zvyčajne potrebuje vyriešenie iného problému LP, čomu sa hovorí prvá fáza. Zaujímavou je práca [7], ktorá dokazuje, že ak by sme poznali optimálne riešenie, tak sa z ľubovoľného bázického riešenia sa vieme dostať do optimálneho riešenie na nie viac ako (m + n) zmien báz. To odôvodňuje aj hypotézu, že existuje taký algoritmus výberu pivota, ktorý je polynomiálny. To, že to nie je ten zo simplexovej metódy už ukázali Klee a Minty [23]. Pekný prehľad geometriou problémov LP a prístupom na ich riešenie sa zaoberá aj článok [40]. Zopakujeme si, pivotové algoritmy postupujú z jedného bázického riešenia k druhému. V každom kroku sa otestuje, či je splnená primárna/duálna prípustnosť riešenia (t.j. optimalita) a vyberie sa nová báza. Tri najvýznamnejšie triedy pivotových algoritmov uvádzame v nasledujúcom..2. Criss-cross metóda Metóda sleduje intuitívny prístup. Ak existuje optimálne riešenie, tak jedno z nich je bázické a našou úlohou nájsť tú bázu. Metóda sa snaží vymienať prvky bázy tak, aby našla primárnu aj duálnu prípustnosť (pozri definíciu.4). Táto metóda môže štartovať z ľubovoľného bázického riešenia (nie nutne primárne alebo duálne prípustného). Otestuje sa optimalita, ak sme ju nedosiahli, tak si vyberieme index primárnej alebo duálnej neoptimálnej premennej a prejdeme k novej báze v ktorej bude táto premenná prípustná. Pokračujeme až do dosiahnutia optimality, primárnej alebo duálnej neohraničenosti. Schématicky možno túto metódu popísať podľa obrázka.2. Obrázok.2: criss-cross metóda, schéma Inicializácia: A B je ľubovoľná počiatočná báza, I B (I N ) sú indexy bázických (nebázických) premenných. begin while (pravda) do if x B 0 alebo s N 0 then

17 KAPITOLA. TEÓRIA A METÓDY LINEÁRNEHO PROGRAMOVANIA 5 stop (optimalita) else p := min{i I B : x i < 0}; q := min{j I N : s j < 0}; r := min{p, q}; if r = p then if p-ty riadok tabuľky je nezáporny then stop (primárna neprípustnosť) else q := min{j I N : τ pj < 0}, τ ij sú podľa (.7); endif else if q-ty stĺpec tabuľky je nezáporny then stop duálna neprípustnosť else p := min{i I B : τ iq > 0}; endif endif endif zostroj novú bázu I B := I B {q} \ {p} a príslušné riešenia x N = 0, x B = A B b, s B = 0, s N = c N A T N A T B c B; endwhile end. Dá sa ukázať nasledujúce prekvapivé tvrdenie. Tvrdenie.0 ([6]). Criss-cross metóda s najmenším indexom je konečná. Existujú aj ďalšie modifikácie, napríklad first-in-last-out alebo most-often-selected variable. Tieto metódy aj napriek ich jednoznačnosti vo výbere pivota a ich elegancii nie sú v praxi veľmi efektívne..2.2 Primárna simplexová metóda Primárna simplexová metóda požaduje v každom kroku primárne prípustné riešenie. Ak máme po ruke prípustné primárne riešenie, tak otestujeme či je aktuálna báza (primárne prípustná) je aj duálne prípustná. Ak áno, máme optimalitu v opačnom prípade vyberieme premennú, ktorá porušuje duálnu prípustnosť a stane sa bázickou premennou. Tým sa táto premenná stane v ďalšom kroku primárne aj duálne prípustnou. Toto sa opakuje pokiaľ nie je zistená optimalita alebo duálna neprípustnosť (t.j. primárna neohraničenosť, nakoľko primárna úloha je prípustná). Geometricky si to môžeme predstaviť nasledovne. Simplexová metóda začína z nejakého krajného bodu množiny prípustných riešení. V každom kroku sa rozhodne, po ktorej hrane budeme pokračovať do nasledujúceho (susedného) krajného bodu. Obrázok.3: primárna simplexová metóda, schéma Inicializácia: A B je primárne prípustná počiatočná báza, t.j. x B 0, I B (I N ) sú indexy bázických (nebázických) premenných. begin while (pravda) do if s N 0 then

18 KAPITOLA. TEÓRIA A METÓDY LINEÁRNEHO PROGRAMOVANIA 6 stop (optimalita) else q I N je ľubovoľný index taký, že s q < 0; v metóde najmenšieho indexu je q := min{j I N : s j < 0}; if q-ty stĺpec tabuľky je nekladný then stop (duálna neprípustnosť) else { } ϑ := min xi τ iq : i I B, τ iq > 0, τ ij sú podľa (.7); p I B : x p τ pq = ϑ; (ratio test) v metóde najmenšieho indexu je p := min { i I B : endif endif endif zostroj novú bázu I B := I B {q} \ {p} a príslušné riešenia ; endwhile end. x i τ iq } = ϑ Všimnime si, že ak nám metóda vyhlási duálnu neprípustnosť, nakoľko máme existenciu primárne prípustného riešenia, tak jedinou možnosťou je (primárna) neohraničenosť (podľa dôsledku.). Tvrdenie. ([8]). Primárna simplexová metóda vytvára postupnosť prípustných riešení s monotónne neklesajúcimi hodnotami účelovej funkcie. Naviac, ak je implementovaná s najmenším indexom, tak je konečná..2.3 Duálna simplexová metóda Duálna simplexová metóda požaduje v každom kroku duálne prípustné riešenie. Ak máme po ruke prípustné duálne riešenie, tak otestujeme či je aktuálna báza (duálne prípustná) aj primárne prípustnou. Ak áno, máme optimalitu v opačnom prípade vyberieme premennú, ktorá porušuje primárnu prípustnosť a stane sa bázickou premennou. Tým sa táto premenná stane v ďalšom kroku primárne aj duálne prípustnou. Toto sa opakuje pokiaľ nie je zistená optimalita alebo primárna neprípustnosť (t.j. duálna neohraničenosť, nakoľko duálna úloha je prípustná). Obrázok.4: duálna simplexová metóda, schéma Inicializácia: A B je duálne prípustná počiatočná báza, t.j. x B 0, I B (I N ) sú indexy bázických (nebázických) premenných. begin while (pravda) do if x B 0 then stop (optimalita) else p I B je ľubovoľný index taký, že x p < 0; v metóde najmenšieho indexu je p := min{i I B : x i < 0}; if p-ty riadok tabuľky je nekladný then stop (primárna neprípustnosť) else

19 KAPITOLA. TEÓRIA A METÓDY LINEÁRNEHO PROGRAMOVANIA 7 { } sj ϑ := min τ pj : j I N : τ pj < 0, τ ij sú podľa (.7); q I N : s q τ pq = ϑ; (ratio test) v metóde najmenšieho indexu je q := min { i I N : endif endif endif zostroj novú bázu I B := I B {q} \ {p} a príslušné riešenia; endwhile end. s j τ pj } = ϑ Podobne ako pre primárnu simplexovú metódu, aj pre duálnu platí nasledujúce tvrdenie. Tvrdenie.2 ([8]). Duálna simplexová metóda vytvára postupnosť prípustných riešení s monotónne nerastúcimi hodnotami účelovej funkcie. Naviac, ak je implementovaná s najmenším indexom, tak je konečná..2.4 Ďalšie pivotové algoritmy Aj napriek veľkému rozmachu prác s metódami vnútorného bodu sa neskončili snahy mnohých matematikov na zefektívňovanie pivotových algoritmov. Väčšina z nich asi upadne do zabudnutia vďaka dvom veľkým lídrom v tejto oblasti, napriek tomu ich prínos je originálny. Dobrým prehľadom v tejto oblasti je článok [24], ktorý je častokrát citovaný ako prvý, ktorý sa snaží o prechod množinou prípustných riešení v rámci simplexovej metódy. Uvedieme dvoch ďalších zástupcov. Zovšeobecnená simplexová metóda Zovšeobecnením sa v tomto rozumie, že algoritmus prechádza medzi bodmi, v ktorých je A << n oproti simplexovej metóde ( A = n, body algoritmu sú krajné body). Motiváciou je samozrejme výpočtové urýchlenie, pretože čím máme menej aktívnych ohraniční, tým lepšie. Niekedy sa stane, že sa stene dimenzie nula neviem vyhnúť, vtedy táto metóda postupuje rovnako ako simplexová metóda. Autori v ([6], tvrdenie 3.2) ukazujú, že táto metóda je konečná. Pri hľadaní nového smerového vektora metóda rieši lineárny podproblém, čo pripomína gravitačnú metódu. Naviac, pri výpočte nového smeru sa používa aj projekcia na množinu aktívnych ohraničení, preto je to vo svojej podstate aj gradientná metóda. Ďalšou výhodou tejto metódy je možnosť postoptimalizácie, nakoľko pracujeme s bázickými riešeniami. Viac sa môže čitateľ dozvedieť aj v [5]. Metóda autora J. Gondzia Autor sa (podobne ako v predchádzajúcom prístupe) snaží ťažiť z toho, že oproti simplexovej metóde, aktuálnym bodom prechádza menej ohraničení. Jednou výhodou je rýchlejšie počítanie inverzie (rozmer matice je presne počet aktívnych ohraničení) a druhou je väčšia vôľa pri výbere smerového vektora. Šikovnou inverziou matice rozšírenej pôvodnej matice sa autor ľahko dostáva k viacerým vektorom d : c T d > 0. Smerový vektor sa nepočíta ako nejaká projekcia vektora účelovej funkcie, ale vyberá sa z týchto vektorov ako ten s najväčším nárastom účelovej funkcie. Pretože v každom kroku sa množina aktívnych ohraničení nezmení o veľa prvkov, je možné podobne ako v simplexovej metóde nepočítať inverziu matice pri nových bázických premenných odznova, ale využiť znalosť predchádzajúcej. Jednou z nevýhod oproti simplexovej metóde je strata bázického riešenia. Veľmi cenným sa nám vidí aj porovnanie výpočtovej sily tohoto algoritmu so simplexovou metódou a (primárno-duálnou) metódou vnútorného bodu na štandardných problémoch knižnice Netlib [9], tabuľka 2. Okrem tohoto porovnania sa v článku nachádza aj vyčíslenie počtu aktívnych ohraničení (tabuľka 3) počas behu programu ako aj v optimálnom bode.

20 KAPITOLA. TEÓRIA A METÓDY LINEÁRNEHO PROGRAMOVANIA 8.3 Metódy vnútorného bodu (IPM) Geometrická predstava pivotových algoritmov sa nepáčila všetkým členom komunity optimalizátorov. Niektorým matematikom vŕtala v hlave myšlienka prechodu vnútrom množiny prípusných riešení. Ešte pred nástupom momentálne veľmi efektívnych algoritmov sa objavovali veľmi nesúvislo prvé lastovičky, prechodcovia metód vnútorného bodu..3. Von Neumannov algoritmus Prvým človekom, ktorý sa zahrával s myšlienkou prechodu vnútrom množiny prípustných riešení bod famózny matematik John von Neumann. Po rozhovoroch s G. Dantzigom v roku 948 predstavil prvý takýto algoritmus pre problém v tvare G = n P j x j = 0, n x j =, x 0, P j =, pre j =, 2,..., n. (.8) Tento problém sa podľa svojej geomtrickej intepretácie nazýva Gravitational point problem with normalized columns. Odtiaľ pochádza aj označenie iteračných bodov ako G t. Úlohou je pre zadané body P j v priestore, ktoré ležia na jednotkovej guli so stredom v počiaku nájsť také váhy x j tak, aby vážený priemer bodov P j bol presne počiatkom. Všimnime si, že táto úloha nemá účelovú funkciu, cieľom je iba zisiť, či existuje prípustné riešenie x a ak áno, nájsť jedno z nich. Táto metóda, má z teoretického hľadiska zaujímavú vlastnosť: Ak je problém prípustný, tak metóda nájde ε-presné riešenie v t iteráciách ε t bez ohľadu na počet riadkov (n) a stĺpcov (m = dim P j ) problému P s c T x G t Gt G t γ s O G t iterácie (v tis.) Obrázok.5: Von Neumannov algoritmus, krok iterácie Algoritmus generuje postupnosť bodov G, G 2,..., G t, G t+,... tak, že ich vzdialenosti od počiatku G t sa zmenšujú k nule, ak má problém prípustné riešenie. Prípustnosť riešenia problému (.8) má peknú geometrickú interpretáciu. Problém je prípustný, ak bod počiatku O leží v konvexnom obale bodov P j v opačnom prípade je problém neprípustný. Geometrickú myšlienku algoritmu zobrazuje obrázok.5. Algoritmus v každom kroku t hľadá vrchol P s, pre ktorý je uhol G t OP s najmenší. Potom nový bod G t+ bude pätou kolmice z bodu počiatku na úsečku G t P s. Dá sa ukázať, že problém je neprípustný, ak sa počas algoritmu stane, že najmenší uhol G t OP s je väčší ako 90. V opačnom prípade je z trojuholníka OG t P S, ktorý má najväčší uhol pri vrchole O zrejmé, že G t+ < G t. Schématicky algoritmus postupuje podľa nasledujúceho obrázka.6

21 KAPITOLA. TEÓRIA A METÓDY LINEÁRNEHO PROGRAMOVANIA 9 Obrázok.6: Von Neumannov algoritmus, schéma Inicializácia: ľubovoľná hodnota váh x j bodov P j, G = n x j P j begin while ( G t > ε) s = arg min { <) G t OP j, j =, 2,... n } if ( <) G t OP s > 90 ) stop (neprípustnosť) endif G t+ je päta kolmice z O na G t P s nájdi nové x t+ ako konvexnú kombináciu x k a ε s endwhile end. Ďalej je o tomto algoritme možné ukázať, že ak sú všetky uhly G t OP s ostré (zhora ohraničené ostrým uholom γ ), tak G t (sin γ ) t, čo dosvedčuje, že v tomto prípade je rýchlosť konvergencie algoritmu lineárna. Iné tvrdenie hovorí, že ak konvexný obal bodov P j obsahuje vo svojom vnútri guľu so stredom v počiatku a polomerom ρ, tak G t ( ρ 2 ) t. Napriek týmto teoreticky veľmi pekným vlastnostiam je efektívnosť tohoto algoritmu veľmi malá. Technické prevedenie tohoto algoritmu je možné nájsť na priloženom CD nosiči. Existuje isté zlepšenie na urýchlenie konvergenice, viac o tejto metóde je možné nájsť v knihe [9]. Aj toto vylepšenie sme sa pokúšali implementovať, žiaľ algoritmus je prakticky absolútne nepoužiteľný, na problém s rozmermi 5x0 potrebuje viac ako 2 milióny iterácií a viac ako 2000 sekúnd. Vzrast hodnoty účelovej funkcie pre tento problém je znázornený na obrázku Dikinov algoritmus Dikin, ruský matematik ako prvý objavil jednu z efektívnych metód vnútorného bodu. Nosnou myšlienkou metód vnútorného bodu je udržovať body iterácií dostatočne ďaleko od ohraničení, od hranice množiny prípustných riešení. Uvažujme primárno-duálnu dvojicu úloh LP v tvare j= (P ) min c T x Ax = b x 0 (D) max b T y u = c A T y u 0, (.9) kde ako obvykle je c, x R n, A R m n, 0 b, y R m. Metóda štartuje z vnútorného bodu (y 0, u 0 ), u 0 > 0 duálnej úlohy (.9). Tieto inicializačné podmienky implikujú, že primárna úloha je buď neprípustná alebo optimálna. V každom kroku hľadá ďalší vnútorný bod y t+, ktorý maximalizuje hodnotu b T y na elipse so stredom v bode y t. Bod y t+ ostáva vnútri množiny prípustných riešení (duálnej úlohy, ďalej D), pretože tá elipsa je konštruovaná tak, aby celá ležala v množine prípustných riešení. Najjednoduchším prístupom by bola minimalizácia na guli a nie elipse, ale vtedy by sme boli limitovaný vzdialenosťou bodu y t ku najbližšej hranici množiny prípustných riešení. Veľmi voľne povedané, Dikinov algoritmus je afinný, pretože afinne transformuje guľu na takú elipsu, ktorá vystihuje geometriu množiny prípustných riešení v bode y t. V smeroch, v ktorých sa bod y t nachádza blízko od hranice množiny D, je elipsa plochejšia a v tých druhých smeroch je natiahnutejšia. Táto elipsa je daná formulou { } y R m D A T (y y t ), D = diag(u t ).

22 KAPITOLA. TEÓRIA A METÓDY LINEÁRNEHO PROGRAMOVANIA 20 Celkovú schému tohto algoritmu na výpočet ε-presného riešenia poskytuje nasledujúci obrázok. Obrázok.7: afinno-škálovací Dikinov algoritmus, schéma Inicializácia: duálne prípustné riešenie (y 0, u 0 ), u 0 > 0, ε > 0 begin do p = (AD 2 A T ) b, D = diag(u t ) x t = D 2 A T p y t+ = y t + (b T p) /2 p u t+ = c A T y t+ while ( y t+ y t > ε) x t, (y t, u t ) sú ε-presnými riešeniami úlohy (.9) end. Táto metóda dala vzrast celej triede afinno-škálovacích metód vnútorneho bodu (pozri napr. [4])..3.3 Bariérové metódy vnútorného bodu Táto myšlienka pochádza originálne od dvojice Fiacco, McCormick [3]. Tí, ktorí poznali popri algoritmoch na riešenie LP aj algoritmy na riešenie nelineárnych problémov, skúšali tieto prístupy aj na úlohy lineárneho programovania. Spočiatku iba neúspešne kvôli prvotným numerickým nezdarom (väčšie pamäťové nároky, potreba dobrej aritmetiky), ale neskôr po dôkladnejšom študovaní teórie sa to nakoniec podarilo. Oficiálne prvým bol K. Karmarkar [2]. Jeho pokus spustil skutočnú revolúciu, ktorá trvá dodnes [4, 33]. Karmarkar pôvodne predstavil primárnu metódu vnútorného bodu. Od jej objavu sa vynárali mnohé jej modifikácie. V tejto práci si predstavíme len aktuálne prakticky najúspešnejšiu reprezentantku tejto triedy algoritmov, Primárno-Duálnu metódu sledovania centrálnej trajektórie (ďalej iba IPM). Myšlienkou je (podľa obrázka.) udržovať primárnu aj duálnu prípustnosť a porušiť podmienku komplementarity. Podmienky x, s 0 sa dokonca udržujú v ostrom tvare x, s > 0. Metódy vnútorného bodu sa snažia držať riešenia blízko tzv. centrálnej trajektórie. Obvykle riešia problémy v tvare (P ) min c T x Ax = b x 0 (D) max b T y A T y + s = c s 0. Najprv ku nim zavedieme navzájom k sebe duálne tzv. logaritmické bariérové problémy n n min ct x µ x j : Ax = b, x 0, max bt y + µ s j : A T y + s = c, s 0. j= j= (.0) Teória IPM hovorí, že ak budeme zmenšovať µ tak riešenie tohoto problému bude konvergovať ku riešeniu nášho pôvodného problému (P ) resp. (D). Derivovaním funkcie, ktorú chceme minimalizovať dostávame tzv. Karush-Kuhn-Tuckerov (parametrický) systém Ax = b, x 0 A T y + s = c, s 0 (.) xs = µɛ, kde xs = (x s,..., x n s n ) je Hadamardov súčin vektorov x a s a ɛ = (,..., ) R n. Dá sa ukázať, že systém (.) má jediné riešenie, ktoré označíme ako (x(µ), y(µ), s(µ)) a krivku {(x(µ), y(µ), s(µ)) :

23 KAPITOLA. TEÓRIA A METÓDY LINEÁRNEHO PROGRAMOVANIA 2 µ > 0} nazveme centrálna trajektória. Náš nelineárny problém budeme riešiť modifikovanou Newtonovou metódou, t.j. hľadáme newtonovský krok ( x, y, s), pre ktorý platí A x = 0 A T y + s = 0 (.2) s x + x s = µɛ xs, pričom ɛ je vektor príslušného rozmeru pozostávajúci zo samých jednotiek. Krok Newtonovej metódy musíme skrátiť, aby sme neporušili podmienku kladnosti x a s, t.j. nový bod iterácie bude (x + α x, y + α y, s + α s), pričom α volíme aj tak, aby sme zostali dostatočne blízko centrálnej trajektórie, čo sa zvyčajne meria jednou z funkcií δ c (xs, µ) = xs µ e, δ b(xs, µ) = xs µ µ xs. Všeobecná schéma algoritmov IPM je nasledovná. Obrázok.8: metóda vnútorného bodu (s dlhým krokom), schéma Inicializácia: funkcia δ(xs, µ) a parametre τ > 0, ε > 0, α, 0 < θ < počiatočný bod (x 0, s 0 ), µ 0 = také, že δ(x 0 s 0, µ 0 ) τ begin while (nµ = ε) do begin µ := ( θ)µ while (δ(xs, µ) τ) do vyrieš Newtonov systém (.2) pre ( x, y, s); x := x + α x; y := y + α y; s := s + α s; endwhile end endwhile end. Metódy vnútorného bodu sa odlišujú vo funkcii δ, vo veľkostiach parametrov a v tom ako sa počíta hodnota škálovacieho parametra α..4 Porovnanie simplexovej metódy a metód vnútorného bodu Táto kapitola by nebola úplna, keby sme v nej neuviedli pre a proti týchto dvoch veľkých súperov. V odborných kruhoch sa traduje, že IPM sú prakticky lepšie pri všeobecných problémoch veľkých rozmerov, oproti tomu simplexové metódy sú dobré pre stredné a menšie problémy, a problémy s kombinatorickou štruktúrou. Toto rozsúdenie je síce pravdivé, ale trochu prirýchle. Autori Illés a Terlaky [38] zdieľajú takýto názor: simplexová metóda Geometricky preskakuje medzi krajnými bodmi. Generuje bázické optimálne riešenie. V prípade degenerovanosti úlohy riešenie nie je ostro komplementárne. Získať ostro komplementárne je ťažké ako vyriešiť pôvodnú úlohu. Charakteristika postupnosti bodov metódy vnútorného bodu Generuje aj v prípade degenerovanosti ostro prípustné riešenie a centrálna trajektória konverguje k analytickému stredu. Vypočíta ε približné riešenie (c T x B T y < ε), presné riešenie je z neho možné získať v polynomiálnom čase.

24 KAPITOLA. TEÓRIA A METÓDY LINEÁRNEHO PROGRAMOVANIA 22 Exponenciálne veľa iterácií v triede problémov Klee Minty [23], ale duálna metóda rieši tento patologický prípad v polynomiálnom čase. Komerčný softvér rieši tento problém v jednom kroku. Pre niektoré pivotové algoritmy, napr. Zahedovo pravidlo [39], neexistujú zatiaľ exponenciálne príklady. V pravdepodobnostnom prípade je priemerný počet iterácií simplexovej metódy lineárny [4]. Potrebuje dve fázy, pretože potrebuje prípustné riešenie. Criss-cross metóda nepotrebuje prvú fázu, ale dodnes nie je známy výpočtovo efektívny variant. Môže sa stať, že podpostupnosť riešení bude mať rovnakú účelovú funkciu, zacyklenie je možné aj v prípade, že úloha má viacero optimálnych riešení. Existujú viaceré modifikácie (lexikografická metóda, metóda najmenšieho indexu), ale numericky je pohyb na hranici prípustných riešení nestabilný. Aktuálne programové balíky XPRESS-MP, OPS, CPLEX ostávajú stále v hre s metódami IPM. Simplexové metódy sú vo výbere pivota flexibilné, dovoľujú rôzne heuristiky na zlepšenie praktických výkonov. Zvyčajne aj prepínajú medzi primárnou a duálnou metódou. Duálna simplexová metóda je veľmi efektívna pri problémoch diskrétnej optimalizácie a branch-and-bound problémoch. Po vyriešení úlohy, problémy LP častokrát vyžadujú riešenie iba málo pozmeného riešenia. V tomto prípade simplexová metóda dokáže pri štarte z už získaného riešenia zvyčajne veľmi rýchlo riešiť pozmenenú úlohu. Výpočtová zložitosť Inicializácia Degenerovanosť Softvér Teplý štart, re-optimalizácia Metódy majú polynomiálnu zložitosť pre všetky problémy O(n 3 L), L je bitová dĺžka vstupu. Nájdenie presného ostro komplementáreho riešenia stojí O(n 3 ). V praxi je zložitosť menšia, okolo O(nL). Zvyčajne sa používa self-dual embedding, t.j. vnorenie pôvodnej úlohy do takej, ktorá je sama k sebe duálnou a vektor e = (,,..., ) je ostro prípustným riešením. Z riešenia tejto úlohy vieme vypočítať riešenie pôvodnej úlohy, výpočtová zložitosť nového problému sa nezhorší. Obrovskou výhodou IPM je to, že s týmto nemá problémy, pretože prechádza vnútrom množiny prípustných riešení. Naviac, ak má úloha viacero optimálnych riešení, tak riešenie konverguje k analytickému stredu množiny optimálnych riešení, t.j. aj v tomto prípade sa výhýba krajným bodom. Výhodou IPM metód pre veľké riedke problémy je technika počítania s riedkymi maticami. Pri počítaní Newtonovho kroku (časovo najnáročnejšieho kroku) sa používajú refaktorizáciu, Choleského rozklad pre riedke matice a pod., ktoré robia IPM rýchlejšími ako simplexové metódy. V tomto IPM zaostáva, aj napriek experimentom s teplým štartom nemôže IPM konkurovať simplexovým algoritmom v reoptimalizácii.