REPUBLIKA E SHQIPËRISË VLERAT SINGULARE TË PËRGJITHËSUARA DHE ZBATIME

Transcription

1 REPUBLIK E SHQIPËRISË UNIVERSIEI I IRNËS FKULEI I SHKENCVE Ë NYRËS DEG E MEMIKËS PROGRMI I SUDIMI: NLIZË DHE LGJEBËR VLER SINGULRE Ë PËRGJIHËSUR DHE ZBIME EZË DOKORE Doktoanti Bilall Shaini Udhëhoqi Pof D Fatmi Hoxha ianë, 04

2 UNIVERSIEI I IRNËS FKULEI I SHKENCVE Ë NYRËS DEG E MEMIKËS PROGRMI I SUDIMI: NLIZË DHE LGJEBËR DISERCION I PRQIUR NG MR SC BILLL SHINI PËR MRRJEN E GRDËS SHKENCORE DOKOR EM: VLER SINGULRE Ë PËRGJIHËSUR DHE ZBIME Mbohet më datë paa juië: Kyeta nëta (oponent) 3 nëta (oponent) 4 nëta 5 nëta

3 PËRMBJJ Miënjohje iv btakti (hqip dhe angliht) v Hyje viii Kapitulli Dekompozimi në vlea ingulae dhe vleat ingulae të pëgjithëuaa Vleat ingulae të maticë dhe teoema e dekompozimit në vlea ingulae Zbatime themeloe të vleave ingulae 3 3 Pëcaktimi numeik i angut të një matice 5 4 Dekompozimi otogonal 7 5 Ditanca nga një maticë më e afët ingulae 7 6 DVS-ja dhe poblemi i katoëve më të vegjël 7 7 Peudoinvei i maticë 9 8 Dia zbatime të dekompozimit në vlea ingulae të maticë në ekonomi 8 Njehimi i egeionit linea duke pëdou DVS-në 8 Katoët më të vegjël të zakonhëm (KVZ) 3 83 Vleëuei nëpë bazda (ang Ridge Etimato) 5 9 Dekompozimi në vlea ingulae i pëgjithëua 6 9 Dy pëgjithëime të dekompozimit në vlea ingulae 7 9 Poblemet tek të cilët janë zbatua teknikat e vleave ingulae të pëgjithëuaa 93 Njehimi i dekompozimit në vlea ingulae të pëgjithëua 94 lgoitmi i Pejxhit pë njehimin e DVSP 4 94 lgoitmi i Kogbetliancit pë njehimin e DVS të një matice tekëndëhe 4 94 Pëgjithëimi i algoitmit të Kogbetliancit pë njehimin e DVSP 5 95 Njehimi i DVSP i maticave tekëndëhe me pëmaa 7 Kapitulli Ekzitenca dhe ndëtimi i inveeve të pëgjithëuaa Një qaje pektale Ekuacionet maticoe të Penoe-it 30 Ekzitenca dhe ndëtimi i inveeve-{ 3 3 Vetitë e inveeve-{ 3 4 Ekzitenca dhe ndëtimi i inveeve-{, 33 5 Ekzitenca dhe ndëtimi i inveeve-{,,3, -{,,4 dhe -{,,3, Fomula ekplicite pë 34 7 Ndëtimi i inveeve-{ të angut të paacaktua 34 8 Inveet e pëgjithëuaa pektale 35 iii

4 8 Indeki matico 36 8 Invei pektal i maticë ë diagonalizuehme Invei gup dhe vetitë pektale të tij Invei i Dazinit dhe vetitë pektale të tij Dekompozimi nilpotent me indekin i një matice katoe 4 Kapitulli 3 Rezultate numeike në njehimin e inveeve të pëgjithëuaa me anë të dekompozimit në vlea ingulae 3 Njehimi i inveeve të pëgjithëuaa duke pëdou dekompozime maticoe 44 3 Njohui paapake 46 3 Faktoizimet DVS dhe inveet e jahtme Dekompozimi i hollë në vlea ingulae (SVD) dhe inveet e jahtme 5 34 Vetitë e paaqitje SVD të inveeve të jahtme Invei i hollë i Mooe-Penoit Invei i hollë me pehë i Mooe-Penoi Invei Dazin i hollë Pëfundime 6 3 Njehimi inveeve-{,4 dhe {,3 me anë të faktoizimeve DVS dhe iku DVS 3 Njohui paapake 63 3 Paaqitja e inveeve-{4 dhe {,3 me pëfytyim dhe bëthamë të paacaktua Njehimi i inveeve {,4 dhe {,3 me anë të faktoizimeve maticoe Njehimi i inveeve {,4 dhe {,3 me anë të DVS-ë Njehimi i inveeve-{,4 dhe {,3 me anë të faktoizimit QR Njehimi i inveeve-{,4 dhe {,3 me anë të faktoizimit URV 7 34 lgoitmi 7 35 Ekpeimente numeike 7 36 Pëfundime Njehimi inveeve të jahtme me anë të faktoizimeve të plota otogonale Ekpeimente numeike 33 Njohui paapake Paaqitjet bazua në dekompozimet QR dhe DVS Paaqitja e bazua në tajtën bidiagonale Pëvoja numeike 83 Pëfundime të pëgjithhme 94 Bibliogafia 95 Botime dhe efeime në konfeenca hkencoe 99 Shtojca (Kode në Mathematica, Matlab Pogame të njehimeve maticoe në C++) 0 iv

5 Miënjohje Shpeh konideatën, miënjohjen dhe falëndeimin pë mentoin tim Pof D Fatmi Hoxhën i cili me angazhimin e tij të vazhduehëm më ofoi ndihmën humë të çmua pofeionale, këhilla të dobihme, ugjeime dhe vëejtje qëllimmia i në nxitjen e këkimit hkenco ahtu edhe në inkuajimin pë t i kye obligimet në kohë Gjithahtu u jam miënjohë atye kolegëve e hokëve që më mbëhtetën në mënya të ndyhme i këkimi elektonik i bibliogafië, pëpunimi i tektit, figuave, diagameve etj Shpeh falëndeimin dhe dahuinë pë familjen time që më pëkahën mateialiht dhe moaliht gjatë gjithë kohë ë tudimit Bilall Shaini v

6 btakti Dekompozimi otogonal QR ëhtë një mjet humë i mië pë zgjidhjen e poblemit të katoëve më të vegjël ku matica e koeficientëve ëhtë e njohu dhe ka ang të plotë Miëpo, në qoftë e matica nuk ka ang të plotë oe angu ëhtë i panjohu, këkohet ndonjë mjet më i fuqihëm Pë t u kapëcye poblemet e ipëthëna po edhe pobleme të tjea të algjebë lineae numeike, pëdoet një mjet mjaft i fuqihëm dhe efika, Dekompozimi në Vlea Singulae (DVS) Ky dekompozim ëhtë tejet i dobihëm i pë analiza teoike ahtu edhe pë zbatime në fuhën e njehimeve numeike Në fillim do të jepen pëkufizime dhe teoema bazë të vleave ingulae dhe tajta të ndyhme të dekompozimit në vlea ingulae Në vazhdim bëhet lidhja ndëmjet vleave ingulae dhe nomë në njëën anë dhe numit të kuhtëzimit të maticë në anën tjetë Më tej tegohet në ç mënyë hfytëzohet DVS-ja pë të detektua angun numeik të maticë në atin ku janë të panihme gabime të umbullakimit i dhe tubullime të tjea tek të dhënat, duke tegua e maticat me ang jo të plotë janë në njëfaë kuptimi të vafa (deficitae), i dhe tegohet në ç mënyë njehohet ditanca gje te matica me ang jo të plotë Më tej do të tegohet i pëdoet DVS pë zgjidhjen e poblemit të katoëve më të vegjël, madje edhe ku matica e koeficienteve nuk ka ang të plotë Gjithahtu, njëi ndë zbatimet më të këkuaa ëhtë njehimi i inveit të pëgjithëua oe peudoinveit pë një maticë të çfaëdohme dejtkëndëhe Ekzitojnë metoda dhe algoitme të humta pë njehimin e vleave ingulae, të vektoëve ingulaë (të majtë e të djathtë) dmth pë njehimin e DVS-ë Ne do të pëqendohemi te DSV-ja e maticë eale me zbatimet më të ëndëihme ë gjitha zhvillimet që kanë të bëjnë me maticat eale mund të pëgjithëohen dejtpëdejt edhe pë maticat kompleke Pë DVS-në ekzitojnë dia pëgjithëime Kemi paaqitu dy mënya të pëgjithëimit, i më të natyhme dhe më hpeh të zbatuehme Gjithahtu, pë njehimin e vleave ingulae të pëgjithëuaa janë paaqitu algoitme të njohua dhe i më i pëhtathmi lgoitmi Diekt i Pejxhit () Kemi futu paaqitjen me ang të plotë të inveit, S të një matice të dhënë kontante e cila bazohet në dekompozimet DVS dhe iku DVS të një matice të pëhtathme[3] Janë bëë kahaime të dia metodave pë njehimin e inveeve të jahtme Ëhtë futu nocioni i inveit të pëgjithëua të hollë, që koepondon me nocionin e dekompozimit SVD të hollë Janë dhënë hembuj numeikë të cilat ilutojnë hqytimet teoike Kemi nxjeë kuhtet pë ekzitencën dhe hqytimin e paaqitjeve të inveeve-{,4 dhe {,3 me pëfytyim të paacaktua dhe bëthamë të paacaktua S [] Kemi nxjeë algoitmin e pëgjithhëm pë njehimin numeik të inveeve-{,4 dhe {,3 me ang të dhënë dhe me pëfytyim e bëthamë të paacaktua lgoitmi ëhtë nxjeë nga gjeneimi i paaqitjeve me ang të plotë të këtye inveeve të pëgjithëuaa duke pëdoë faktoizime të ndyhme maticoe otogonale të plota Më aktëiht, algoitmi pë njehimin e inveeve-{,4 dhe {,3 e një matice të dhënë ëhtë pëcaktua duke pëdou një qaje unike në dekompozimet SVD, QR dhe URV të një matice W të zgjedhu në mënyë të pëhtathme () Kemi zbatua paaqitje me ang të plotë të inveit, S e një matice kontante të dhënë, të cilat bazohen në ate të ndyhme faktoizimeh të plota otogonale[6] Në veçanti, ne kemi futu paaqitjen me ang të plotë të bazua në dekompozimin ipa vleave ingulae (DVS), i dhe në një kombinim të dekompozimeve QR dhe DVS të maticë tekëndëhe të podhua nga dekompozimi QR Pë më tepë, janë pëcaktua paaqitje mbi bazë të faktoizimeve maticoe bidiagonale Këto paaqitje janë të zbatuehme pë maticat eale me ang të plotë ipa ehtave Kemi dhënë dia hembuj numeik ku ëhtë vënë në pah kahaimi i të tia metodave Fjalë kyçe Dekompozimi në vlea ingulae (DVS), dekompozimi QR, inveet e pëgjithëuaa, paaqitja me ang të plotë, faktoizimet e plota otogonale vi

7 btact he QR decompoition i a fine tool fo olving leat quae poblem when the coefficient matix i known to have full ank Howeve, if the matix doe not have full ank, o if the ank i unknown, a moe poweful tool i needed We intoduce an even moe poweful tool, the ingula value decompoition (SVD) hi may be the mot impotant matix decompoition of all, fo both theoetical and computational pupoe We begin by intoducing the SVD and howing that it can take a vaiety of fom Futhemoe, we etablih the connection between ingula value and the nom and condition numbe of a matix We alo how how to ue the SVD to detect the numeical ank of matix in the peence of oundoff eo and othe uncetaintie in the data, we how that ank-deficient matice ae in ome ene cace, and we how how to compute the ditance to the neaet ank-deficient matix Same to you, we how how to ue the SVD to olve leat quae poblem, even if the coefficient matix doe not have full ank We alo intoduce the peudoinvee, an inteeting genealization of the invee of a matix We will continue to focu on eal matice Howeve, all of the development of eal matice can be extended to complex matice in a taightfowad way Fo SVD thee exit ome genealization We peent two way to genealize, a moe natual and often moe applicable lo, fo the computation of the genealized ingula value ae peented known algoithm and mot appopiate Diect Paige lgoithm We intoduce a full-ank epeentation of (), S invee of a given contant matix which i baed on the SVD and SVD-like decompoition of an appopiate matix W [3] compaion with eveal method fo computing the oute invee ae peented he notion of thin genealized invee, coeponding to the notion of thin SVD decompoition, i intoduced Numeical example which illutate theoetical invetigation ae peented We deive condition fo the exitence and invetigate epeentation of {,4 and {,3-invee with pecibed ange and null pace S [] geneal computational algoithm fo {,4 and {,3 genealized invee with given ank and pecibed ange and null pace i deived he algoithm i deived geneating the full-ank epeentation of thee genealized invee by mean of vaiou complete othogonal matix factoization Moe peciely, computational algoithm fo {,4 and {,3-invee of a given matix i dened uing an unique appoach on SVD, QR and URV matix decompoition of appopiately elected matix W Seveal full-ank epeentation of (), S -invee of a given contant matix, which ae baed on vaiou complete othogonal factoization, ae intoduced in [6] Paticulaly, we intoduce full ank epeentation baed on the SVD a well a on a combination of the QR decompoition and the SVD of the tiangula matix poduced by the QR decompoition Futhemoe, epeentation baed on the factoization to a bidiagonal fom ae dened he epeentation aiing fom eduction to bidiagonal fom ae applicable to eal full ow ank matice Illutative numeical example and an extenive numeical tudy ae peented compaion of thee intoduced method i peented Keywod Singula value decompoition (SVD), QR decompoition, genealized invee, full ank epeentation, complete othogonal factoization vii

8 Hyje Një nga idetë më të fythme në teoinë e maticave ëhtë ajo e faktoizimit në ndonjë tajtë kanonike Dobitë teoike të dekompozimit matico janë vleëua që heët[8] Kohëve më të fundit, ato janë bëë htylla kyeoe të algjebë lineae numeike, ku ato hëbejnë i platfoma njehimeh nga të cilat mund të zgjidhen një humëi poblemeh Janë pojektua algoitme pë tipa të veçantë të maticave, ph pë matica të alluaa oe matica gati-diagonale Ekzitojnë humë metoda pë dekompozimin e maticave, ku ecila pëdoet pë një klaë të veçantë të poblemeve[36] Si ph faktoizimet që janë të lidhua me zgjidhjen e itemeve të ekuacioneve lineae, janë: dekompozimi LU, dekompozimi Choleky, dekompozimi QR Nga humë dekompozime të dobihme, Dekompozimi në Vlea Singulae (DVS, ang SVD) ëhtë faktoizim i maticë në H podhimin UV të maticë unitae U, maticë diagonale, dhe një matice tjetë H unitae V - ka maë një ol të veçantë Ka dia aye Në adhë të paë, nga fakti që dekompozimi ëhtë aitu me matica unitae e bën atë një mjet ideal pë të dikutua gjeometinë e hapëië me n-pëmaa Së dyti, ky dekompozim ëhtë i qënduehëm dmth tubullia të vogla tek të dhënat e -ë koepondojnë me tubullia gjithahtu të vogla te matica, dhe anajellta E teta, elementet diagonale të bëjnë të lehtë pëcaktimin ku -ja ëhtë afë maticë me ang të degjeneua; dhe në atin ku ëhtë e tillë, dekompozimi ofon një pëafim optimal me ang të ulët të -ë Në fund, falë pëpjekjeve këkimoe të Gene Golubit ekzitojnë algoitme efikae dhe të qënduehme pë njehimin e DVS-ë[4] Janë peë matematikanët, E Beltami ( ), C Jodan (838-9), J J Sylvete (84-897), E Schmidt ( ) dhe H Weyl( ) të cilët fillimiht pohuan ekzitencën e dekompozimit në vlea ingulae pataj edhe e vëtetuan atë duke zhvillua më tej teoinë e këtij dekompozimit matico Duke povua ekzitencën e DVS-ë, Beltami tegoi e ky dekompozim ëhtë i lidhu nguhtë me dekompozimin pektal të maticave eale dhe Jodani duke hulumtua gjeometinë e hapëië me n- pëmaa futi bazat kanonike të çiftit të nënhapëiave Kjo linjë e zhvillimit çoi në dekompozimin CS (Coinu-Sinu) të maticave otogonale Dekompozimi CS nga ana e tij, mund të pëdoet pë të nxjeë dekompozimin në vlea ingulae të pëgjithëua të maticë qoftë në fomën e tij buimoe iç e bëi Van Loani[6,7, 33] apo në veionin e ihikua të Pejxhit dhe Saundeit[9] Peudoinvei i Mooe-Penoit edhe pe, në kuptimin igooz të fjalë, nuk ëhtë dekompozim matico, ai mund të njehohet me anë të DVS-ë i vijon Supozojmë e k-vleat e paa ingulae të maticë nuk janë zeo, ndëa n-k të fundit janë zeo, dhe matica diag,, k,0,,0 tëheë peudoinvei i -ë jepet me U V Punimi ëhtë i oganizua i vijon Në kapitullin e paë, fillimiht ëhtë dhënë teoema fundamentale e DVS-ë: Një maticë e çfaëdohme eale mund të faktoizohet i: m n viii

9 0 0 0 u u 0 m v v n UV u u v v m mm n nn nn ku U and V janë matica otogonale me pëmaa pëkatëiht m m dhe n n, (dmth, U U I m dhe VV I n ), dhe ëhtë maticë diagonale me pëmaa m n diag(,,,,0,,0) me 0 dhe ank( ), ( min{ m, n ) Numat ealë,,, janë ënjë katoe të vleave vetjake të maticave (oe ) Këto vlea njihen i vlea ingulae të -ë Më tej, janë dhënë dia veione të tjea të DVS-ë i DVS-ja e hkutë, DVS-ja gjeometike Në paagafin e zbatimeve të DVS-ë kemi vënë në pah dobitë kyeoe teoike dhe paktike nga faktoizimi matico nm ipa vleave ingulae Këhtu, pë një maticë të çfaëdohme jozeo noma pektale e aj pëcaktohet me x max, x0 x dhe në qoftë e numat ealë 0 janë vleat ingulae të aj, atëheë noma pektale ëhtë e baabatë me vleën ingulae më të madhe të aj, pa vlen Në atin ku matica ëhtë katoe joingulae, numi i kuhtëzimit ( ) pëcaktohet me ( ), ku mn ëhtë invei i -ë Në anën tjetë, vleat ingulae pëdoen pë të pëcaktua angun numeik të një matice (me ang jo të plotë) ku një tubullim i vogël në të dhënat e maticë mund ta ië ndjehëm angun e aj Këhtu, me anë të DVS-ë povohet që pë çdo 0 ekziton matica e angut të plotë nm e tillë që Numi jonegativ ëhtë një maë e ditancë në me maticave dhe, ku numi i vogël paaqet një pag toleance e që ëhtë afëiht në nivelin e paiguië në të dhënat e maticë Zbatimi tjetë mjaftë i pëdou ëhtë te poblemi i katoëve më të vegjël Këhtu, meet nm n itemi i ekuacioneve lineae x b ku, ank( ), b dhe vektoi m x ëhtë i panjohu Pë n m, itemi ëhtë i mbipëcaktua dhe nuk mund të peim gjetjen e një zgjidhjeje të aktë Pandaj, këkojmë x-in të tillë që b x të minimizohet Duke këkua zgjidhjen e vetme të këtij poblemi, pëdoim DVS-në e plotë nn të -ë: U V, ku U dhe mm V janë otogonale, me ç at te funkionali b x U ( b x) U b ( V x) duke vënë c U b dhe y V x, me ix

10 fomën n b x c y c y c Që këtej, hihet e b x i i i i i i ci minimizohet atëheë dhe vetëm atëheë ku yi, i,, Dekompozimi në vlea ingulae ka një zbatim të ëndëihëm edhe në ekonomi Pë hembull, konceptet e egeionit linea dhe zgjidhje ë poblemit të katoëve më të vegjël të zakonhëm hfytëzohen hpeh Një qaje kyeoe në ekonometi ëhtë analiza e egeionit Pë këtë analizë ëhtë i nevojhëm pecifikimi i një modeli të egeionit që kaakteizon maëdhënien e vaiablave ekonomikë Kemi paaqitu njehimin e egeionit linea duke pëdou DVS-në[4] Poblemi i vleave vetjake të pëgjithëuaa x B Bx, katoët më të vegjël të pëgjithëua, analiza dikiminante te poblemi i optimizmit i dhe një ei poblemeh të fuhë ë njehimeve maticoe imponojnë zgjeimin e pëkufizimit të vleave ingulae [5,] Do të jepen dy pëgjithëime të dekompozimit në vlea ingulae[6] Këto pëgjithëime ofojnë një mënyë të unifikua në lidhje me poblemet e caktuaa maticoe dhe teknikat numeike të cilat pëdoen pë zgjidhjen e tye Pë maticën e dhënë eale me,,, q veçantë janë vetitë n m i, pëkufizohet bahkëia e vleave ingulae të aj (i) I m Nga vetitë e humta që kanë vleat ingulae, me intee të det 0, (ii) ëhtë vleë tacionae e x x Një pëgjithëim i natyhëm i konceptit të vleë ingulae buon nga ecila pej këtye jedhimeve: (a) Gjej ato 0 pë të cilat B B det 0 x S (b) Gjej vleat tacionae të x Këtu, maticat dhe B kanë numë të njëjtë htyllah, ndëa nomat të pëkufizuaa këioj: /,, P dhe S janë m m x x Px x P m pozitiviht e pëcaktua ani, kyeoe ëhtë të hqytohen këkeat (a), (b) dhe pëgjithëimi i dekompozimit në vlea ingulae që ugjeojnë çdonjëa pej tye[4] Do të podhohen dy dekompozime maticoe të cilat janë të ëndëihme pë këkeat (a), (b) Fillimiht pëkufizojmë konceptin e B-vleave ingulae x

11 Pëkufizim B-vleat ingulae të maticë janë elementet e bahkëië na m nb m ku, B dhe na m B B B, 0, det 0, Dekompozimi i mëpohtëm ëhtë pëgjithëim i DVS-ë, nga i cili lehtë mund të pëftohen B-vleat ingulae a eoemë (Dekompozimi në B-vleat ingulae (BDVS)) Meet n m nbm B dhe na m Ekzitojnë maticat otogonale U (me pëmaa na na ) dhe V (me pëmaa n n ) i dhe matica joingulae X (me pëmaa m m ) të tilla që b b U X V B X D D ku q min n, m, ank B b e j 0 pë çdo j, j n diag,,,, 0, m i diag,,,, 0, B q i dhe q 0 Në qoftë, atëheë, B 0, B i i,,, i Pëgjithëimi i dytë bazohet në teoemën e dytë në vijim Pëndyhe, Pëkufizimi Le të jenë P dhe Q dy matica pozitiviht të pëcaktuaa të endit nm pëkatëiht n dhe m, ku n m S,-vleat ingulae të janë elementet e bahkëië e cila pëkufizohet me: S, x S S, 0, ëhtë vlea tacionae e x nm nm eoema [3](S,-dekompozimi në vlea ingulae i ) Le të jenë, nn mm S dhe ku n m, me ç at maticat S dhe janë pozitiviht të pëcakt- nn mm uaa Ekziton matica S otogonale U dhe matica otogonale V të tilla që U V D diag,,, m Veç këaj, S,,,, m Pë të gjitha llojet e pëgjithëimeve, e pëbahkëta e tye ëhtë gjetja e algoitmeve të qënduehme dhe efikae pë njehimin e DVSP të dy maticave Në këtë en, Van Loan, B mund të pëftohen me faktoizimin e maticave dhe B ka tegua[7] që vleat në podhime, në mënyë pëkatëe, të një matice otogonale, një matice diagonale dhe një matice joingulae Më vonë, po ky auto futi në pëdoim një metodë tjetë që bazohet në zbatimin e kombinua të faktoizimeve DVS dhe QR Një auto tjetë Stjuat, njehimin e bazon në DVS-në dhe metodën e Jakobit pë poblemin imetik të vleave vetjake[8,0] lgoitmet numeike të Stjuatit dhe Van Loanit kyeiht kanë qëllimin e xi

12 njehimit fillimiht të dekompozimit CS, po me to mund të njehohet edhe DVSP duke inkopoua dekompozime të tjea tandade Me zhvillimin e algoitmit të Kogbetliancit pë njehimin e DVS-ë të podhimit të dy maticave, Pejxhi popozoi pëgjithëimin e algoitmit të Kogbetliancit pë të njehua DVSP-në dejtpëdejt[9] lgoitmi i Pejxhit ëhtë mënya e njehimit ipa Jakobi-Kogbetliancit i cili zbaton tanfomime otogonale mbi -në dhe B-në veçma, pa njehua dekompozimin CS Kapitulli i dytë hton poblemin e inveeve të pëgjithëuaa,duke fillua me ekuacionet maticoe të njohua i ekuacionet e Mooe Penoit, pataj invein e Dazinit dhe invein gup[6,8] mn Matica themi e ëhtë maticë me ang të plotë, në qoftë e ang( ) min{ m, n Më aktëiht, me ang të plotë ipa ehtave (htyllave) në qoftë e ang( ) m ( ang( ) n ) Çdo maticë mund të paaqitet i podhim PQ të dy maticave me ang të mn m n plotë P dhe Q Ky faktoizim nuk ëhtë i vetëm Po, ku njëa nga maticat ëhtë e dhënë atëheë matica tjetë ëhtë unike Faktoizimi me ang të plotë mund të pëdoet pë njehimin e klaave të ndyhme të inveeve të pëgjithëuaa[3] Pë maticën joingulae, ekziton e vetmja maticë X e tillë që X X I (ku I ëhtë matica njëi) Në këtë at X-i quhet maticë invee e -ë dhe hënohet me Në atin e pëgjithhëm ku matica ëhtë ingulae apo e tajtë dejtkëndëhe, atëheë koncepti i inveit pëgjithëohet Në këtë en, pëkufizimi fundamental i inveit të pëgjithëua jepet me anë të ekuacioneve maticoe të Mooe-Penoit[36,58]: () X ; () X X X ; (3) X xii X ; (4) X X, ku me ëhtë hënua matica e tanponua e koniugua e maticë Ky inve unik i pëgjithëua njihet i invei i Mooe-Penoit dhe zakoniht hënohet me Pë maticën e çfaëdohme X mn, hënohet me { i, j,, nm të cilat vëtetojnë ekuacionet ( ),( ),,( ) k bahkëia e maticave i j k nga adhët e ekuacioneve () (4) Matica X { i, j,, k quhet invei-{ i, j,, k i -ë dhe hënohet e veçantë ku pë maticën plotëohen ekuacionet maticoe k X ( i, j,, k ) Në atin k, X X X D dhe X X atëheë ky inve quhet i Dazinit dhe hënohet me Invee tek i cili plotëohen ekuacionet (), () dhe ekuacioni X X, njihet i inve gup i -ë dhe hënohet me # Pë çdo maticë mn, bahkëia e të gjitha inveeve të jahtme (pa, inveeve-{) nm { X XX X Me () hënohet çfaëdo invei i pëcaktohet me jahtëm i -ë Le të jetë S nënhapëia e mn m me pëmaë m, le të jetë nënhapëia e n me pëmaë t dhe t, atëheë -ja ka inve-{ maticën X të tillë që

13 X dhe X S nëe dhe vetëm nëe ëhtë unike dhe hënohet me (), S S m Në këtë at matica X Në punimin [3] kemi zhvillua një algoitëm numeik pë njehimin e inveit të jahtëm () i cili bazohet në paaqitjen me ang të plotë të një matice W të zgjedhu në mënyë, S të pëhtathme që jedh nga DVS-ja e aj Kemi hqytua një paaqitje të ngjahme me invein e jahtëm që koepondon me DVS-në e hollë të W -ë Ky lloj invei i pëgjithëua ëhtë quajtu invei i jahtëm (), S i hollë i -ë Në punimin [] kemi nxjeë algoitmin e pëgjithhëm pë njehimin numeik të inveeve-{,4 dhe {,3 me ang të dhënë dhe me pëfytyim e bëthamë të paacaktua Në veçanti, kemi hqytua invein e hollë të Mooe-Penoit, invein e hollë me pehë të Mooe-Penoit i dhe invein e hollë të Dazinit Në punimin[6] kemi bëë kahaime të paaqitjeve të ndyhme të inveeve të pëgjithëuaa me anë të faktoizimeve të plota maticoe ë gjitha hqytimet që kemi bëë në punimet [3,,6] i kemi tetua me një numë të konideuehëm hembujh numeikë Këhtu, nga ekpeimentet e ealizuaa numeike pëfundojmë në vijim (i) Paaqitja e inveeve të jahtme me pëfytyim dhe bëthamë të paacaktua nëpëmjet DVS-ë ëhtë më efika në atin ku maticat W kanë ang të ulët (ii) Kombinimi i dekompozimeve QR dhe DVS i inveeve të jahtme me pëfytyim dhe bëthamë të paacaktua ëhtë më efika në atin ku W (iii) Kombinimi i dekompozimeve QR dhe DVS ëhtë një pëmiëim i ëndëihëm i metodë ë dekompozimit QR nga [55] Po ahtu, në këtë punim kemi tegua e faktoizimet që bazohen në tajtën bidiagonale janë të dobihme në paaqitjen e inveeve të jahtme të maticave me ang të plotë ipa htyllave xiii

14 Kapitulli Dekompozimi në vlea ingulae dhe vleat ingulae të pëgjithëuaa Vleat ingulae të maticë dhe teoema e dekompozimit në vlea ingulae nm Jepet matica, ku n dhe m janë numa natyoë të çfaëdohëm Pëmendim që n m pëfytyimi i -ë ëhtë nënhapëië e x x Rangu i maticë ëhtë dimenioni i e pëkufizua me eoema (eoema e DVS-ë) nm Le të jetë një maticë jo zeo me angun tëheë matica mund të hpehet i podhim U V () nn mm ku U dhe V janë matica otogonale, ndëa diagonale jo katoe këioj 0 oe hkut nm ëhtë maticë D 0, D : diag,,, 0, min m, n 0 0 Elementet diagonale të, pa numat,,, janë të pëcaktua në mënyë unike dhe njihen i vlea ingulae jozeo të -ë, ku ank( ) Zbëthimi (oe faktoizimi) i maticë në tajtën U V quhet dekompozim ipa vleave ingulae i -ë Shtyllat e maticë U janë vektoë otonomalë dhe quhen vektoë të djathtë ingulaë të -ë, ndëa htyllat e maticë V quhen vektoë të majtë ingulaë të -ë Matica e tanponua e -ë, pa ka DVS-në: V U nm Pëkufizimi Dy matica, B thuhet e janë ekuivalente në qoftë e ekzitojnë nn mm maticat joingulae X dhe Y të tilla që XBY Në qoftë e maticat X dhe Y janë otogonale, atëheë maticat dhe B thuhet e janë otogonaliht ekuivalente nm eoema tegon që çdo maticë ëhtë otogonaliht ekuivalente me një maticë diagonale

15 Foma të tjea të eoemë ë DVS-ë DVS-ja ka intepetim të thjehtë gjeometik, e cili jedh nga një ifomulim i eoemë mbi DVS-në eoema 3 (eoema gjeometike e DVS-ë) nm m Le të jetë një maticë jozeo me angun tëheë ka bazën otonomale,, n v v m, ndëa ka bazën otonomale u,, u n, dhe ekzitojnë numat 0 të tillë që v i iui, i,, 0, i,, m ui ivi, i,, 0, i,, n () m Konideojmë maticën i një opeato linea i cili paqyon vektoët x në n m n vektoët x eoema 3 tegon e dhe kanë baza të tilla otogonale që m matica paqyon vektoin e i-të të bazë ë në një humëfih të vektoit të i-të të n bazë ë, pa, x i vekto i bazë dhe xi i xi (edhe vepon në mënyë të ngjahme) eoema 3 thjeht tegon që matica diagonale ëhtë matica që tanfomon -në në lidhje me bazat otonomale v,, v m dhe,, u u n (dhe ëhtë matica që tanfomon ) Vepimi i -ë ëhtë paaqitu me anë të këtij diagami: v v v v v m Një diagam i ngjahëm zbatohet edhe pë panë, do të kemi: u u u 0 Po qe e vendoen të dyja diagamet

16 v v v v v m u u u 0 u u u u u n v v v 0 (3) Me anë të DVS-ë tegohen bazat otonomale të katë nënhapëiave themeloe:, [,] Nga diagamet e mëipëme hihet qatë e:, dhe pan u, u,, u pan v,, v pan v, v,, v pan u,, um 3 n (4) Nga paaqitjet (4) hihet e vlejnë edhe këto elacione: Në vijim do të paaqitet një veion më i pëmbledhu i DVS-ë eoema 4 (Veioni i hkutua i DVS-ë) nm Le të jetë një maticë jo zeo me angun tëheë ekzitojnë maticat ˆ n U, ˆ dhe ˆ m V të tilla që Û dhe V ˆ janë otonomale (dmth htyllat e tye fomojnë bahkëi vektoëh otonomalë), ˆ ëhtë maticë diagonale me elementet e diagonale kyeoe 0, dhe ˆ ˆ ˆ U V Më në fund po paaqeim edhe një tajtë mjaft të dobihme të DVS-ë nm eoema 5 Le të jetë një maticë jozeo me angun Le të jenë,,, vleat ingulae të -ë të cilave u koepondojnë vektoët ingulaë të djathtë dhe të majtë pëkatëiht v, v,, v dhe u, u,, u tëheë u v j j j j

17 Zbatime themeloe të vleave ingulae nm Pëkufizimi Le të jetë një maticë jo zeo Noma pektale e aj ëhtë noma e induktua nga noma vektoiale Euklidiane: x max x0 x Nga ana gjeometike, noma paaqet zmadhimin makimal që mund të pëojë ndonjë vekto eoema Le të jetë m x i paojë e vepimit të -ë vleat ingulae të aj tëheë nm një maticë e çfaëdohme jozeo, dhe 0 nn ani, matica meet katoe, pa dhe joingulae Numi i kuhtëzimit i -ë jepet me anë të elacionit ( ) E hpehim numin e kuhtëzimit ( ) me anë të vleave ingulae të -ëkëhtu, duke qenë e ka angun n, atëheë 0, me ç at vepimi i -ë, pëkatëiht i ëhtë paaqitu me anë të këtij diagami: n v v v n n u u u n u u u n n v v v n Në temat e maticë do të kemi: vleave ingulae, pa,, n Duke zbatua teoemën pë maticën hpiejnë te kjo teoemë: U V V U Vleat invee të fomojnë vagun zvogëlue 0, kontatojmë e n n n Këto vojtime nn eoema 3 Le të jetë një maticë joingulae, dhe n 0 vleat ingulae të aj tëheë ( ) n 4

18 Një hpehje tjetë pë numin e kuhtëzimit ëhtë max mag( ) ( ) () min mag( ) x x ku max mag( ) max dhe min mag( ) min x0 x x0 x Kjo i jep një pamje pak më ndyhe numit të kuhtëzimit eoema tegon e max mag( ) Pandaj, duhet patjetë që min mag( ) n Relacioni () mund të pëdoet pë të zgjeua pëkufizimin e numit ( ) te nm maticat jo katoe Konketiht, në qoftë e, n m dhe ank( ) m, atëheë min mag( ) 0; me ç at elacioni () mund të meet i pëkufizim i numit të kuhtëzimit të -ë Në qoftë e matica nuk ka ang të plotë, atëheë (me upozimin n m ) min mag( ) 0, pandaj ëhtë e ayehme të pëkufizohet ( ) Me këtë maëvehje, pavaëiht nëe matica ka ang të plotë oe jo, ka vend teoema e mëpohtme nm eoema 4 Le të jetë, n m një maticë jo zeo me vleat ingulae m 0 (këtu ëhtë lejua që dia i të jenë zeo po qe e ank( ) m ) tëheë max mag( ), min mag( ) m dhe ( ) m Dy teoemat në vijim kijojnë bazën e ezultateve të tjea të ëndëihme eoema 5 Le të jetë nm, n m tëheë dhe ( ) [ ( )] Kujtojmë që paaqet maticën e koeficientëve të ekuacioneve nomale ( ) x b të cilat mund të hfytëzohen pë zgjidhjen e poblemit të katoëve më të vegjël eoema 5 tegon që ekuacionet nomale mund të jenë të keq-kuhtëzuaa madje edhe ku matica ëhtë vetëm pak e keq-kuhtëzua eoema 6 Le të jetë nm, n m m 0 tëheë: ( ) m dhe, ank( ) m, me vleat ingulae ( ) m, ( ) ( ) m, Shënim Matica peudoinve i ( ) -ë quhet peudoinve i -ë, ndëa ( ) ëhtë 3 Pëcaktimi numeik i angut të një matice Në mungeë të gabimeve të umbullakimit dhe paiguive në të dhënat, DVS-ja zbulon angun e maticë Pë fat të keq pania e gabimeve bën poblematike pëcaktimin e angut Në vija të pëgjithhme, një maticë që ka k -vlea ingulae "të mëdha", ndëa të tjeat i ka "të vogla", angun e ka k 5

19 Pë pëcaktimin e vleave ingulae të cilat janë "të vogla," duhet futu një pag toleance që ëhtë afëiht në nivelin e paiguië në të dhënat e maticë tëheë, thuhet e matica ka angun numeik k, në qoftë e k-vleat ingulae të aj janë thelbëiht më të mëdha e, dhe pë të gjitha vleat e tjea ingulae më të vogla e vlen k k Megjithatë, ëhtë thuaje e pamundu pëcaktimi i aktë numeik i angut epe nuk ekzitojnë bohllëqe te vleat ingulae eoema e mëpohtme ayeton pëdoimin e vleave ingulae pë të pëcaktua angun numeik të një matice Ekpeimentet e humta numeike kanë dëhmua e një tubullim i vogël në të dhënat e maticë (me ang jo të plotë) mund ta ië ndjehëm angun e aj Lema Le të jetë nm me angun min{ n, m Me anë të DVS-ë povohet që nm pë çdo 0 ekziton matica e angut të plotë e tillë që Numi jonegativ ëhtë një maë e ditancë në me maticave dhe nm eoema Le të jetë një maticë me ank( ) 0 Le të jetë U V DVS-ja e -ë me vleat ingulae 0 Pë k,,,, pëkufizohet U V k k, ku tëheë ank( k ) k dhe nm k ëhtë maticë diagonale diag,, k,0,,0 min B ank( B) k k k Pa, nga të gjitha maticat me ang të humtën k, matica k ëhtë më afë -ë[0] nm Rjedhimi 3 Supozohet që matica ka ang të plotë ank( ) ku min{ n, m Le të jenë vleat ingulae të -ë Le të jetë matica B nm e tillë që B tëheë B-ja ka ang të plotë Nga ky jedhim hihet e ku matica ka ang të plotë, atëheë të gjitha maticat që janë në maë të mjaftuehme afë aj kanë gjithahtu ang të plotë Le të jetë 0 ndonjë numë i cili paaqet madhëinë e gabimit të të dhënave të maticë Në qoftë e ekziton matica B e angut k e tillë që B dhe, në anën tjetë, pë çdo maticë C të angut k kemi C, atëheë ka kuptim të thuhet e angu numeik i maticë ëhtë k eoema jep gaancinë pë kuhtet e mëipëme atëheë dhe vetëm atëheë ku: k k Kjo e ayeton hfytëzimin e vleave ingulae pë të pëcaktua angun numeik 6

20 4 Dekompozimi otogonal Dekompozimi QR me pivotimin e htyllave jepet E njëvlefhme QRE QR oe në një tajtë tjetë të, ku E ëhtë maticë pëkëmbimi i tip i veçantë i maticë otogonale DVS-ja jepet U V ë dyja janë dekompozime otogonale YWZ ku Y dhe Z janë otogonale kue W -ja ka fomë të thjehtë Dekompozimi QR ëhtë më pak i kuhtuehëm pë t u njehua e a DVS-ja Megjithatë, DVS-ja në të gjitha atet tegon angun numeik të maticë, ndëa dekompozimi QR ndonjëheë mund të dëhtojnë ta bëjë këtë Pandaj ka një inteeim të konideuehëm pë të podhua (pëftua, gjetu) një dekompozim otogonal i cili do të jetë më pak i kuhtuehëm pë ta njehua dhe që ende tegon angun e maticë[7] 5 Ditanca nga një maticë më e afët ingulae Në pëmbylljen e këaj pike do të jepet një jedhim i teoemë pë maticat katoe joingulae nn Le të jetë një maticë joingulae Shënojmë me maticën ingulae e cila ëhtë më e afët me -në, në kuptimin që të jetë më e vogël e mundhme, atëheë: ( ) pë një nomë të çfaëdohme maticoe të induktua (pë nomën vlen baazimi) nn Rjedhimi Le të jetë një maticë joingulae me vleat ingulae n 0 Le të jetë matica ingulae më e afët me -në, në kuptimin që të jetë më e vogël e mundhme, atëheë n dhe ( ) 6 DVS-ja dhe poblemi i katoëve më të vegjël Le të jetë nm, ank( ) dhe n b Meet itemi i ekuacioneve lineae x b (6) m ku vektoi x ëhtë i panjohu Në qoftë e n m, atëheë itemi ëhtë i mbipëcaktua me ç at nuk mund të peim gjetjen e një zgjidhjeje të aktë Këhtu, këkohet x-i i tillë që b x të minimizohet Në qoftë e n m dhe ank( ) m, poblemi i katoëve më të vegjël ka zgjidhje të vetme Në atin ku ank( ) m, zgjidhja nuk ëhtë e vetme; ekzitojnë më humë x-e pë të cilët minimizohet b x Madje edhe 7

21 nëe n m, mund të ndodh që (6) të mo ketë një zgjidhje të aktë, këhtu edhe ky at pëfhihet këtu Pandaj, madhëitë n dhe m meen të çfaëdohme Duke qenë e zgjidhja e poblemit të katoëve më të vegjël nuk ëhtë unike, do të m hqytohet poblemi plotëue: pë të gjithë x që minimizojnë b x, të gjendet ai pë të cilin x minimizohet[8] Më pohtë do të hihet që ky poblem ka gjithmonë zgjidhje unike Meet DVS-ja e aktë U V ˆ 0 0 0, ku U nn dhe mm V, janë otogonale, dhe ˆ : diag{,,, min{ m, n me vleat ingulae 0 Duke qenë e U-ja ëhtë otogonale, kemi Duke vënë c U b dhe y b x U ( b x) U b ( V x) V x, do të kemi n b x c y c y c (6) i i i i i i Shihet qatë e kjo hpehje me vleën minimale atëheë dhe vetëm atëheë ku ci yi, i,, i Vini e e ku m, y,, ym nuk paaqiten në (6) këhtu ata nuk kanë efekt mbi mbetjen (ang eidual) dhe mund të zgjidhen të çfaëdohme Nga të gjitha zgjidhjet e fituaa në këtë mënyë, ëhtë e qatë e y minimizohet atëheë dhe vetëm atëheë ku y ym 0 Që nga x Vy dhe V-otogonale, jedh e x y Këhtu x ëhtë minimizua vetëm ku y ëhtë minimizua Kjo dëhmon e poblemi katoëve më të vegjël ka pikëiht një zgjidhje me nomë minimale Ëhtë e dobihme pëëitja e zhvillimeve të mëipëme duke pëdou maticat e ndaa Le të jetë ĉ ŷ c d dhe y z, ku cˆ, yˆ tëheë cˆ ˆ 0 cˆ ˆ yˆ c y d, 0 0 d këhtu b x c y cˆ ˆ yˆ d 8

22 Kjo minimizohet vetëm ku yˆ ˆ ˆ i c, që ëhtë, i,,, i c y i z-ja mund të meet çfaëdo, po zgjidhje me nomë minimale fitohet duke maë z 0 Noma e mbetje minimale ëhtë d Kjo zgjidh poblemin plotëiht në paim Pocedua e mëipëme mund të pëmblidhet, në fomë algoitmi, i vijon: lgoitmi KV (Njehimi i zgjidhje ë katoëve më të vegjël pë itemin linea x b ) nm n Këko: maticën dhe vektoin b ˆ c : Njeho U b c d : Njeho ˆ ˆ y cˆ 3: Nëe m, zgjidh z çfaëdo (Pë zgjidhje me nomë minimale, me z 0) yˆ m 4: Njeho y z Kthe: x V y 7 Peudoinvei i maticë Peudoinvei, ndyhe i njohu i invei i pëgjithëua i Mooe Penoe-it, ëhtë një pëgjithëim i ëndëihëm i inveit të zakonhëm[6,48] Edhe pe vetëm maticat nm katoe joningulae kanë inve në kuptimin e zakonhëm, në anën tjetë çdo ka peudoinvein e aj Sikue zgjidhja e itemeve katoe joingulae që hpehet në temat e, x b, edhe zgjidhja e itemeve të çfaëdohme dejtkëndëhe mund të hpehet në temat, x b nm Pë maticën e çfaëdohme dejtkëndëhe, më latë ëhtë pëhkua DVS-ja e aj dhe diagami i vepimit të -ë nëpëmjet vleave ingulae mn Ne dëhiojmë ta pëkufizojmë peudoinvein në mënyë që ai të jetë humë afë (aq a ëhtë e mundu) inveit të zakonhëm Pandaj, ëhtë e nevojhme që ui i vi, i,, Një zgjedhje e ayehme pë u,, un ëhtë pë t'i bëë mn ato zeo Këhtu pëkufizohet peudoinvei i -ë i i dhënë në mënyë unike me anë të diagamit: 9

23 u u u u u n v v v 0 Shihet që ank( ) ank( ), u,, un dhe v,, v m, janë, pëkatëiht, vektoët e djathtë e të majtë ingulaë të -ë ndëa,, janë vleat ingulae jo zeo Opeatoët e kufizua: : pan{ v,, v pan{ u,, u dhe : pan{ u,, u pan{ v,, v janë invea të miëfilltë të njëi-tjetit Cila do të ihte foma maticoe e? ˆ 0 n m Në qoftë e hënohet, ˆ : diag{,,, min{ m, n, atëheë 0 0 ˆ 0 mn 0 0 Ekuacionet e mëpohtme japin një pamje të pëgjithhme të ui i, i,, ui 0, i,, n Mund të hpehet vetëm i një ekuacion matico ëhtë otogonale, atëheë : U V Këhtu, duke qenë e U V U (7) Relacioni i fundit ëhtë DVS-ja e në fomën maticoe Në qoftë e me Û dhe V ˆ hënojmë në mënyë pëkatëe -htyllat e paa të U dhe V, atëheë elacioni (7) mund të hkuhet në tajtën e hkutë ˆ ˆ ˆ (7) V U Ekuacioni i fundit na jep një mjet pë njehimin e duke njehua DVS-në e -ë Në anën tjetë, lidhjen ndëmjet peudoinveit dhe poblemit të katoëve më të vegjël e jep teoema në vijim: 0

24 eoema Le të jetë tëheë, x b nm dhe n b i dhe m x b x min m b w w zgjidhja e minimum-nomë ë 8 Dia zbatime të dekompozimit në vlea ingulae të maticë në ekonomi Dekompozimi në vlea ingulae (DVS) pëveç zbatimeve të humta në metodat numeike të algjebë lineae, në fuha të tjea të hkencave teknike, ka zbatime të ëndëihme edhe në ekonomi[3] Pë hembull, konceptet e egeionit linea dhe zgjidhje ë poblemit të katoëve më të vegjël hfytëzohen hpeh Me ekonometi nënkuptojmë kolekionin e një ëë metodah tatitike dhe matematike që hfytëzojnë të dhënat pë të analizua maëdhëniet midi vaiablave ekonomikë Një qaje kyeoe në ekonometi ëhtë analiza e egeionit Pë këtë analizë ëhtë i nevojhëm pecifikimi i një modeli të egeionit që kaakteizon maëdhënien e vaiablave ekonomikë Ekonomitët janë të inteeua në maëdhëniet në me të dy oe më humë vaiablave ekonomikë eoia ekonomike në pëgjithëi ugjeon maëdhënie në foma funkionale[] (kujtojmë modelet ekonomike) Këto maëdhënie janë pëcaktuee, të tilla i Y f ( X ), oe Y f X, X,, X k Specifikim më e thjehtë dhe zakoniht më e pëdou ëhtë modeli linea Regeioni linea ëhtë mjeti empiik mbizotëue në ekonomi Pë hembull, ai ëhtë pëdou pë të paahikua hpenzimet e konumit, hpenzimet e invetimeve fike, invetimet e inventait, blejet e ekpoteve të një vendi, hpenzimet e impoteve, këkea që të mbajë aktivet likuide, këkea pë punë dhe funizimin e punë[5,9] Pë vleëimin e pauive të mëdha pëdoet egeionit linea, i dhe koncepti beta pë analizën dhe kuantifikimin e ezikut itematik të një invetimi Nga tudimet vëzhgimoe duke pëdou analizën e egeionit, që heët ëhtë vënë e lidhja e duhanpije me vdekhmëinë dhe ëmundjet e caktuaa Në mënyë që të zvogëlohen koelacionet e eme gjatë analizë ë të dhënave nga vëzhgimi, tudiueit zakoniht pëfhijnë dia vaiabla në modelet e tye të egeionit kaha vaiablë ë inteeit pima Pë hembull, konideojmë që kemi një model egeioni ku duhanpija ëhtë vaiabël e pavau me intee, dhe i vaiabël e vau ëhtë jetëgjatëia e matu në vjet Hulumtueit mund të pëfhijnë tatuin ocio-ekonomik i një vaiabël hteë të pavau, pë të iguua që çdo efekt i vëejtu i duhanpije në jetëgjatëi nuk ëhtë i ndikua nga niveli i aimimit oe nga të adhuat Megjithatë, kuë nuk ëhtë e mundu që të pëfhihen të gjitha vaiablat e mundhme në një analizë empiike Më pohtë do të tegohet e DVS-ja ëhtë një mjet humë i dobihëm në pëfaqëimin e paametave të ndyhme që hfaqen te egeioni i humëfihtë linea

25 8 Njehimi i egeionit linea duke pëdou DVS-në Ëhtë dhënë një bahkëi të dhënah xi,, xip, yi n i nga n-njëitë tatitike, një model i egeionit linea upozon e elacioni në me vaiablë ë vau y i dhe vektoit p të egeoëve,, i xi xip x ëhtë linea[45,46] Ky elacion ëhtë modelua në bazë të konceptit të tubullimit oe vaiablë ë gabimit i -e cila atëiht pa u vënë e hton tubulliën në maëdhënien lineae me vaiablë ë vau dhe egeoëve Këhtu modeli me fomën: yi xi xi pxip i xi i, i,, n, (8) ku x ëhtë podhimi i bendhëm i vektoëve i xi dhe Ekuacionet (8) hpeh gupohen bahkë dhe hkuhen në tajtën vektoiale i ku y y y, yn X y X, (8) x x x p x x x p, x x n n xnp, p n e fomula (8), me y janë hënua vaiablat e vaua, X-i paaqet vaiablat e pavaua, -paaqet koeficientët e egeionit që duhen vleëua, dhe paaqet vektoin e gabimeve oe mbetjeve i vleëua ëhtë hënua me ˆ Vleat e hehuaa (ang fitted value) te të dhënat e tëvitua janë pëcaktua i yˆ yˆ yˆ yˆn me ç at y ˆ x ˆ i i ij j j p Pandaj, pëdoim modelin y X, me maticën hyëe X me pëmaa n( p ) dhe vektoin dalë me ( p ) elemente:

26 x x x p x x x p X, x x n n xnp 0 p Një vëhtim i pëgjithhëm i modeleve të egeionit linea ëhtë paaqitu në [30] Konideoni modelin e egeionit linea (8), në të cilin y ëhtë vekto vëzhgimi (me pëmaa n ) i vaiablë ë vau, X-i ëhtë maticë (me pëmaa n p ) me ang të plotë ipa htyllave, ëhtë vekto paametë (me pëmaa p ), E( ) 0 dhe Va( ) I, ndëa dhe janë të panjohua 8 Katoët më të vegjël të zakonhëm (KVZ) KVZ ëhtë vleëue i thjehtë dhe më i zakonhëm Vleëuei KVZ i paametit të panjohu ëhtë ˆ Ëhtë e mundu njehimi i maticë X X Vëhtojmë DVS-në e maticë KVZ X X X y, (83) X X : Pë vektoët e majtë ingulaë ui kemi: X X Po ahtu, vektoët e djathtë ingulaë Dy elacionet e fundit japin: Vektoët e majtë ingulaë djathtë ingulaë i X X X UV UV V U U V V V i u u i i i duke pëdou DVS-në e X-it v plotëojnë elacionin: X X v v i i i X u v, X v u i i i i i i i u janë vektoët vetjak të maticë v janë vektoët vetjak të maticë X X dhe vektoët e X X Shtyllat e maticë U koep- ondojnë me elementet jozeo të maticë mbëthejnë pëfytyimin X Shtyllat e maticë V që koepondojnë me elementet zeo të maticë mbëthejnë bëthamën X ank ëhtë e baabatë me -në Zbëthimi DVS ëhtë vendimta pë angun: më të madhe të tillë që 0 Ekzitojnë ( m ) vektoë të majtë ingulaë të cilëve u koepondojnë vleat ingulae jozeo Ekzitojnë ( n ) vektoë të djathtë ingulaë të cilëve u koepondojnë vleat ingulae zeo Më tej, kemi: 3

27 X X X V V V U V X Pëgjigjja e hehua (ang fitted epone) pë egeionin (83) ëhtë vektoi i cili mund të njehohet duke pëdou DVS-në i vijon: yˆ X ˆ i KVZ X X X X uiui y, 4 U U V V V V U UU y ku ui janë komponentet kyeoe të nomalizuaa të X-it Sipa elementeve, do të kemi y i 0 ij KVZ j j yˆ ˆ x ˆ Në qoftë e vlea vetjake më e vogël e maticë X X ëhtë humë më e vogël e numi, atëheë kijohet një poblem eioz i keq-kuhtëzimit (oe multikolineaitetit) Këhtu, pë të dhënat e keq-kuhtëzuaa, zgjidhja e katoëve më të vegjël jep koeficientët vleat abolute e të cilëve janë humë të mëdha dhe henjat e të cilëve mund në të vëtetë të bëhen të kundëta me ndyhimet e papëfillhme në të dhënat Pë të zvogëlua efektet e multikolineaitetit, pëkufizohen dia vleëue të hmangu (ang biaed) në modelin (8) Ku kuhtet janë të ndëlidhua dhe htyllat e maticë ë pojektimit X janë afëiht lineaiht të vaua, matica X X bëhet e afët me ingulaen Si ezultat, vleëuei i katoëve më të vegjël (83) bëhet humë i ndjehëm ndaj gabimeve të atit në pëgjigjen e vojtua y, duke podhua një vaiancë të madhe Shembulli ë dhënat janë të futu i te oe më humë vaiablanjë vaiabël pëfaqëon vaiablën e vau Vaiablat e tjea pëfaqëojnë vaiablat e pavaua Një hembull i të dhënave të pëhtathme pë këtë poceduë ëhtë tegua më pohtë në tabelë: x x x 3 y y

28 Matica hyëe X dhe vektoi y janë të baabatë me: X y Vleëuei KVZ i paametit ëhtë i baabatë me 0306 ˆ KVZ Pëgjigjja e hehua ëhtë pëcaktua nga yˆ X ˆ KVZ Vleëuei nëpë bazda (ang Ridge Etimato) Vleëuei nëpë bazda[7,9], duke pëdou DVS-në ( k 0 ), ëhtë pëcaktua me ˆ k X X ki X y, ku k ëhtë një paametë eal, i quajtu paametë bazdë, ndëa I ëhtë maticë njëi Vleat e vogla pozitive të k-ë pëmiëojnë kuhtëzimin e maticë X X dhe thjehtojnë vaiancën e vleëimeve Deia hmanget, vaianca e thjehtua e vleëimeve bazdë hpeh ezulton me gabimin e meëm kato më të vogël në kahaim me vleëimet e katoëve më të vegjël Zgjidhja e bazua në vleëuein bazdë ekziton madje edhe ku 5

29 matica X X ëhtë ingulae, dmth, ku ka vlea vetjake zeo Ku matica X X ëhtë e keq-kuhtëzua (gati ingulae), zgjidhja e egeionit bazdë ëhtë më e qënduehme (më e fuqihme) Një kufizim i egeionit bazdë lind nga fakti e zgjedhja e kontante ë hmangu (ang biaing contant) k ëhtë e penalizuehme Ndëa metodat fomale janë zhvillua pë të bëë këtë zgjedhje, këto metoda kanë kufizimet e tye Pëgjigjja e hehua pë egeionin bazdë mund të njehohet duke pëdou SVD i më pohtë: yˆ X ˆ U ki U i k X X X ki X m ui ui y, k i i ku ui janë komponentët kyeoe të nomalizuaa të X-it Katoët më të vegjël të pëgjithëua (KVP) janë një zgjeim i metodë ë KVZ, që lejon vleëim efika të ku oe heteoedaticiteti, oe koelimi, oe të dyja bahkë hfaqen në kufizat e gabimit të modelit, pë aq kohë a tajta e heteoedaticitetit dhe koelimi njihen pavaëiht nga të dhënat Pë të tajtua heteoedaticitetin ku kufizat e gabimit janë të pakoeluaa me njëatjetën, KVP minimizon një analog me pehë të humë ë katoëve të mbetjeve nga egei KVZ, ku peha pë atin e i-të ëhtë në pëpjeëtim të zhdejtë me va( i ) y y Ky at i veçantë i KVP quhet "Katoët më të vegjël me pehë" Zgjidhja KVP pë poblemin e vleëimit ëhtë: ˆ KVP X X X y, ku ëhtë maticë kovaiante e gabimeve KVP mund të vëhtohen i zbatim i tanfomimit linea në të dhënat në mënyë që upozimet e KVZ janë plotëua pë të dhënat e tanfomuaa Pë t u zbatua KVP-ja, tuktua kovaiante e gabimeve duhet të jetë e njohu gje te humëzimi me një kontante 9 Dekompozimi në vlea ingulae i pëgjithëua Poblemi i vleave vetjake të pëgjithëuaa x B Bx, katoët më të vegjël të pëgjithëua, analiza dikiminante te poblemi i optimizmit i dhe një ei poblemeh të fuhë ë njehimeve maticoe imponojnë zgjeimin e pëkufizimit të vleave ingulae[5,] Do të jepen dy pëgjithëime të dekompozimit në vlea ingulae[6,33] Këto pëgjithëime ofojnë një mënyë të unifikua në lidhje me poblemet e caktuaa maticoe dhe teknikat numeike të cilat pëdoen pë zgjidhjen e tye [3,4] 6

30 eoema [4] Pë maticën e dhënë eale dhe Vm m të tilla që n m, ekzitojnë maticat otogonale U n n U V diag,,, q, q min n, m, q 0 dhe ank janë vleat ingulae të maticë, me ç at pëkufizohet bahkëia ku Numat i me,,, q Nga vetitë e humta që kanë vleat ingulae, me intee të veçantë janë vetitë në vijim det I m 0, (9) ëhtë vleë tacionae e x x (9) Një pëgjithëim i natyhëm i konceptit të vleë ingulae buon nga ecila pej këtye jedhimeve: Gjej ato 0 det B B 0 (93) pë të cilat Gjej vleat tacionae të x x S (94) Këtu, maticat dhe B kanë numë të njëjtë htyllah, ndëa nomat të pëkufizuaa këioj: /,, P dhe S m m x x Px x P m pozitiviht e pëcaktua janë Qëllimi kyeo i këaj pike ëhtë të hqytohen këkeat (93), (94) dhe pëgjithëimi i dekompozimit në vlea ingulae që ugjeojnë çdonjëa pej tye Ky ynim ofon një qaje të e që lidhet me pobleme të caktuaa maticoe dhe teknikat e pëdouaa numeike pë zgjidhjen e tye 9 Dy pëgjithëime të dekompozimit në vlea ingulae Do të podhohen dy dekompozime maticoe të cilat janë të ëndëihme pë poblemet (93) dhe (94) Fillimiht le të pëkufizohet koncepti i B-vleave ingulae [] Pëkufizimi B-vleat ingulae të maticë janë elementet e bahkëië, B cila pëkufizohet me B B B, 0, det 0, e na m nb m ku, B dhe na m (Siç do të hohim më pohtë, upozimi na m nuk ka ndikim etiktiv nga këndvëhtimi i zbatimeve) Dekompozimi i mëpohtëm ëhtë pëgjithëim i DVS, nga i cili lehtë mund të pëftohen B-vleat ingulae 7

31 a eoema 3 (Dekompozimi në B-vleat ingulae (BDVS)) Meet n m nbm B dhe na m Ekzitojnë maticat otogonale U (me pëmaa na na ) dhe V (me pëmaa n n ) i dhe matica joingulae X (me pëmaa m m ) të tilla që b b U X V B X D D ku q min n, m, ank B b e j 0 pë çdo j, j n, B i i,,, i diag,,,, 0, m i diag,,,, 0, B q i (95) dhe q 0 Në qoftë, atëheë, B 0 Pëndyhe, Vëtetimi Le të jetë dhënë DVS-ja e me anë të B Q Z diag,,, m, (96) B ku k k m 0, k ank Me pëcaktimin e B kk D diag,,, k dhe me copëtimin e maticë otogonale Z Z [ Z Z ], ne gjejmë që B B I k, ku B k mk n bk BZD Në qoftë e ank dhe p b n a k ZD dhe mm i V B Z diag,,,, p min n, k, (97) hënojmë DVS-në e B me p 0, atëheë ku 0 diag,,, q D Z 0 V BZ DB 0 Imk dhe min, p q q nb m, (98) Në anën tjetë, vëehet e htyllat e maticë Z janë ecipokiht otogonale epe Z Z Z Ik B B Z diag,,, k nbnb Që këtej, ekziton matica otogonale U e tillë që Z U k na k diag,,, (99) Mund të upozohet që vleat i nga (5) janë jonegative Duke ma i 0 pë i k,, m hihet e 8

32 diag,,, D Z 0 U Z D 0 Imk Këhtu, (95) ëhtë kijua duke vënë D Z 0 0 Imk X Pë të tegua e teoema në mënyë koekte aktëon, B det m B B det X i i i Shënimi (i) Në qoftë e na i i m dhe nb ekzitojë duke paë hembullin 0, B 0 katatofike, epe na m (90) në (98) dhe (90), vihet e e m, atëheë diagonalizimi (95) nuk mund të Pë fat të mië, kjo nuk ëhtë m në të gjitha hembujt që do të dikutohen Shënimi (ii) Maticat e tanfomimit U, V dhe X nuk janë të vetme Në veçanti, ne bëjmë mm zëvendëimin e X-it me XD në (95) kudo që D diag,,, m me 0 Në qoftë e maticat dhe B B komutojnë, atëheë ëhtë e mundhme zgjedhja e një matice otogonale X Në këtë mënyë, në qoftë e B I, atëheë nga (95), XD V ëhtë otogonale dhe faktoizimi U XD B B m D D paaqet DVS-në e -ë Shënimi (iii), B 0 B 0 Në këtë at nënhapëia e kijua nga k-htyllat e paa të maticë X ëhtë otogonale me nënhapëiën e kijua nga m k htyllat e fundit të X-it ( k ank ) B Kjo nënhapëia e fundit ëhtë e baabatë me B B Shënimi (iv) Në qoftë e me x i hënohet htylla e i-të e maticë X, atëheë nga (95) do të kemi x ( i,, m) dhe Bx ( i,, q) Në qoftë e htyllat e X- i i i it janë të janë të kalaizuaa në mënyë që të kenë nomën, atëheë nga kjo del që ecili ëhtë i kufizua nga pohtë (nga latë) me vleën ingulae më të vogël (më të madhe) i të -ë Në mënyë të njëjtë, ecili i ëhtë i kufizua nga pohtë (nga latë) me vleën ingulae më të vogël (më të madhe) të B-ë Poblemi i gjetje ë ënjëve të B B poblemeve det I m 0 i det 0 kuptohet që paaqet një intezë të dhe B det 0 Vëtetë, poblemi i B-vleë ingulae tahëgon vëhtiëitë që lidhen me ecilin nga këto pobleme më themeloe: (a) Ku B-ja ëhtë afë të qenët maticë me ang jo të plotë, ëhtë i vëhtië njehimi i, B (që do të thotë ato B-vlea ingulae të cilat elementeve të qënduehme të i B 9

33 nuk janë të pekua humë nga ndyhimet e vogla në maticën B) Një ituatë paalele kemi edhe te poblemi B (b) Fomimi i podhimeve dhe B B mund të çojë në një humbje jo të paëndë- ihme të aktëië Kjo hpjegon e pe nuk punohet me në poblemin e vleave ingulae Një algoitëm i cili i kapëcen këto vëhtiëi ëhtë algoitmi VZ [3] Ky algoitëm mund, B pa i fomua maticat dhe B B, dhe të gjejë elementet e qënduehme të ukei i tij ëhtë i papeku nga degjeneimet e angut në B Në anën negative, algoitmi VZ nuk me paayh imetinë dhe maticat e tanfomimit U dhe V në (95) janë keq-pëcaktua nga pocei Një mënyë altenative pë njehimin e BDVS ëhtë ugjeua gjatë vëtetimit të eoemë 3 Pëkaj vepimeve themeloe maticoe, teknika që u thekua illet pëeth DVS-ë (96) dhe (97) i dhe otogonalizimit (99) Megjithatë, në dia ituata, jo të gjitha faktoizimet janë të nevojhme ani do të fomulojmë dekompozimin në vlea ingulae të pëgjithëua duke u lidhu me (94) Ëhtë një kombinim i thjehtë i DVS-ë tandade dhe pëkufizimeve vijuee Pëkufizimi 4 Le të jetë P ëhtë P otogonale në qoftë e mm një maticë pozitiviht e pëcaktua Matica Q PQ I m Q Pëkufizimi 5 Le të jenë S dhe dy matica pozitiviht të pëcaktuaa të endit pëkatëiht n dhe m, ku n m S,-vleat ingulae të janë elementet e nm bahkëië S, e cila pëkufizohet me: x S S, 0, ëhtë vlea tacionae e x nm nm eoema 6 (S,-dekompozimi në vlea ingulae i ) Le të jenë, nn mm S dhe ku n m, me ç at maticat S dhe janë pozitiviht të pëcakt- nn mm uaa Ekziton matica S otogonale U dhe matica otogonale V të tilla që U V D diag,,, m Veç këaj,,,, S, m Ekzitojnë dia lidhje ndëmjet të dy dekompozimeve në vlea ingulae të pëgjithëuaa të paaqitua dei tani mm 9 Poblemet tek të cilët janë zbatua teknikat e vleave ingulae të pëgjithëuaa (a) Katoët më të vegjël që huhen Ka ate ku duhet minimizua foma kuadatike 0