Ekonometrija 6. Ekonometrija, Osnovne studije. Predavač: Aleksandra Nojković

Transcription

1 Ekonometrja 6 Ekonometrja, Osnovne studje Predavač: Aleksandra Nojkovć

2 Struktura predavanja Klasčn všestruk lnearn regreson model-posebne teme: Multkolnearnost - pojam posledce - metod otkrvanja otklanjanja - metod glavnh komponenata Veštačke promenljve Testranje stablnost parametara

3 Pretpostavke KLRM (všestrukog). E(ε )=0, za svako.. Var (ε )=E(ε )=σ, za svako. 3. Cov(ε,ε j )=E(ε ε j )=0, za svako,j, tako da j. 4. E(ε X )=0, za svako. 5. ε ~ N(0, σ ). 6. Ne postoj tačna lnearna zavsnost zmedu objašnjavajućh promenljvh ( tj. jedna objašnjavajuća promenljva nje lnearna funkcja druge).

4 Multkolnearnost Jedna od pretpostavk KLRM: odsustvo lnearne zavsnost zmeđu objašnjavajućh promenljvh. U slučaju perfektne lnearne zavsnost nje moguće dobt ocene parametara metodom ONK. Ako posmatramo populaconu regresonu jednačnu: E(Y)=β 0 +β X +β X, koja se ocenjuje na baz uzorka u kome važ: X =l 0 + l X za svako. Ocene parametara β 0, β β nsu jednoznačne (dobja se sstem od dve jednačne sa tr nepoznata parametra, pokazat...).

5 Dvostruk KLRM U modelu sa dve objašnjavajuće promenljve: Y =β 0 +β X +β X + ε, osnovn pokazatelj korelsanost zmeđu objašnjavajućh promenljvh je koefcjent korelacje: Efekat dve ekstremne vrednost za r (0 l ) se jasno uočava z zraza za ocenu b :. n n r. n n y y n n n n n n n y r r r r y y b

6 Dvostruk KLRM: vsoka multkolnearnost Ako je r blzu vrednost, smatra se da je multkolnearnost vsoka. Ocene ONK se mogu dobt, al se dovod u ptanje njhova precznost: s b r Posledce: povećanje standardnh grešk ocena, prošrenje ntervala poverenja (nepreczne ocene), smanjuju se t-odonos (neopravdano prhvatanje H 0 ). s n.

7 Multkolnearnost: dve ekstremna slučaja Perfektna multkolnearnost u všestrukom KLRM Y = XB + e, znač da je rang matrce X ( dm. n k) manj od k, odnosno matrca (X X) postaje sngularna, tako da nje moguće odredt njenu nverznu matrcu, a tme n vektor ocena B (B=(X X) - X Y). U suprotnom slučaju, kada su sve objašnjavajuće promenljve u regresonoj jednačn međusobno ortognalne (lnearno nezavsne), ocene regresonh parametara u všestrukom modelu se svode na ocene z jednostavnh regresja Y na svak regresor posebno.

8 Vsoka multkolnearnost U praks se gotovo nkad ne sreću dva pomenuta ekstrema, odnosno zvestan stepen korelsanost zmeđu objašnjavajućh promenljvh uvek postoj. Problem nastaje onda kada je korelsanost značajno zražena (nedostatak nezavsnh varjacja promenljvh na desnoj stran jednačne). Postoj vše razloga za pojavu multkolnearnost: - U ekonomskm podacma, posebno podacma VS, može se očekvat vsoka međuzavsnost promenljvh, buduć da pokazuju tendencju da svojom dnamkom prate opšte stanje prvrede. - Koršćenje promenljvh sa docnjom paralelno sa tekućm vrednostma u stom modelu. - U modelu su prsutn regresor koj mere razlčte, al međusobno zavsne aspekte ekonomskh performans.

9 Neke od čnjenca vezane za prsustvo multkolnearnost Ocene ONK ostaju NLNO, al značajnost ocenjenh parametara značajno opada. Nema jasnh krterjuma koj nvo lnearne zavsnost je štetan za precznost ocena regresonh korfcjenata. Ptanje stepena, a ne postojanja (ne prav se razlka zmeđu prsustva odsustva multkolnearnost). Ist nvo multkolnearnost može mat razlčte efekte na rezultate ocenjvanja, u zavsnost od opšte valjanost modela. Odnos se na stanje objašnjavajućh promenljvh, koje se u opštem slučaju smatraju nestohastčkm; karakterstka je uzorka, a ne populacje (mer se u svakom posebnom uzorku).

10 Problem multkolnearnost? Nje ptanje ma l nema multkolnearnost. Greene: Vše ptanje stepena, tj. crvenla Podac u uzorku su uvek manje l vše ln. zavsn, pa je ptanje njans.

11 Posledce vsoke multkolnearnost Ocene regresonh parametara mogu bt nepreczne, u smslu većh standardnh grešk šrh ntervala poverenja. Nže vrednost t-statstka (pogrešan zaključak o potreb zostavljanja pojednh promenljvh z modela). Vsoka vrednost F-statstke je praćena nskm vrednostma t-statstka (utcaj regresora se ne može preczno razdvojt). Ocene vrlo nestablne, osetljve na promenu uzorka, moguće je dobt pogrešan znak regresonog koefcjenta (šrok nter. poverenja). Ocene su vrlo osetljve na sključvanje pojednh promenljvh (zbog vsokh kovarjans ocena).

12 Utvrđvanje postojanja multkolnearnost Nje posledca svojstava osnovnog skupa, tako da ne postoje formaln testov za njeno utvrđvanje (statstčk testov se zasnvaju na hpotezama o određenm vrednostma parametara osnovnog skupa). ) Vrednost koefcjenta korelacje a) U dvostrukoj regresj: - veće vrednost koefcjenta korelacje r (0,7 l 0,8) - korsno je poređenje r R (zražena je multkolnearnost za r veće od R, odnosno r veće od r y r y. b) U všestrukoj regresj (r nje pouzdan pokazatelj): - statstčka značajnost pomoćnh regresja jedne objašnjavajuće promenljve na ostale u modelu (Klenovo pravlo, kor.r kor.r j ).

13 Utvrđvanje postojanja multkolnearnost (nastavak) ) Faktor rasta varjanse (FRV; eng. Varance-Inflaton Factor, VIF). a) Za dvostruk lnearn regreson model (pokazat: prrast varjanse zbog pojave (-r ) u brojocu za varjansu ocene dvostruke u poređenju sa jednostavnom regresj): FRV b) Za všestruk regreson model (slčno, prsrast se javlja zbog pojave (-R j ) u brojocu zraza za varjansu ocene všestruke u poređenju sa jednostavnom regresom): FRV, gde je R j koefcjent determnacje u modelu u kome je objašnjavajuća promenljva X j regresrana na ostale objašnjavajuće promenljve. r R j.

14 R j odgovarajuće vrednost FRVj FRVj

15 Tumačenje zračunath vrednost za FRV Za r= (odnosno R j =) vrednost nje moguće odredt. FRV je jednak za objašnjavajuće promenljve koje su ortogonalne (za r=0, odnosno R j =0). Vrednost FRV je veća za zraženju multkolnearnost (vsoka za vrednost preko 0).

16 Šta radt? U otklanjanju vsoke mulkolnearnost treba vodt računa o clju stražvanja. - nšta ne preduzmat ako su t-odnos već od. - ako je clj stražvanja prevđanje:važnje je mnmzrat s, od precznog ocenjvanja parametara. Moguća rešenja: Povećanje obma uzorka (raste vrednost ). Koršćenje spoljnh ocena (opravdanh eksternh ogrančenja). Transformacja polaznh promenljvh. Izostavljanje z modela one promenljve za koju se sumnja da je glavn uzrok vsoke korelacje. Metod glavnh komponenata.

17 Metod glavnh komponenata (engl. Prncpal Component Analyss, PCA) Predstavlja poseban slučaj faktorske analze. Omogućava otkrvanje stovremeno otklanjanje nepoželjnh posledca multkolnearnost. Konstrušu se nove promenljve, kao lnearna kombnacja postojećh nezavsnh promenljvh. Nove promenljve (glavne komponente) se konstrušu tako da apsorbuju najveću moguću proporcju ukupnh varjacja nezavsnh promenljvh, a da su pr tome međusobno nezavsne (ortogonalne).

18 Metod glavnh komponenata (nastavak) Prva glavna komponenta apsorbuje maksmum proporcje ukupne varjacje u skupu nezavsnh promenljvvh. Druga glavna komponenta apsorbuje maksmum od preostalh varjacja promenljvh nekorelsanh sa prvom komponentom, tako dalje. Maksmalan broj glavnh komponenata jednak je broju nezavsnh promenljvh koje nsu međusobno potpuno lnearno zavsne (otkrva se perfektna multkolnearnost).

19 Postupak zračunavanja glavnh komponenata Iz matrce podataka k (centrranh) objašnjavajućh promenljvh sa n opservacja: k k X, n n kn gde svak red predstavlja vrednost svh objašnjavajućh prom. koje odgovaraju jednoj opservacj, a svaka kolona predstavlja sve vrednost jedne objašnjavajuće promenljve u uzorku. Potrebno je utvrdt kolk je broj nezavsnh promenljvh od ukupno k.

20 Postupak zračunavanja (nastavak) Ako je prva glavna komponenta predstavljena kao: l = a + a +...+a k k, odnosno u matrčnoj notacj: l = Xa, gde je l vektor od n elemenata, a a vektor od k elemenata. Suma kvadrata za l je: l l = a X Xa. Treba zabrat a tako da se maksmzra suma varjacja regresora X (l l ), uz uslov normalzacje (da ne bsmo dobl beskonačnu vrednost): a a =.

21 Izračunavanje prve glavne komponente Iz pomoćne funkcja Lagranžovh multplkatora: L = a X Xa -λ (a a -), uslov maksmuma se dobja zjednačavajuć prv zvod sa nulom: L X' Xa odakle prostče uslov: (X X)a =λ a. a Dakle, a je karakterstčan vektor matrce X X, koj odgovara korenu λ. Na taj načn se dobja: l l = a X Xa = λ a a = λ, pa se λ bra kao najveć karkterstčn koren matrce X X prva glavna komponenta je upravo l. Ukolko nema prefektne multkolnearnost, matrca (X X) će mat sve karakterstčne korenove poztvne, a njhova suma je jednaka k. a 0,

22 Izračunavanje druge glavne komponente Kod defnsanja druge glavne komponente: l = Xa, potrebno je zabrat pondere a tako se maksmzra suma varjacja a X Xa, uz uslov normalzacje (a a =), al dodatn uslov ortogonalnost na prvu glavnu komponentu (a a =0). Iz Lagranžove funkcje: L = a X Xa -λ (a a -)-μ (a a ), prv zvod zjednačen sa nulom postaje: L a X' Xa a a 0. λ bramo kao drug po velčn karkterstčn koren matrce X X, a element odgovarajućeg karak. vektora su ponder uz nezavsne prom. pr formranju druge glavne komponente. Na slčan načn zračunavamo pondere uz objašnjavajuće prom. treće glavne komponente, td.

23 Postupak zračunavanja (nastavak) Ako matrca X X ma k karakterstčnh korenova većh od nule, moguće je karakterstčne vektore zrazt kao ortogonalnu matrcu: A=[a a...ak], a k glavnh komponenata matrce X kao matrcu (n k): L=XA. Glavne komponente su međusobno ortogonalne, a njhove varjanse date su karakterstčnm korenovma: L' L A' X' XA 0 0 Kolko je procenata varjacja svh regresora obuhvatla svaka glavna komponenta, mer se kao: λ j /Σλ j k

24 Broj zdvojenh glavnh komponenata Ako je rang matrce X X manj od njenog reda, r < k (u slučaju perfektne multkolnearnost (k-r) od ukupno k karakterstčnh korenova je jednako nul), pa se ukupne nezavsne varjacje regresora mogu zrazt preko samo r nezavsnh komponenata. Maksmalan broj glavnh komponenata jednak je broju nezavsnh varjabl koje nsu međusobno perfektno lnearno zavsne. Ako se u analz zadrž svh k glavnh komponenata (kolko je nezavsnh promenljvh), rezultat ocenjvanja je dentčan ocenama po metod NK.

25 Zadržavanje glavnh komponenata u analz Kad postoj k karakterstčnh korenova većh od nule (nema perfektne multkolnearnost), znatno manj broj glavnh komponenata se zadrž u analz. Krterjum za odluku o zadržavanju glavnh komponent: ) Procenat varjacja nezavsnh promenljvh koje glavne komponente obuhvataju (u parks se npr. odred najmanje 95% varjacja). ) Vrednost karakterstčnh korenova (npr. prem Kajzerovom pravlu, samo korenov već od ). 3) Vsna koefcjenata a j (npr. sugerše se zadržavanje samo koefcjenata koj su u aposlutnoj vrednost već od 0.3 za uzorke veće od 50 opservacja). Postoje razn testov značajnost karakterstčnh korenova l koefcjenata u glavnoj komponent.

26 Osnovn prgovor metoda glavnh komponenata Prva glavna komponenta ne mora da bude najvše korelsana sa Y. Nove promenljve (lnearna kombnacja razlčth velčna) su veštačke bez teorjskog značenja. Ne korste se sve nformacje sadržane u uzorku (po pravlu se zadržava manje objašnjavajućh promenljvh nego u orgnalnom modelu.

27 Prmer: prmena MGK (PCA)

28 Promenjve kojma se mere ncjaln uslov IC GNPpc at PPP US$ 989 IC Urbanzaton (% of populaton) 990 IC3 IC4 IC5 IC6 Dstrbuton of 990 GDP cur prces ndustry Dstrbuton of 990 GDP cur prces agrculture Dstrbuton of 990 GDP cur prces servces Predcted share of ndustry IC7 Average % growth IC8 IC9 Natural resources Locaton IC0 Repressed nflaton IC Black market premum 990 (%) IC Trade dependence 990 (% ) IC3 IC4 Years under central plannng State IC5 Eports to GDP 990

29 Problem pr prmen metode glavnh komponenata ) Redosled zbora glavnh komponenata ne odgovara uvek redosledu njhove važnost u pogledu determnsanja zavsne promenljve. ) Novodobjene veštačke promenljve (glavne komponente) su bez nekog teorjskog smsla. 3) Metod ne korst sve nformacje z uzorka, nego se občno svod na manje nezavsno promenljvh velčna nego što h je blo u orgnalnoj funkcj.