Korelacija in regresija

Transcription

1 Korelacja n regresja REGRESIJA ops odnosov, napovedovanje KORELACIJA ops velkost povezanost stres osamlj stres osamljenost

2 Vrste povezanost 80 Scatterplot (r = 0.90) Vrste povezanost 00 Scatterplot (r = 0.48) HOBB_ HOME_3 Vrste povezanost 40 Scatterplot (r = 0.4) HOME_ WORK_

3 Vrste povezanost 80 Scatterplot (r = -0.) 40 HOBB_ A Vrste povezanost 40 Scatterplot (krvuljcn) WORK_ EWVAR Pogojne artmetčne sredne 00 Scatterplot (r = 0.48) HOBB_ M = najboljša napoved, če ne poznamo vrednost HOME_3 Če poznamo vrednost, je boljša napoved (tj. ') artmetčna sredna dosežkov vseh posameznkov, k so dosegl tak rezultat. 3

4 Pogojne artmetčne sredne 00 regresjska premca 80 HOBB_ e = + e HOME_3 apaka napoved (rezdual): e = - ačelo najmanjšh kvadratov napovedujemo na osnov pogojnh sredn lnearna regresja: ležjo na premc so razpršene okrog vsota kvadratov odklonov je mnmalna standardna napaka napoved = razprštev dejanskh okol napovedanh vrednost Za napovedovanje potrebujemo le enačbo premce: = a + b a: vrednost, ko je = 0 b: povečanje, ko naraste za enoto b = stres a regresjska premca osamljenost 4

5 b b = = ( )( ) ( ) xy cov σ = = r x σ σ a = b b a ( )( ) ( ) = = b Merske lestvce: mora bt ntervalna (kontnurana, merjena) spremenljvka lahko načeloma na kakršnkol ravn Predpostavke v regresjsk analz. naključno vzorčenje,. lnearnost odnosa, 3. homoscedastčnost, 4. normalnost porazdeltve rezdualov analza rezdualov 5

6 . aključno vzorčenje oz. neodvsnost podatkov apake napoved nso korelrane (problematčno pr časovnh serjah). Mera t.. seralne korelacje: Durbn-Watson (vrednost od 0 do 4; = n avtokorelacje, 0 = poztvna avtokorelacja, 4 = negatvna avtokorelacja); statstko prmerjamo z mejam ntervala zaupanja: atstc) Krštev vplva na nferenčne teste. aršemo odnos med rezdual n napovedanm vrednostm. Pregledamo, če obstajajo kakšn vzorc. aredmo lahko graf ACF. Autocorrelaton Plot Rezdual.0 Correlaton Lag. Lnearnost odnosa med n Povezanost lahko najbolje opšemo s premco. Ugotavljanje: R, F-test, rezdualn graf. Krštev vplva tud na nterpretacjo korelacjskh n regresjskh koefcentov. 6

7 aršemo odnos med rezdual n. Iščemo morebtne vzorce. Rezdual Prmer rezdualnega grafa pr nelnearn povezanost Rezdual apovedane vrednost 3. Homoscedastčnost Standardna napaka napoved je enaka na celotnem razponu. Heteroscedastčnost je lahko posledca napačnega združevanja skupn. Ugotavljanje: rezdualn graf. Krštev vplva tud na nterpretacjo korelacjskh n regresjskh koefcentov. 7

8 aršemo odnos med rezdual n. Iščemo morebtne vzorce. združmo v nekaj razredov n z Leovm testom prevermo enakost varanc. Rezdual Rezdual Skupna Skupna Skupna 3 Prmer rezdualnega grafa pr heteroscedastčnost Rezdual apovedane vrednost 4. ormalnost porazdeltve rezdualov Preverjanje: hstogram rezdualov. Krštev vplva na nferenčne teste n na pravlnost ntervalov zaupanja za. 8

9 aršemo odnos med rezdual n. Iščemo morebtne vzorce. aredmo grafe normalnost rezdualov. Uporabmo K-S (Lllefors) test. Rezdual p (normalna) Rezdual ormalnost enormalnost Prmer rezdualnega grafa pr normaln porazdeljenost rezdualov ormal Probablty Plot of Resduals 3 Expected ormal Value Resduals Robustnost regresje pr kršenju predpostavk Predpostavka Robustnost Opomba ormalnost Vsoka Le če je dovolj velk (>0) eodvsnost zka Odvsno od všne povezanost Homoscedastčnost zka Posebej pr majhnh vzorch Lnearnost zka Preprčaj se! napake merjenja Vsoka apako < 0% lahko tolerramo, scer moramo uporabt drugačen model napovedovanja 9

10 Kaj lahko naredmo, če so predpostavke kršene? Lahko poskusmo transformrat podatke, toda: pr nekaterh podatkh ne bo uspešna nobena transformacja; včash dobro transformacjo težko najdemo. Uporabmo nelnearno regresjo. Transformacje v regresj Weght (kg) Weght (kg; log scale) Weght versus length n the beetle Scorpaenchthys marmoratus Length (mm) Length (mm; log scale) Testranje hpotez I: Razstavljanje totalne vsote kvadratov = + Totalna SS Modelna (pojasnjena) SS epojasnjena SS (napaka) ( ) = (ɵ ) = ( ɵ ) = 0

11 Testranje hpotez I: Razstavljanje totalne vsote kvadratov MS regresja = s MS napaka = 0 če so vse dejanske vrednost enake napovedanm. Izračunamo F = MS R /MS e n ga prmerjamo s F porazdeltvjo z n - df. H 0 : F = 0 MS MS R e (ɵ ) = = ( ɵ ) = = Standardna napaka nagba Standardna napaka nagba s b n 00(- α) CI nagba: s b = MS e, b ± t s α ( ), b = ( ) Za določen s b upada z večanjem razpona vrednost. s b večja s b manjša Standardna napaka presečšča Standardna napaka presečšča s α : L M sα = MSe + ( ) Za določen s α upada z večanjem razpona vrednost. O Q P α α s α večja s α manjša

12 Testranje hpotez II: Testranje parametrov modela Hpoteze testramo s t-testom: t t b α b =, s α = s Opomba: Testranje je lahko dvosmerno al enosmerno. b α α = 0 H 0 : α = 0 H 0 : b = 0 Dejanske apovedane Interval zaupanja v regresj apovedn nterval - model : IZ : ˆ ± z psey. x 00 regresjska premca HOBB_ 0 00 M tot HOME_3 Interval zaupanja v regresj 95 % napovedn nterval za (včash tud nterval zaupanja za dejanske (angl. observed) vrednost) = nterval okrog napovedane vrednost, v katerem se nahaja srednjh 95 % dejanskh vrednost pr posameznkh, k majo določeno vrednost apovedane vrednost 95 % nterval zaupanja za napovedane vrednost = nterval, v katerem se b pr 95 % vzorcev nahajala napovedana vrednost pr nekem apovedn nterval je večj kot nterval zaupanja za napovedane vrednost. Šrna ntervala zaupanja za dejanske n za napovedane vrednost narašča z naraščanjem razdalje med M n. Dejanske vrednost

13 00 (-α) CI za napovedane vrednost 00 (-α) napovedn nterval Interval zaupanja v regresj L M M ɵ ( ) ± tα ( ), MSe + M ( ) L M M = ɵ ( ) ± tα( ), MSe + + M ( ) = O QP O QP z / Koefcent učnkovtost napoved: zmanjšanje σ e na račun povezanost E = r r r E% Razstavljanje varance kot podlaga r regresjska premca e HOBB_ 0 00 M tot HOME_3 - M tot = ( - M tot ) + ( - ) var() = var( ) + var(e) 3

14 Skupna varanca = pojasnjena + nepojasnjena varanca σ = σ + σ ' e Koefcent determnacje r : delež pojasnjene varance σ ' r = = σ σ σ e standardna devacja rezdualov = standardna napaka napoved σ e r Pearsonov koefcent korelacje produkt-moment prstop k r Al je vsok dosežek na en povezan z vsokm dosežkom na drug spremenljvk? Al je odklon dosežka od sredne pr prv spremenljvk povezan z odklonom pr drug spremenljvk? r ndeks tendence po skupnem varranju obeh spremenljvk z z z z r = = r = ( M )( M ) SD SD -M() -M() (-M())(-M()) M ,6 SD,36643,44949,36643,44949 kovaranca 5* 0* -M() -M() (-M())(-M()) M SD,836 4,4949,836 4,4949 kovaranca Vedno enako vrednost b dala enačba cov σ σ kovaranca = 3.6 * 5 * 0 = enačba za r 4

15 Statstčna pomembnost r : t-test r t = r odvsna od r n! Dve pogost zablod: statstčna pomembnost = praktčna pomembnost statstčno nepomemben r = korelacje n Vzorčna porazdeltev r n smetrčna Fsherjeva transformacja testranje razlke med dvema r, nterval zaupanja za r Vplvne točke (angl. outlers) točke, k so močno oddaljene od regresjske premce Problem : Al so to res zstopajoče (posebne, drugačne) vrednost? Problem : Al pomembno vplvajo na statstčne zaključke? Outler? Outler? 5

16 Analza vplvnh točk I: Studentzran rezdual 4 aršemo odnos med Studentzed resduals n 3 napovedanm vrednostm. Velk rezdual so tst, k majo studentzrano 0 vrednost > Tak prmer močno prspevajo k nepojasnjen -3 varanc (varanc napake) LAGE STUDET Analza vplvnh točk II: Ročca (angl. Leverage) Ročca mer potencaln vplv točke na regresjsko premco. Določena je le na osnov vrednost točke, k so bolj oddaljene od sredne, majo večjo ročco. Velka ročca = večja od 4/. Majhna ročca Velka ročca LEVERAGE LAGE Analza vplvnh točk III: Cookova razdalja Cookova razdalja: mera ročce + prspevka k varanc napake Velka = večja od Manjša Cookova razdalja Večja Cookova razdalja COOK ESTIMATE 6

17 Reševanje težav z vplvnm točkam Al majo pomembne učnke na rezultate regresje? To ugotovmo tako, da jh zbršemo, ponovno zvedemo analze n prmerjamo rezultate pred n po zbrsu. Al sta ocen nagba n presečšča pomembno drugačn al še vedno ležta znotraj 95% CI za ocene pred zbrsom? pomembnega učnka Vplvne točke vključene Vplvne točke zbrsane Pomemben učnek Učnek brsanja vplvnh točk Ponovmo: Posamezn prmer lahko nesorazmerno vplvajo na velkost korelacjskh n regresjskh koefcentov. Vplvnost je odvsna od oddaljenost točke od: artmetčne sredne n regresjske premce Kaj se lahko zgod po brsanju vplvnh točk? Zmanjša se velkost vzorca () n s tem tud moč analze. Zmanjša se MS e, s tem se zmanjša s b n poveča moč. Če je majhen, je prv učnek najbrž večj od drugega, razen če so vplvne točke zelo ekstremne = 00 r = 0.8 = 0 r =

18 Z = 00 r = 0.09 = 0 r = 0.3 Težave pr nterpretacj r korelacja n vzročnost Korelacja spremenljvk, k nso merjene na ntervaln mersk ravn druga od sprem. ena od sprem. nomnalna ordnalna nomnalna n.d.-n.d.: Φ koefcent u.d.-u.d.: Tetrahorčn koef. Več kategorj: koefcent kontngence C, Cramerjev V Kendallov τ ordnalna Kendallov τ Spearmanov ρ Kendallov τ ntervalna n.d.: naravno dhotomna u.d.: umetno dhotomzrana n.d.- Točkovno bseraln koef. u.d.- Bseraln koef. Spearmanov ρ Kendallov τ Kendallov koefcent konkordance W - skladnost med ocenjevalc 8