REGRESIA LINIARĂ ŞI CORELAŢIA Sut stuţ î cre e tereseză să estmăm testte legătur dtre două su m multe vrle, su să găsm o relţe dec o formă ltcă mtemtcă cre să eprme o vrlă fucţe de ltele mplcte î procesul studt Eemplu: Am pute f teresţ î verfc esteţ ue relţ ître îălţme ttălu (u ttălu doptv) ş ce coplulu Am pute căut o legătură ître dcele de msă corporlă ş presue rterlă (petru persoe de vârst tre), căutăm să estmăm depedeţ ître efortul fzc ş frecveţ crdcă, pote ceste depd ş de vârstă, etc Regres repreztă epres mtemtcă ce permte estmre ue vrle fucţe de cel puţ o ltă vrlă Regres jută î determre relţe ş este folostă î specl î stud de predcţe Corelţ eprmă putere legătur dtre două vrle (testte relţe) Atât pr regrese cât ş pr corelţe putem determ dcă relţ este drect proporţolă (creştere vrle mplcă creştere vrle ; scădere vrle mplcă scădere vrle ), su vers proporţolă (creştere vrle duce l scădere vrle ) Regres lră Termeul de regrese fost trodus de mtemtcul Glto Metod costă î determre ue fucţ lre (este ce m smplă formă de depedeţă) f() = = +, cre să promeze clculul vlorlor pr vlorle ( este vrl depedetă, vrl depedetă su predctor) Atât cât ş sut vrle de tp cotuu Metod de clcul petru prmetr drepte de regrese costă î defre ue eror ş mmzre ceste Cosderăm că vem două şrur de dte corespuzător vrlelor letore de teres ş respectv (crcterzte c fd dstrute orml su gus)
Î telul următor sut prezette cele două şrur: : : REGRESIE LINIARĂ = 068 + 09 R² = 08573 (,) tg = = 0,68 Drept de regrese Dorm să determăm prmetr, ce defesc drept de regrese: f() = = + Petru cest se foloseşte metod celor m mc pătrte, cre costă î mmz sum pătrtelor erorlor dtre vlorle (etrse d epermet) ş vlorle f( ) clculte cu jutorul formule drepte de regrese Se defeşte erore: f ( ) Uele vlor le eror sut poztve, ltele sut egtve, dr erore estă î tote czurle, tuc câd 0 Petru u perde cestă formţe se v folos pătrtul eror Erore totlă v f formtă d sum tuturor erorlor determte de cele vlor epermetle: Acestă sumă pătrtelor dfereţelor este poztvă Astfel, prvd prolem cu ecuoscutele respectv, fucţ de grdul do v dmte u mm (fd sum pătrtelor, cest v f totdeu poztvă)
3 Erore totlă treue mmztă petru oţe o promre cât m corectă vlorlor lu fucţe de Codţ este c dervt rport cu fecre vrlă î prte să fe zero Oţem stfel sstemul de ecuţ: 0 0, 0 0 0 0 () 0 ) ( (), 0 Îlocum vlore lu d prm ecuţe î dou ş flăm prmetrul 0 (3) Ne folosm de formul: (4) Îlocum (4) î (3) ş vem: 0 Etrăgâd pe oţem: (5) Vlore lu se clculeză coform celor demostrte cu formul: (6) Î cocluze s-u dedus prmetr drepte: = +
Coefceţ (prmetr) drepte de regrese Prmetrul repreztă tersecţ drepte de regrese cu Dcă =0 tuc = Dcă vem m multe czur cu =0, tuc vlore lu v f eglă cu med tuturor vlorlor petru cre este 0 Treue vut î vedere că u î orce stuţe este poslă ş re ses cestă tersecţe cu De eemplu, petru predctorul, reprezetâd presue sstolcă su tempertur corpulu, vlore 0 u re terpretre î czur ormle (studem pceţ dec persoe î vţă) Prmetrul reprezt pt drepte (tget ughulu dtre dreptă ş l orzotlă) Dcă vlore lu este poztvă, tuc depedeţ ître cele două vrle letore este drect proporţolă Astfel, o creştere vrle, v duce l o creştere vrle, respectv o scădere vrle, v coduce l o scădere vrle Dcă vlore prmetrulu este egtvă, tuc depedeţ ître cele două vrle letore este vers proporţolă Vrţ îtr-u ume ses vrle, v duce l o vrţe î ses cotrr vrle Czul î cre u estă depedeţă ître cele două vrle, respectv, se oţe petru =0 Orcât m modfc vrl, tuc v rămâe costt = Pt drepte repreztă vrţ vrle depedete, petru o creştere su descreştere predctorulu () cu o utte Avem formul drepte de regrese: = + Creştem vlore lu cu o utte, Noul v f = + (+) = + + Se oservă că dfereţ dtre ş este eglă cu 4
Testre modelulu pr metod lze vrţe (ANOVA) Determre coefceţlor drepte de regrese perms crere uu model mtemtc ce eprmă legătur ître cele două vrle Este mportt să putem verfc dcă modelul cret este u î sesul promăr cât m corecte dtelor Alz vrţe (ANOVA) este o metodă sttstcă ce permte evlure performţe modelulu determt Vrţ ue vrle letore este măsurtă pr tere stdrd, dr pote f folostă ş devţ fţă de vlore mede Vrţ totlă pote f eprmtă folosd sum pătrtelor devţlor stfel: SST (SST Totl Sum of Squre) (7) Fcem pel l vlorle estmte pr modelul regresol propus, otte ˆ Eprmăm stfel: ˆ ˆ Rdcâd l pătrt epres lăturtă se pote răt că SST Prmul terme: ˆ ˆ ˆ repreztă vrţ dtelor î jurul drepte de regrese Acestă vrţe u este dortă, fd cosdertă o erore Este ottă SSE (Error Sum of Squre) Al dole terme, ˆ eprmă devţle fţă de mede le vlorlor estmte Este sum dfereţelor fţă de mede le vlorlor determte pr regrese Aceste sut eprmte de modelul cret Este ott prescurtt SSR (Regresso Sum of Squre) Oţem stfel: SST = SSE + SSR 5
SSR Rportul ott r se umeşte coefcet de determre ş repreztă SST pătrtul coefcetulu de corelţe ce v f dscutt îtr-u cptol următor Defre medlor sumelor pătrtelor dfereţelor ce eprmă erore ş regres se relzeză pr determre grdelor de lertte Grdele de lertte otte df (degree of freedom) eprmă dmesue ecesră uu spţu de lucru Este umărul de dte depedete De eemplu, dc vem o codţe de mmzre eror, tuc d umărul totl de dte, codţ de mm v scăde grdele de lertte cu Grdele de lertte defesc u prmetru prţâd ue sttstc (sttstc Fsher de eemplu) Avem stfel: SSR este crcterztă de df=, SSE de df=- ş SST de df=- Putem clcul medle: SSR MSR, Rportul ott SSE MSE (8) MSR F este o sttstcă de tp Fsher, cre pr velul de MSE semfcţe determt (ott p), e dă formţ chee supr modelulu regresol determt Dcă vlore semfcţe este p<0,05, dec su 5%, tuc modelul lr dezvoltt este utl predcţe Ită u eemplu î cre telul de lză vrţe î stuţ regrese lre este relzt pr softul de sttstcă (pote f SPSS, Sttstc su î Ms Ecel) Telul 0 Alz vrţe ANOVA petru modelul regresol lr ANOVA df SS MS F Sgfcce F Regresso 305375 305375 33880 00873337 Resdul (Error) 4 5404 386 Totl 5 6709375 Coeffcets Stdrd Error t Stt P-vlue Lower 95% Upper 95% Itercept 69333333 04099 6647 E-05 468063795 946034 Brthwegh 05733333 0085555 838967 00873-0066446 034083 Erore su rezduul u î cest cotet ceeş semfcţe 6
Î l corespuzătore regrese vem clculte vlorle SSR, MSR ş grdele de lertte Cu cât cestă vlore SSR v f m mre cu tât modelul ostru v eplc m e vrţle prezete Pe râdul următor sut dtele cu prvre l sum erorlor (rezduu), SSE, MSE Cu cât ceste sut m mc cu tât ş erorle sstemulu sut m mc r modelul preztă u grd m mre de îcredere Î coture, se preztă vlore sttstc Fsher ş corespuzător velul de semfcţe Dcă vem p su 0,05 deducem că drept de regrese promeză e dtele ostre Dcă vem p clcult peste 0,05 dr su 0, (0%), putem deduce că vrl depedetă re o umtă flueţă supr cele depedete dr u î totltte Putem dăug dte o su cercet ş flueţ ltor vrle î sstem Î fl, vem dtele ecesre modelulu, dec costt = tercept ş pt, ce re vlore 0,57 petru dtele prezete studte Aş cum m clcult ş utlzt sttstc F ş velul de semfcţe corespuzător îtregulu sstem, putem clcul petru coefceţ drepte de regrese ş, sttstc t ş velul de semfcţe Aceste e jută l verfcre dfereţe fţă de vlore ulă De semee, sut prezete lmtele mmă ş mmă de vrţe cestor coefceţ cu îcredere de 95% Dcă ceste lmte cuprd vlore 0 (zero), tuc u estă semfcţe sttstcă ş potez ulă este ccepttă Oservţ Î czurle prctce, vrlele ş pot să u fe dstrute orml Acest ejus pote f corectt pr plcre uor trsformăr cum r f logrtmre petru trsform dstruţ î form gusă Evdet, vom ve grjă l terpretre corectă rezulttelor (dec pte ş termeulu ler) Atât cât ş sut deduse d eştoe Aceşt prmetr şdr, repreztă vrle letore Astfel, se pote costru u tervl de îcredere petru cele două ecuoscute ş Pr estmre prmetrlor ş se vor oţe petru tervle smetrce vlorle lmtă: 0, respectv 0 7
Reprezetâd grfc drept de regrese petru cele 4 czur lmtă oţem o suprfţă de regrese m, m m tg, m tg =+ m m Reprezetre grfcă suprfeţe de regrese Î cest cz ue vlor î v corespude u tervl de vlor m, m Petru =0 tervlul cocde cu ( m, m ) Acest tervl este dtort tocm estmărlor prmetrlor drepte de regrese Corelţ Noţu Legătur dtre două vrle letore, î cre u dtre ele vrză costt (su cotrolt), r celltă vrză letor fost descrsă de form lră drepte de regrese Corelţ crcterzeză legătur dtre două vrle letore ş cu N N Destte de reprtţ ormle, respectv,, proltte fucţe de reprtţe ormlă vrtă (vâd do prmetr) re epres: f (, ) ep (9) Î cestă formulă repreztă coefcetul de corelţe Domeul de vrţe este cuprs ître ş,, Prctc, grdul de depedeţă dtre cele două vrle letore este deft de cest coefcet de corelţe (se oteză cu,,r câd este determt d dtele rele coţe o umtă erore) 8
Dcă =0, tuc u estă depedeţă ître cele două vrle letore, ceste fd cosderte depedete Clculâd destte de proltte oţem: 0 f (, ) e e f (, ) f ( ) f ( ) Iterpretre Dcă 0, tuc cele două vrle letore sut depedete stocstc (letor) Petru >0 spuem că cele două vrle letore sut depedete drect proporţol Cu cât se prope de vlore cu tât depedeţ este m putercă Dcă <0, tuc cele două vrle letore vrză vers proporţol ş legătur este cu tât m putercă cu cât coefcetul de corelţe este m propt de vlore Prctc, vlore l pătrt corelţe clculte r (mtm că se oteză cu r deorece este determt d dtele rele, dec repreztă o promre) eprmă procetul d vrţ vrle ce pote f eplctă de vrţ vrle Î lz regrese ş corelţe se preztă cestă vlore coefcetulu de determre Amtm formul de clcul d lz SSR vrţe: r SST Grfcele de m jos dcă o legătură putercă, respectv slă, ître două vrle letore, Legătură putercă Legătură slă Tpur de legătur ître setur de dte 9
Clculul coefcetulu de corelţe se relzeză pr deducere mede produselor terlor ormte: M Prelucrâd formul precedetă se juge l: Acestă formulă de clcul pote f plctă dor î czul două vrle letore reprtzte orml Testre coefcetulu de corelţe Este mportt să putem fl dcă vrţ cu îcredere de 95% cestu coefcet cuprde su u vlore ulă Cu lte cuvte, treue să răspudem l îtrere prvd dfereţ semfctvă coefcetulu de corelţe fţă de vlore ulă Ştm că î orce epermet su proces terve fctorul de tp letor ce mplcă esteţ ue vrţ î vlore dctorlor sttstc Dorm să vedem dcă cestă vrţe mplctă este depăştă î czul ostru, cee ce r dc esteţ relă uu efect pe cre de fpt îl căutăm ş îl studem Se demostreză că următore fucţe respectă o dstruţe de tp t (Studet): t r (0) r Verfcăm potez ulă H 0 : 0 pr dstruţ meţotă, ştd că este crcterztă de - grde de lertte ( este umărul de dte d eşto volumul eştoulu) Dcă vlore clcultă p clcult este m mcă decât 5%, vem semfcţe sttstcă, dec coefcetul de corelţe este dfert de 0, treâd esteţ ue umte relţ ître vrle 0
A dou metodă de terpretre fce pel efectv l vlore sttstc t clculte cu formul 0 Dcă cestă vlore este m mre c ce teltă, corespuzătore uu umăr de grde de lertte - ş ue îcreder lterle de 95%, tuc vem semfcţe sttstcă Eemplu Petru dtele căror lză ANOVA fost prezettă teror se oţe r = 0,44 r volumul eştoulu este =6 vlor 6 Clculăm vlore sttstc t, t 0,44, 838 0,945 D dtele telte le sttstc t, petru îcredere lterlă 95%, dec rsc 5% ş -=4 grde de lertte oţem vlore t, 45 0,05, 4 Vlore clcultă,838 este m mcă decât ce teltă,45 cee ce deotă că vrţ îtâltă se îcdreză î domeul cceptt, dec u estă dfereţă semfctvă sttstc Cu lte cuvte putem frm cu îcredere de 95% că vlore coefcetulu de corelţe pote f ulă Acest îsemă că relţ eprmtă pr vlore puctulă r = 0,44 este rezulttul hzrdulu Oservţ supr regrese lre ş corelţe Presupuem că vem două setur de dte :,,, respectv :,, Clculâd regres = f() = + oţem umte vlor petru coefceţ ş Dcă etrgem pe fucţe de vem: () Clculâd regres = g() = + () ş comprâd cu relţ () cele două drepte pot su u cocde Deducere coefceţlor,, respectv, dferă sustţl, deorece î prmul cz s- pus codţ c sum pătrtelor erorlor pe drecţ O să fe mmă, r î l dole cz codţ fost c sum pătrtelor erorlor pe O să fe mmă
Corelţ eprmă tocm cestă semăre dtre cele două drepte de regrese Notăm cu A drept =f(), respectv cu B drept =g() Dcă dreptele se suprpu tuc =, r depedeţ letore deve determstă (uu puct pe î corespude u sgur puct pe ) ş dreptele de regrese u lur prme sectore Astfel, cuoscâd pe, putem determ pe cu o precze uă î fucţe de dtele d eşto Dcă = - tuc dreptele se suprpu dr u form sectore dou, r depedeţ este vers proporţolă Ş î cest cz, legătur este de tp determst Î geerl dreptele pot su u să se prope m mult su m puţ, demostrâd depedeţ dtelor Prezetăm m jos î ptru grfce succesve cele reltte A, B A B Depedeţă determstă drect proporţolă Depedeţă stohstcă drect proporţolă A, B A B Depedeţă determstă vers proporţolă Depedeţă stohstcă vers proporţolă Tpur de depedeţe ître regrese ş corelţe
Dcă vlore coefcetulu de corelţe este 0, tuc cele două drepte fc u ugh de 90 0 (sut perpedculre) Este orml c legătur dtre cele două drepte să determe ş semul coefcetulu de corelţe Dcă d =f() oţem o ptă egtvă, tuc tot egtvă v f ş pt oţută d clculul =g() ş tot egtv v f ş coefcetul de corelţe (evdet legătur rămâe vllă ş petru czul pte poztve) 3