آنالیز واریانس : ANOVA )ANALYSIS OF VARIANCE(

Transcription

1 آنالیز واریانس : ANOVA )ANALYSIS OF VARIANCE( این روش آماری در کجا کاربرد دارد تاکنون استنباط آماری برای پارامتر های یک جامعه آماری و نهایتا برای پارامترهای دو جامعه آماری مطالبی برای شما گفته شده اما آمار سئوال این است که آمار نمی تواند میانگین بیش از دو جامعه مثال الی 0 جامعه را آزمون فرض انجام دهد بله متد آنالیز واریانس این کار را می کند. کاربرد دیگر در مدل های ANOVA است.مدل هایی هستند که در آن اثرات چند عامل را ( تعداد زیادی را( می توان به کمک این روش استنباط آماری روی آن انجام داد که همان آزمون فرضیه است. مثال : H 0 : μ = μ = μ دولت ادعا کرده که متوسط درآمد سرانه در تمام استانها با هم یکی است H 0 فرض مقابل می گوید نه چنین نیست H آقای ممبنی ادعا دارد که روشهای مختلف مدیریتی در سازمان ها همگی عملکرد یکسانی دارند H 0 اما یک فرد دیگر مخالف می گوید نه چنین نیست H جواب را آنالیز واریانس می دهد H 0 یک پزشک ادعا دارد که داروی مسکن برای کاهش درد اثرات یکسانی دارد اما یک متخصص دیگر می گوید چنین نیست آنالیز واریانس جواب می دهد H مثال( ادعا شده که 0 نوع کود زراعی روی میزان باروری یک محصول اثر یکسان ندارد اثرات یکسان هستند آنالیز واریانس H 0 H آنالیز واریانس در واقع تجزیه و تحلیل تغییرات درون یک مجموعه داده ها است جدول روش تدریس دانشجو دانشجو دانشجو دانشجو A B B روش تدریس داریم می خواهیم بدانیم که کدامیک از این روشها که آموزش و پرورش ادعادارد هر کدام از اینها بطور متوسط اثرات یکسانی دارد بهتر است. ( وقتی در جدول واریانس وجود ندارد پس احتیاجی به آنالیز ندارد(

2 فرض مقابل حداقل یکی از این دوتا اختالف دارد. روش روی دانشجو از هر جهت یکسان اجرا شده و امتحان گرفته شده و نمره هر تا شده 0 این دانشجو همگی مثل هم هستند. ولی اگر نمرات یکی نبود دلیل عدم همگن بودن منتخبین است. اگر این اتفاق افتاده بود که ---0 انتخاب دانشجوها برای بررسی روش تدریس یکسان نیستند.باید واحدهای انتخاب )دانشجو( همگن باشند از هر جهت )ولی ممکن نیست( جدول دانشجو روش تدریس دانشجو دانشجو دانشجو A 0 0 B 0 B این داده ها نیازمند تجزیه و تحلیل وجود تغییرات است )آنالیز واریانس( منابع تغییرات : منبع قابل تبین)عامل باعث شده( تغییراتی که روشهای گانه ایجاد کرده Between Row منبع خطا غیر قابل تبین : نمی توانیم کاری بکنیم چیزی جز خطا عامل شده است - - پس درآنالیز واریانس همواره تغییرات کل افراز می شودبه دو منبع مربوط به عامل هایا روشهای تدریس+عامل خطا پس منظور از آنالیز واریانس تجزیه و تحلیل تغییرات در یک مجموعه دیتا است که دیتاهای ما یک آرایه چند بعدی است )با ماتریس [ = A ) ] در آناوا واحد آموزمودنی داریم یا سابجگت یا یونیت ANOVA آزمودنی ها یا واحد های آزمایشی عبارت است فرد شی جسم که روی آنها آزمایش اجرا می شود که به آنها تیمار داده می شود. افرادی هستند که سطوح فاکتور به آنها اعمال می شود. تیمار : هر موضوعی که محقق دنبال بررسی اثرات آن یا بررسی میانگین اثرات آن است در آنالیز واریانس به آن تیمار می گویند.. Treatment پس روش تدریس داروها کودهای مثال کشاورزی داروها شیوه های مدیریتی هم تیمار هستند. One Way ANOVA هر گاه در یک مساله آنالیز واریانس یک دسته تیمار )مانند کودها یا روش های مدیریتی( با تیمارها مختلف یا ) یک عامل با سطوح مختلف )در ساخت یک محصول تحت شرایط دماهای مختلف در آزمایشگاه ساخته می شود.(

3 Two Way ANOVA ) دو دسته تیمار های مختلف یا دو عامل با سطوح مختلف K Way ANOVA ) در وان وی آناوا و تو وی آناوا هرکدام یا تیمار هستند یا فاکتور هستند One Way ANOVA وان وی باالنس )متعادل( - برای هر تیمار با تعداد برابر وجود دارد.A آموز C روی دانش آموز وان وی آن باالنس )نامتعادل( تعداد نمونه ها برای هر تیمار نابرابر در روی دانش آموز B روی دانش - - دانشجو روش تدریس دانشجو دانشجو دانشجو A 0 B B ( آنالیز واریانس یکطرفه متعادل: مجموعه داده های مربوط به یک مدل آناوای یک طرفه متعادل عبارت است از )در حالت کلی( مشاهده ( متغیر وابسته( مربوط به نمونه اول برای تیمار اول نمونه... n تیمار A y y y n A y y y n i y ij... A a y a y a y an y.. y ij : عبارت است مشاهده)متغیر وابسته( مربوط به j ام برای تیمارi ام تیمار = i نمونه = j

4 روش تجزیه تحلیل داده های مربوط به یک آزمایش آنالیز واریانس یک طرف متعادل : C f = N y 00 مجموع همه داده ها.. y ( N n a = تعداد سطر در تعداد ستون ) جمع هر سطر. همیشه روبروی تیمارها یا تیمارها راجمع می بندیم. ( f C عامل تصحیح کننده ( گوشه جنوبی تعداد کل مشاهدات نخست تغییرات کل را محاسبه و به توان می رسانیم SST( ) تک تک داده های درون جدول را به توان می رسانیم و جمع می کنیم و C f را از آن کم می کنیم. )0 SST = ( Y + Y + + Y n ) C f SST = SS tr + SSE تک تک جمع های روبروی تیمارها به توان می رسانیم و جمع می کنیم و بر n تقسیم می کنیم جمع مجذورات حاصل جمع هر تیمار SS tr = Σ SSE = SST SS tr dft = N تعداد کل مشاهدات منهای df tr = a تعداد تیمارها منهای df E = (na ) ( a ) = a(n ) جدول ANOVA ) ) ) ) ) ) ) sv منبع تغییرات sst df میانگین مجذورات Ms f ss tr تیمار)قابل تبین( a ms tr = ss tr a ms tr ms E SSE خطا)غیرقابل تبین( a(n ) ms E = ss tr n - SST کل an - - H 0 ( تیمارها همه اثرات یکسان دارند/تفاوت معنی داری بین تیمارها وجود ندارد : ) ناحیه بحرانی if F > F α (a,a(n )) then rej H 0 پایان آنالیز واریانس : اینها بین شان تفاوت نیست یا در سطح معنی دار α بین آنها تفاوت هست آنالیز واریانس جوابگوی اینکه کدام بهتر است نیست و مقایسات به جواب را می دهد.

5 مثال ) A 0 8 B 0 C 0 C f = () = 0. SST = ( ) 0. = SS tr = 0. =. 0. =. سهم خطا بیشتر شد = =. SSE One Way ANOVA Table (balance) SV SS df ms تیمار خطا..0./=.08.0/=. F =. 08. = 0. < i.7 کل - H بین این تیمارها تفاوتی وجود ندارد - بین این تیمارها تفاوت معنی داری وجود دارد H 0 F. 0.0 = a if 0. > a then rej H 0 One Way ANOVA (unbalance) در این حالت N برابر است با n های مختلف.n های هر تیمار با هم جمع می شوند ) n N = n i = n + n + + n a i= در ss tr اختالف دارد با روش قبل )

6 ss tr = ( y 0 + y y a ) C n n n F a y i A 0 8 B 0 C 0 N = + + = C f = = =. 77 SST = ( ). 77 =. ss tr = ( + + ). 77 =. SSE =.. =. 7 One Way ANOVA (unba lance) sv ss df ms f تیمار خطا /. = 0. <. کل 8 - فرض H 0 پذیرفته می شود چون < F است F بزرگ باعث می شود فرض 0 رد شود. if F > F α then rej H 0 آنالیز واریانس دوطرفه : در مساله ای که با آن در گیریم )بازرگانی ( آیا می شود دو عامل با سطوح مختلف یا دو دسته تیمار را بدون اثر متقابل تهیه شود. بدون تکرار با تکرار : اثرات هر دو دسته + اثرات متقابل دو تیمار به دلیل کمبود بادرجه آزادی در هر خانه بیش از یک مشاهده وارد می کنیم. ) )

7 بدون تکرار : در این مساله یک آزمایش اتفاق افتاده که تحلیل گر می خواهد اثرات دو دسته تیمار را که در مشاهدات تغییرات ایجاد کرده اند را آنالیز کند. جدول مربوط به این نوع مدل در حالت کلی بصورت زیر است. ) B فاکتور دوم... b A فاکتور اول y y y b y 0... y... y... y ij y b... y 0 a y a y a y ab y 0b y.j y 0 y 0... y 0b y.. : مشاهده مربوط به تیمار اول از دسته اول و تیمار اول از دسته دوم یا مشاهده مربوط به سطح اول فاکتورA y و سطح اول فاکتورB : y ij مشاهده مربوط به تیمار i ام تیمار A و تیمار j ام تیمار B داده های مربوط به آنالیز واریانس دو طرفه بدون تکرار است حاصل جمع تیمار i ام از دسته اول y i0 جمع روی سطوح دوم حاصل جمع مقادیر سطوح B برای سطح i ام A y 0j جمع روی سطوح اول C F = Y 00 ab SST = (y + y + + y ab ) C F SSA = y 0 + y y a0 C ss b F tr { SSB = y 0 + y y 0b C a F SSE = sst ss tr = sst (SSA + SSB) df T = N = ab df A = a 7

8 df B = b df E = ab (a ) (b ) = (a )(b ) Table(without Replicate) Two Way ANOVA SS df ms F A SSA a ms A = SSA a F A = ms A ms E B SSB b ms B = SSB b F B = ms B ms E SSE خطا (a )(b ) ms E = SSE (a ) (b ) SST کل ab A { H 0 A α = α α a H A at Least a i a j H 0B β = β + β + + β b B { نه چنین نیست B H if F A > F α (a,(a )(b )) then rej H 0 if F B > F α (b,(a )(b )) then rej H 0 مثال( A B y i. 0 0 y.j 0 N = ab = = 8

9 C F = () = 0 =. 7 sst = ( ). 7 = SSA = ( ). 7 =. SSB = =. 0 SSE = SS df ms F A B خطا F A = =... 7 F B = < کل if. > F α (.) then rej H 0 if 0. 0 > F α (.) then rej H 0 آنالیز واریانس دو طرفه )با تکرار( هرگاه بخواهیم دو دسته تیمار با تیمارهای مختلف یا دو عامل با سطوح مختلف را از نظر اثر بخشی روی یک عملکرد روی واحدهای آزمایشی بررسی کنیم که عالوه بر تصمیم گیری روی اثرات اصلی عامل ها یا دسته تیمارها اثر بخشی اثرات متقابل این دو عامل یا دو دسته تیمار را مد نظر قرار دهیم از آنالیز واریانس دو طرفه با تکرار استفاده می کنیم. تکرار چیست در مجموعه داده های دو بعدی هر گاه در هر خانه )در هر سل( بیش از یک مشاهده وجود داشته باشد این داده ها بعدی را )دو عاملی را ) داده های با تکرار می گوییم. اگر داده ها بدون تکرار باشند با کمبود درجات آزادی مواجه می شویم. برای رفع این مشکل آزمایشگر )محقق( آزمایش را با تکرار در نظر می گیرد ( مثال اگردر پزشکی اثر دارو را روی کاهش درد بر بیمار مطالعه کنیم. پرستار بعد از اعمال دارو آثار حیاتی بیمار از جمله تب نبض و... را بررسی می کند ) مساله را با یک مثال مطرح می کنیم تا بهتر متوجه شویم

10 مثال : یک کارشناس مسائل حسابداری می خواهد اثر دو عامل روش ثیت موجودی )A ) را در دو سطح ( دائمی ( ادواری و روش ارزشیابی موجودی )B( را در سه سطح LIFO FIFO و Mean بررسی نمائید. برای این منظور کلیه حالتهای ممکن دو روش ثبت موجودی ها و سه روش ارزیابی موجودی های مورد نظر را از طریق نمونه های تصادفی تایی مورد بررسی قرار داده و کارایی آنها را از طریق تخصیص نمره عددی اندازه گیری نموده است ) حالت( ) سل( مشاهده )*(.داده ها را در جدول زیر داریم. Mean LIFO FIFO ادواری 7,,,, 7, 8,,,, دائمی, 0,, 8,, 0, 8, 7,, Mean LIFO FIFO y. j a = ادواری 7,,, = 0, 7, 8, = 0,,, = دائمی, 0,, 8 = 8,, 0, = 7 8, 7,, = y i y 000 = 7 b = n = N = a. b. n = = روند محاسبات همانند روشهای قبل هست عالوه بر بعضی محاسبات جدید)مربوط به در نظر گرفتن اثرات متقابل( CF = y 000 N = 7 = 7. 0 sst = ( ) cf =. dt = N = = ss tr = ss A + ss B + ss AB ss A = + bn(k) ss B = an( ) ss AB = y y 000y n 7. 0 = = 8. 8 CF ss A ss B در مخرج a حذف شده است در مخرج b حذف شده است

11 ss AB = df A = a = = df B = b = = df AB = (a )(b ) = ()() = ss tr = = 80. SSE = SST ss tr =. 80. = =. df E = (dfsst ) (a + b (a )(b )) = ab(n ) = ()( ) = 8 Two Way ANOVA table with Replicate در مخرج a,b حذف شده است. SV A )روش ثبت( B )ارزشیابی موجودی( A*B خطا کل نباید منفی شود SS df MS F. F A = = F B = = F C =. = روش ثبت موجودی ها تفاوت معنی داری ندارد H نه چنین نیست --- H 0 H روش ارزشیابی موجودی ها تفاوت معنی داری ندارد --- نه چنین نیست H 0 H 0 AB اثرات متقابل روش های ثبت موجودی و روشهای ارزیابی موجودی تفاوتی بین آنها نیست --- H AB نه چنین نیست (,8) if F A = 8. 7 > F 0.0 =. H0A Rej (,8) if F b = 8. 0 > F 0. =. H0B Rej روش ثبت موجودی و ارزشیابی متفاوت هستند (,8) if F AB < > F 0. =. H0B Rej پایان آنالیز واریانس وجود یا عدم موجودی تفاوت معنی دار بین سطوح فاکتورها یا بین تیمارهای دودسته تیمار است کدام بهتر است آناوا جوابگو نیست. برای تعیین بهترین روش در آمار موضوعی هست تحت عنوان مقایسات دو به دو تیمارها یا مقایسات دو به دو سطوح عامل ها. این دو نوع عبارتنداز :

12 آزمون شفه آزمون توکی آزمون دانکن آزمون دانت آزمون نیومن-کلز... ) ) ) ) )0 ) رگرسیون )مدل های رگرسیون( برگشت اثرات یک دسته متغیرهای مستقل به تنها یک متغیر وابسته. در آمار سه دسته رگرسیون وجود دارد Linear Regression Model فقط این مورد جزو درس است ) no Linear Regression Model Generalized Linear Regression Model ) ) Linear Regression Model مدل رگرسیون خطی به اعتبار ضرایب متغیرهای مستقل به دو دسته تقسیم می شوند Simple Linear Regression Model ساده - فقط این مورد جزو درس است - Multiple Linear Regression Model چند گانه - الف- هر گاه در یک مدل رگرسیون فقط یک متغیر مستقل وجود داشته باشد ب-هر گاه در یک مدل رگرسیون خطی بیش از یکی متغیر مستقل وجود داشته باشد مدل رگرسیون یک مدل ریاضی محض نیست مدلی است که درگیر خطا است مدل خطی ساده )ریاضی قطعی است و درگیر خطا نیست( y = + x : y وابسته : x مستقل مدل رگرسیون خطی ساده y = β 0 + β X + ε : X تغییرات متغیر مستقل X روی Y برگشت دارد : ε خطا β β 0 : عرض از مبدا : شیب خط مثال : میزان هزینه تبلیغات را روی میزان فروش یک کاال مورد مطالعه قررار دهیم.عوامل غیر قابل کنترل هستند که در مساله نوسانات ایجاد می کنند)مصرف کننده ها( در رگرسیون عالوه بر مدل ساده مدل چند گانه وجود دارد

13 y = β 0 + β x + β x + β k x k + ε مقداری که چه تبلیغات انجام شود چه نشود فروش ثابتی داریم عرض از مبدا است. اگر یک واحد تبلیغات اعمال کنیم میزان β به فروش اضافه می شود در simple دو پارامتر داریم عرض از مبدا و شیب خط مدل رگرسیون خطی ساده y = β 0 + β x + ε : برآورد : برآورد β مجهول β 0 : y مدل پیش بینی کننده رگرسیون y = β 0 + β x یه مقدار { x = x 0 y = β 0 + β x 0 x y = β 0 + β x + ε x y = β 0 + β x + ε.. x n y n = β 0 + β x n + ε (x, y ), (x, y ), (x n, y n ) هنر آمار پیش بینی فروش در آینده است n بار رگرسیون را اجرا می کنیم مجموعه دیتاهای یک مدل رگرسیون خطی ساده زوج مقادیر است یا از دیتابیس شرکت استفاده می شود یا از االن شروع می کنیم به اجرا. ماهیانه تبلیغ می کنیم و فروش x y x y x y x n y n β 0, β برآورد می شود و سپس y بدست می آید. را محاسبه می کنیم. براساس این اطالعات قبل از آنالیز داده ها در بررسی مدلهای رگرسیونی که در این حالت رگرسیون ساده است رسم نمودار پراکنش داده ها است برای اینکه بطور شهودی ببینیم تقریبا رابطه بین دو متغیر y و x پراکنش را رسم می کنیم. یک رابطه خطی است نمودار

14 اولین برداشت از نمودار : می توانیم فرض که بین x و متغیر وابسته y رابطه خطی وجود دارد چون خطا داریم همه نقاط در یک خط نیستند عرض از مبدا تقریبا صفر است داده ها روند صعودی دارند. یعنی ضریب β مثبت است )شیب خط مثبت است( رابطه خطی ساده است عرض از مبدا بزرگ است شیب خط منفی است سهمی است / متغیر مستقل توان است بایستی تبدیالتی روی x انجام شود که توان را به یک تبدیل کند x + y = به توان است e y xو هم روی x و هم روی y تبدیالت ایجاد می کنیم که خطی شود

15 β 0, گام بعدی برای رگرسیون برآوردهای پارامترهای مدل است β ( روش حداقل مربعات )خطا( y را ما انتخاب می کنیم ) eخطای = (y y ) e = (y y اول ) eخطای = (y y ) e = (y y دوم. ) eخطای n = (y n y ) e n = (y n y n ما n Q = e i = (y i y i ) i> n n i= Q = (β 0 β x i y i ) i= β = s xy s = xx n n i= n i= s yy = (y i y ) i= β 0 = y β x مربعات خطا را حداقل می کنیم بین این نقاط پراکنش چند خط می گذاریم )بی نهایت( اونی که کمترین خطا را دارد خطای روی خط صفر است /خطای باالی خط + است /خطای پایین خط است / x iy j nx y (x i y ) مدل پیش بینی کننده رگرسیون y = β 0 + β x مثال ) شرکتی را در نظر بگیرید که در فروش و تعمیر رایانه فعالیت می کند برای مطالعه رابطه بین مدت زمان یک سرویس )متغیر وابسته (و تعداد قطعات الکترونیکی)متغیر مستقل( که باید تعویض شود داده های زیر از سوابق شرکت به تصادف استخراج شده i تعداد) x ( زمان سرویس) y (

16 می توانیم فرض کنیم که بین متغیر مستقل) قطعات سرویس شده ) و متغیر وابسته )زمان سرویس(یک رگرسیون خطی ساده برقرار است. y i = β 0 + β x i + ε i Y-Values i جمع x x i = 8 x = y y i = y = 7. 8 x x i=8 y y i=0077 xy x i y i = s xx = x i nx = 8 () = s yy = y i ny = 0077 (7. 87) = s xy = x i y i nx y = ( 7. 87) = 78 β = s yy = s xx β 0 = y β x = () =. y = (x) مثال به ازای = x قطعه پیش بینی زمان چقدر الزم است

17 y = () =.7 استنباط آماری روی مدل رگرسیون خطی ساده استنباط آماری : فواصل اطمینان/ آزمون فرض/ آنالیز واریانس -تعیین فواصل اطمینان برای پارامترهای یک مدل رگرسیون خطی ساده برای اقدام هر گونه استنباط آماری برای یک پارامتر به جز برآورد نقطه ای پارامتر الزم است که توزیع دقیق یا تقریبی برآورد گر نقطه ای پارامتر را بدانیم )داشته باشیم(.پس برای ایجاد این شرط )تعیین توزیع برآورد نقطه ای برای) β و β( 0 فرض هایی روی مدل رگرسیون اعمال می کنیم به عبارت دیگر فرض هایی را برای خطا در مدل اعمال می کنیم فرض می کنیم خطاها دارای توزیع نرمال با میانگین صفر و واریانس δ هستند ε i ~N(0, δ ) ε =,, n E(ε i ) = 0 var(ε i ) = 0 پارامتر سوم رگرسیون خطی- واریانس خطا که دارای توزیع نرمال است فرض های ایجاد رابطه خطی : رابطه خطی بین y و x است خطاها دارای توزیع نرمال است میانگین صفر است δ واریانس است )ثابت / مجهول( ( همه خطاها دارای واریانس هستند( y = β 0 + β x + ε ~ N(0, δ ) : y تصادفی است چون تابعی از متغیر تصادفی ε است : x غیر تصادفی است : پارامتر β 0 : پارامتر β : ε تنها عبارت تصادفی است 7

18 هر ترکیب خطی از یک متغیر تصادفی نرمال نیز دارای توزیع نرمال است y~n(β 0 + β x, δ ) E(y) = E(β 0 + β x + ε) = β 0 + β x + E(ε) = β 0 + β x var((β 0 + β x + ε) = var(ε) = δ فرض فوق ) و و و (: ابزارهایی هست که در آمار تمام این فرض را با استفاده از داده های موجود بررسی می کند)ابزار باقیمانده ها( یک فاصله اطمینان 00%(α ) برای پارامتر عرض از مبدا ( 0 β) δ همانطور که دیدیم پارامتر جدید δ در مدل ظاهر شد که بایستی این پارامتر هم با استفاده از داده های در اختیار یک برآوردگر نقطه ای برای آن بدست آوریم. با استفاده از روش حداقل مربعات برآوردگر نقطه ای ε δ = SSE n = MSE می شود. SSE = sst SSR = s yy β s xy میانگین مربعات خطا = MSE یا δ نکته : همه برآوردگرهامتغیر تصادفی هستند ضریب اطمینان نمونه تصادفی (زوج (x y, x y, x n y n تعیین براوردگر β 0 = y β x توزیع دقیق یا تقریب برآوردگر )چون β 0 یک تابع خطی از متغیر تصادفی y است بنابراین β 0 نیز دارای توزیع نرمال ) پس β 0~N(β 0, δ ( n + x s xx ) : نا اریب β 0 t = β 0 β 0 MSE ( n + x s xx ) ~t (n ) β 0 ± t (n ) α MSE ( + x ) n s xx فاصله اطمینان 8

19 مثال : با استفاده از داده های قبلی یک فاصله اطمینان % برای پارامتر عرض از مبدا را بنویسید.( β) 0 MSE = SSE n SSE = sst SSR = s yy β s xy SSE = (. 0 78) = 8. ) MSE = t =. 8 =. 07 β 0 ± t (n ) α MSE ( + x ) n s xx فاصله اطمینان. ± ( + ). ± 7.. 8,. β خیلی مهم است )پارامتر ضریب متغیر مستقل ) x β = s yy = 78. s xx یک فاصله اطمینان %00(α ) برای پارامتر شیب خط برآوردگر نقطه ای β می شود. β چون یک برآوردگر است یک متغیر تصادفی است بنابراین توزیع الزم دارد و چون y نرمال است β نیز نرمال است.)ولی واریانس معلوم نیست( β ~N(β, δ s xx ) t = β β MSE s xx ~t (n ) β ± t (n ) α MSE s xx. ± بر اساس ادامه مثال قبل

20 یک فاصله اطمینان %00(α ) برای میانگین مقادیر پیش بینی به ازای یک مقدار مشخص از متغیر مستقل (x = x 0 ) x y = β 0 + β x مقدار پیش بینی y به ازای یک مقدار مشخص شده متغیر x 0 x = x 0 y = β 0 + β x 0 x = x 0 y β 0 + β x 0 x = x 0 μ y x = E( y x = x 0 ) = β 0 + β x 0 y x = X به شرط یک مقدار Y میانگین مقدار پیش بینی برای متغیر وابسته Y به یک مقدار مشخص برای متغیر مستقل X μ y x = E( y x = x 0 ) = β 0 + β x 0 توزیع نرمال است μ y x=x 0 ~N(β 0 + β x 0, δ ( n + (x x 0 ) ) s xx ( β 0 + β x 0 ) ± t (n ) α MSE( n + (x x 0 ) ) s xx مثال ) با استفاده داده های جدول قبل یک فاصله اطمینان %(α ) برای میانگین پیش بینی متغیر وابسته y به ازای = 0 x محاسبه کنید. ( β 0 + β x 0 ) ± t (n ) α MSE( n + (x x 0 ) ) s xx (. + (. )()) ± ( ( ) + )

21 یک فاصله اطمینان %00(α ) برای یک مقدار متغیر تصادفی وابسته y مقدار مشخص داده شده برای متغیر مستقل x) = x 0 x( به اندازه یک نکته : فاصله پیش بینی است زیرا برای متغیر تصادفی استنه یک پارامتر y x=x0 = β 0 + β x 0 ( β 0 + β x 0 ) ± t (n ) α MSE( + n + (x x 0 ) ) s xx در زیر رادیکال به خاطر یک پیش بینی یک متغیر تصادفی می باشد. y مثال( یک فاصله پیش بینی % برای متغیر وابسته به ازای یک مقدار داده شده و مشخص متغیر یعنی = x بسازید (. + (. )() ± ( + ( ) + ) یک فاصله پیش بینی برای m تا مقدار پیش بینی در آینده برای متغیر وابسته y مقدار داده شده و مشخص متغیر مستقل یعنی x = x 0 بسازید فرمول قبلی به جای می شود m به ازای یک ( β 0 + β x 0 ) ± t (n ) α MSE(m + n + (x x 0 ) ) s xx با استفاده از مقدار پیش بینی برای متغیر وابسته y به ازای = x در سطح معنی % بسازید (. + (. )() ± ( + ( ) + ) آنالیز واریانس رگرسیون آزمون فرض روی موضوعات گفته شده آنالیز واریانس روی رگرسیون

22 آزمون فرضیه در سطح معنی دار α برای پارامتر عرض از مبدا در یک مساله رگرسیونی ممکن است روی پارامتر β 0 سه دسته فرضیه مطرح گردد)موررد بحث قرار گیرد( ) { H 0: β 0 β 00 H : β 0 < β 00 ) { H 0: β 0 β 00 H : β 0 > β 00 ) { H 0: β 0 = β 00 H : β 0 β 00 توزیع نرمال واریانس نامعلوم برای هر سه فرضیه از کمیت t استفاده می شود t H 0 = β 0 β 00 MSE ( n + x s xx ) ~t n ناحیه بحرانی و نوع تصمیم مانند حالت قبل برای t است )حالت ب یک جامعه نرمال در امتحان میان ترم ) مثال( ادعا شده است که عرض از مبدا مدل رگرسیونی مربوط مصرفی در مثال اول مخالف است ) واحد زمان( به زمان سرویس و تعداد قطعات { H 0: β 0 = H : β 0. t H 0 =. 07 ( + = a ) if a >. 8 t 0.7 then H 0 Rej آزمون فرض در سطح معنی دار a برای پارامتر شیب خط رگرسیون ( ضریب متغیر رگرسیون ) )خیلی مهم ) برای پارامتر شیب خط مثل پارامتر عرض از مبدا سه فرضیه به صورت زیر مطرح است ) { H 0: β β 0 H : β < β 0 ) { H 0: β β 0 H : β > β 0 ) { H 0: β = β 0 H : β β 0

23 ممکن است = 0 0 β باشد در این حالت دسته سوم فرضیه ها تبدیل می شود به { H 0: β = 0 H : β 0 کمیت محوری t t H 0 = β β 0 (n ) ( MSE ~t α s ) xx ناحیه بحرانی و نوع تصمیم گیری مانند قسمت ب یک جامعه نرمال وقتی واریانس معلوم نیست ادعا شده که متغیر مستقل x اثر مثبت روی متغیر وابسته y دارد در سطح معنی دار % این ادعا را بررسی کنید. { H 0: β 0 H : β > 0. 0 t H 0 = = a. 07 ( ) if a > t 0. { H 0: β = 0 H : β 0 =. 78 then Rej H 0 اگر یکطرفه باشد α α اگر دو طرفه باشد ادعا شده متغیر مستقل x روی زمان سرویس اثر دارد این ادعا را در سطح معنی دار % آزمون کنید.. 0 t H 0 = = a. 07 ( ) (n ) if a >. 8 t 0.7 then Rej H0

24 آزمون فرض در سطح %00(α ) برای میانگین مقادیر پیش بینی به ازای یک مقدار داده شده و مشخص برای متغیر مستقل x = x 0 x ) { H 0: μ y x μ 0 H : μ y x < μ 0 ) { H 0: μ y x μ 0 H : μ y x > μ 0 ) { H 0: μ y x = μ 0 H : μ y x μ 0 t H 0 = β 0 + β (X 0 ) μ 0 MSE ( n + (x x 0) s ) xx ناحیه بحرانی و تصمیم گیری مانند قسمت ب توزیع نرمال میانگین است. مثال ) ادعا شده که میانگین متغیر وابسته به ازای = x کمتر از دقیقه است این ادعا را { H 0: μ y x= 0 H : μ y x=0 < 0 در سطح معنی % بررسی کنید t H 0 = if a < t () ( ( ) + ) =. 78 then Rej H 0 = a آزمون فرض در سطح معنی دار a برای یک مقدار پیش بینی در آینده برای متغیر تصادفی وابسته x = یعنی x 0 x به ازای یک مقدار داده شده متغیر تصادفی مستقل y ) { H 0: μ y x0 y 0 H : μ y x0 < y 0 ) { H 0: μ y x0 y 0 H : μ y x0 > y 0

25 ) { H 0: μ y x0 = y 0 H : μ y x0 y 0 t H 0 = (β 0 + β x 0 ) y 0 MSE ( + n + (x x 0) s ) xx ناحیه بحرانی و نوع تصمیم گیری مانند قسمت ب جامعه نرمال وقتی واریانس معلوم نباشد y = β 0 + β x + β x + + β k x k + ε { H 0: β = β = β k = 0 H : A + Least β i 0 آنالیز واریانس برای رگرسیون خطی مدل چند تایی متغیر مستقل k پارامتر + k )چون β 0 هم هست( یعنی هیچ متغیر مستقلی نمی تواند تغییرات در متغیر وابسته ایجاد کند روش آماری برای بررسی این ادعا یا این فرضیه ها روش آنالیز واریانس است که جدول آنالیز واریانس در حالت کلی به صورت زیر است جدول آنالیز واریانس برای مدل رگرسیون خطی چندگانه SV رگرسیون خطا کل SS SSR = β S xx SSE = (s yy β β S xx ) SST = Syy DF k n k n MS MSR = SSR k MSE = SSE n k F F a = MSR MSE تصمیم گیری f H 0 > F α (k,n k ) Then Rej H 0 For k=, we have in simple liner regression مدل چند گانه را به ساده تبدیل کنیم به جای k عدد را می گذاریم مدل رگرسیون خطی ساده H 0 : B = 0 VS H : B 0 که همان فرضیه ای است که با کمیت محوری t اجرا شده

26 F جدول آناوا t (n ) برای وجود یا عدم وجود ارتباط بین دو متغیر مستقل و تصادفی وابسته به دو طریق می توانیم آزمون فرض انجام دهیم تا بررسی کنیم که این رابطه وجود دارد یا وجود ندارد روش اول : استفاده از کمیت محوری t با n با درجه آزادی که توضیح داده شد استفاده از جدول آنالیز واریانس که از کمیت محوری f فیشر با درجات آزادی صورت و مخرج n استفاده می شود ) ) SV رگرسیون β خطا کل SS DF (n ) MS. 77 msr = 7. 8 mse = = 8. F = F = 0. < β =. 78 = t H 0 = <. 07 مقادیر مهم جهت واریانس s xx, s xy, s yy, β, β 0, SSE, MSE آنالیز همبستگی خیلی مهم - سوال امتحانی دارد هرگاه در یک مطالعه هر دو متغیر تصادفی باشند در این حالت برای نشان دادن ارتباط این دو متغیر از یک شاخص آماری تحت عنوان ضریب همبستگی پیرسون یا اسپیرس و... استفاده می کنیم. پارامتر پیرسون در یک جامعه دو بعدی )یک تابع احتمال با توزیع دو متغیره ) عبارت است از P x,y = cov x,y σ x σ y ضریب همبستگی خطی پیرسون بین دو متغیر تصادفی y, x در زمان نظر سنجی نه x و نه y تصادفی هستند ویژگی های این پارامتر عبارتند از ) P OR P or p 0 < or P [, ]

27 P = P =- همبستگی خطی بین دو متغیر تصادفی وجود % وجود دارد و رابطه مستقیم است همبستگی خطی بین دو متغیر تصادفی وجود % وجود دارد و رابطه معکوس است همبستگی خطی بین دو متغیر تصادفی وجود ندارد = 0 P P = 0 β = 0 ) P a±x,b±y = P x,y اگر به X وY چیزی اضافه کنیم تاثیری روی همبستگی ندارد به مقدار عرض از مبدا چیزی کم یا اضافه کنیم تاثیری روی همبستگی ندارد 0 b ( P ax,by = P x,y,a همبستگی نسبت به مقیاس اندازه گیری ایستا است σ x,y = E[(X μ X )(y μ Y ] = E(xy) μ X μ y هم برای ضریب همبستگی و هم برای کواریانس متغیر X وy روی می آوریم به مقدار برآورد آنها براساس یک نمونه تصادفی. بنابراین در این حالت مثل رگرسیون نمونه ای که داریم یک نمونه جفت دیتا هستند n (x, y), (x, y ),., (x n, y n ) x x... x n y y... y n p = r = s xy s xx s yy [, ] براساس این نمونه تصمیم میگیریم روی پارامتر مجهول جامعه r = 0 p = 0 همبستگی پیرسون p جامعه ای با دو متغیر ضریب تعیین : ضریب تعیین در مبحث آنالیز واریانس و آنالیز رگرسیون خطی عبارت است از مقدار سهم تیمار در مقادیر که اگر در عدد ضرب شود تبدیل به درصد می شود. سهم تیمار در ایجاد تغییرات در مشاهدات 7

28 در on way sst = ss tr + ssm R = ss tr sst SSE ضریب تعیین سهم خطا = SSE = = SST sst sst R تماما سهم تیمار = R تماما سهم خطا = 0 R هرچه R به یک نزدیک تر باشد دقت اجرا بیشتر است و هرچه به صفر نزدیک باشد دقت آزمایش کمتر است. در Two way بدون تکرار ss tr = ss A + ss B R = ss tr sst R = ss A sst R = ss B sst مقدار سهم دسته تیمار A در ایجاد تغییرات در مشاهدات مقدار سهم دسته تیمار B در ایجاد تغییرات در مشاهدات در Two way با تکرار ss tr = ss A + ss B + ss AB R = ss tr sst, R = ss AB sst در مدل رگرسیون با ضریب تعیین مطرح است SST = SSR + SSE R = SSR SSt تغییرات درون y R = SSE SSt سهم متغیر مستقل x در ایجاد کردن تغییرات در مشاهدات y تفاوت در رگرسیون )متغیر مستقل )رابطه خطی بین دو متغیر تصادفی( تصادفی( همه با هم یک محاسبه دو به دو به همبستگی محاسبه می می شود شود شباهت هردو خطی هستند پیرسون خطی 8

29 در پرسشنامه آنالیز همبستگی استفاده می شود متغیرهایی که دو به دو تحلیل می شوند تصادفی هستند ضریب همبستگی بین دو متغیر را با ρ x,y نشان می دهیم این یک پارامتر است چون حرف یونانی است (ρ) و به جای R نشسته است یک شاخص مربوط به جامعه متغیرهای y و x است و دسترسی به آن نداریم نمونه گیری می کنیم و برآورد آن را تحلیل گر بدست می آورد یک نمونه تصادفی در ضریب همبستگی بین دو متغیر تصادفی به اندازه n مانند نمونه گیری در رگرسیون خطی ساده است و به دو شکل است زوج ) n (x n, y و و( (x, y و( (x, y دو سطر ) ) x x x... x n y y y... y n در رگرسیون x مستقل و y وابسته است ولی در همبستگی می توان هر دو مستقل یا وابسته باشند و لزومی ندارد حتما یکی مستقل و یکی وابسته باشد x x x... x n x x x... x n برآورد نقطه ای ρ بر اساس یک نمونه تصادفی n تایی داده شده بصورت زوج یا و تا سطر عبارتند از ρ = r = s x,y s xx s yy ε[, ] این r همه ویژگی های ρ را دارد )- مربوط به بازه بسته و - است ( فاقد مقیاس اندازه گیری هستند مانند سیری ( r نسبت به افزودن یا کم کردن مقادیر ثابت به مقادیر دو متغیر هیچ تغییر نمی کند r نسبت به افزودن یا کم کردن ایستا است )مقادیر عرض از مبدا( ( چون کسر است اگر در یک عدد ثابت غیر صفر ضرب کنیم یا تقسیم کنیم تغییر نمی کند. ) براساس این اطالعات که داریم رابطه بین y و x رابطه خطی %00 است.)تمام مقادیر در یک دسته هستند( یک خط ریاضی

30 %7 یعنی %7 نقاط در یک خط هستند و % جهتشان معکوس = 0 r براساس اطالعات جمع آوری شده به نظر می آید همبستگی خطی وجود ندارد)اما دلیلی ندارد که در جامعه = 0 ρ باشد( آزمون فرضیه برای پارامتر ضریب همبستگی جامعه ρ برای ρ دو نوع آزمون داریم ( مطرح می شود( - آزمون وجود یا عدم وجود )رابطه برای فالن وجود دارد یا ندارد( عدم وجود همبستگی = 0 ρ H 0 وجود همبستگی 0 ρ H سعی کنیم همیشه H هر آزمون فرضیه گام دارد )ادعا( را بنویسیم s x,y r = s xx s yy n t H 0 = r r ~ t(n ) ناحیه بحرانی و نوع تصمیم گیری مطابق قسمت ب یک جامعه نرمال وقتی واریانس آن معلوم نسبت با تفاوت درجه آزادی که اینجا n است

31 x مثال امنحانی : فرض کنید دو متغر تصادفی x سطح =.0 0 a آزمون فرض انجام دهید. و مقادیر زیر را داریم. وجود یا عدم وجود همبستگی را در x x 7 8 i x x x x x x x = x = s x x = ( ) = 0 s x x = 0 ( ) = s x x می تواند منفی شود = 0 ) (0 0 = r = 0 = 0. 0 تقریبا % اطالعات دارای همبستگی هستند t H 0 = 0. =. 0. if. 77 > t 0.7 =. 8 then Rej H 0 H 0 قبول می شود کامپیوتر به جای جدول ( n) t مقدار ρ می دهد که اگر کمتر از α باشد صفر رد می شود valu

32 if ρ valu > α then Rej H 0 احتیاجی به جدول ندارد. سطح معنی دار داریم و ρ valu با آن مقایسه می شود = 0 valu ρ تحت هر شرایطی H 0 رد می شود -آزمون برای ضریب همبستگی در مورد مقادیری روی پارامتر ضریب همبستگی است )مقدار( ) H 0 ρ ρ 0 H ρ < ρ 0 مثال وجود همبستگی و کمتر از %0 است ) H 0 ρ ρ 0 H ρ > ρ 0 وجود همبستگی و مثال بیشتر از %0 است ) H 0 ρ = ρ 0 در وجود یا عدم وجود مورد استفاده قرار می گیرد H ρ ρ 0 s x,y r = s xx s yy برای تابعی از r نه خود r به طور مجانبی )تقریبی( یک توزیع تعیین کرده است ( گام ( U = + r ln r ~N ( ln + ρ 0, ) for n > ρ 0 n (e) لگاریتم در مبنا نپر : ln e x = y ln e e x = ln e y x = lny کمیت محوری نرمال تقریبی است ( z H 0 = ln + r r ) ( ln + ρ 0 ρ 0 ) n ~N(0, ) تصمیم گیری و ناحیه بحرانی مانند حالت )الف( برای میانگین در یک جامعه نرمال وقتی واریانس معلوم است

33 )فاصله اطمینان %00(α ) برای ρ برای نوشته است اما فیشر و علم آمار از تابع مثلثاتی هایپر برلیک استفاده کرده است( مثال : ادعا شده که تعداد ضریب همبستگی بین مشازکت کارکنان و نوع تصمیم گیریی سازمانی همبستگی خطی پیرسون بیشتر از %0 وجود دارد براساس اطالعات جمع آوری شده در این سازمان برای این دو متغیر تصادفی مشارکت کارکنان (x) و نوع تصمیم گیری (y) بصورت زیر این ادعا را در سطح =.0 0 α آزمون کنید. i x x x x x x x = y = s xx = x n(x ) = 8 ( ) = s yy = y n(y ) = 8 ( ) = s xy = (x y) n(x y ) = ( ) = r = s x,y s xx s yy = { H 0 ρ 0. 0 H > 0. 0 = = 0. 7 U = ln + r r + r = =. 7 r = 0. 7 = 0. + r. 7 = r 0. = 7 Ln7 =.

34 ln7 = ρ 0 = =. 0 ρ 0 = 0. 0 = ρ 0. 0 = ρ = Ln =. 8 ln = 0. n = n = { n = = = 0. 8 z H 0 = α = % z =. = if >. then rej H 0 ضریب همبستگی اسپیرمن یک اندازه وابستگی غیر پارامتریک )توزیع ندارد(داده ها معلوم نیست از چه توزیعی آمده اند. این همبستگی ارتباط یا وابستگی آماری بین دو متغیر تصادفی را نشان می دهد این ضریب را نیز اغلب با ρ یا )برآورد( r s نمایش می دهند این ضریب به خوبی چگونگی ارتباط بین دو متغیرتصادفی را با استفاده از یک تابع ارزیابی می کند اگر درمجموعه داده ها )به خصوص برای متغیر اول x( گره ای وجود نداشته باشد. )گره عدد تکراری در ) x همبستگی اسپیرمن مانند همبستگی یرسون در بازه بسته [+,-] رخ می دهد. این ضریب همبستگی در واقع یک ضریب همبستگی رتبه ای می باشد)طیف لکریت در مدیریت( یک نمونه تصادفی به اندازه n از مقادیر دو متغیر تصادفی y و x نیز مانند رگرسیون خطی ساده و آنالیز همبستگی پیرسون بصورت زوج ظاهر می شود. مثال می زنیم تا نشان دهیم این ضریب همبستگی را چگونه می توان محاسبه مثال : داده های زیر درآمد ساالنه هر فرد جامعه ( x بر حسب دالر( و مرگ میر نوزادان )y برحسب هر نوزاد زنده ) برای کشور را نشان می دهد. نکته : این یک نمونه تصادفی است زیرا فقط شامل کشور می باشد. A کشور B C D E F G H I J K 0 درآمد مرگ ومیر 7 0 نوزادان

35 A کشور F G C H I E D K B J xمرتب 0 شده y متناظر i xمرتب شده i yمرتب شده x رتبه y رتبه D i تفاضل رتبه ها 7 0 d i d i n i= r s = n(n ) r s = () = 0. ( ) یک همبستگی معکوس بین درآمد و مرگ و میر نوزادان وجود دارد. نکته : اگر در مجموعه دیتا گره وجود داشته باشد )یعنی عدد تکراری( ضریب همبستگی اسپیرمن و ضریب همبستگی رتبه های پیرسون یک هستند. برای مثال قبل ضریب پیرسون را محاسبه می کنیم. i x y x y x y

36 جمع 0 0 x = y = s xx = x n(x ) = 0 ( ) = 0 s yy = y n(y ) = 0 ( ) = 0 s xy = x y n(x y ) = ( ) = 0 r = = 0 مانند r s اسپرمن 0. = 0 آزمون نیکویی برازش تحلیل گر یک مجموعه دیتا دارد می خواهد ببیند که مجموعه دیتا در اختیار به چه توزیع به درستی فیت می شود این دیتا از چه توزیعی آمده است. مثال : سکه جهت کازینو را به آمار دان می دهد با آزمون نیکویی برازش صحت آن را تایید می کند تاس منچ/ تاس کازینو را به آمار دان می دهد با آزمون نیکویی برازش صحت آن را تایید می کند آزمون برای فرضیه انجام می شود.آزمونی که این نوع فرضیه ها را در سطح معنی دار α را انجام می دهید عبارت { H 0 X~ N(μ, σ ) H X N(μ, σ ) است از آزمون نیکویی برازش : متغیری که مقادیرش را در دیتا در اختیار دارد X H 0 ρ = { H ρ سکه

37 H 0 ρ i = { H ρ i تاس i =,, سکه : آزمون فرض در سطح معنی دار 0 =.0 α این ادعا که سکه سالم نیست را آزمون کنیم استخراج نمونه تصادفی ) - - O i مشاهدات 0 e i انتظارات 00 = = 0 O i e i O i e i (O i e i ) (O i e i ) شیر خط جمع e i K = if K > χ (m ) α = χ () 0. then rej H 0 ( m): تعداد دسته ها )شیر و خط( مثال ( تاس ادعا شده که یک تاس وجهی سالم نیست برای بررسی این ادعا در سطح معنی دار =.0 0 α 00 بار این تاس را پرتاب کنید و فراوانی هر عدد روی تاس را... H 0 ρ i = H ρ i O i e i O i e i (O i e i ) (O i e i ) = e i K = 0. 8 if K = 0. 8 > χ () 0. then rej H 0 7

38 آزمون استقالل )مشابه آزمون آنالیز واریانس دو طرفه است دقت شود( هرگاه بخواهیم استقالل )عدم وابستگی (دو عامل با سطوح مختلف یا با حالتهای مختلف را مورد آزمون قرار دهیم یا بررسی کنیم از روش آزمون استقالل استفاده می کنیم. موارد : عالقمند هستند که بررسی کنید آیا شیفت های مختلف کاری با کاالی معیوب در یک خط تولید وابسته هستند یا مستقل گرایش به انتخاب رشته دانشگاهی و جنسیت فرد متقاضی وابسته هستند یا مستقل گرایش احزاب موجود )دموکرات جمهوری مستقل( و نژاد افراد وابسته هستند یا مستقل داده ها مربوط به این گونه مسائل )آزمون...( در جدولی تحت عنوان جدول توافقی r C بطور کلی نمایش می دهند.. c n i n (e ) n (e ) n c n 0 n n n c n 0... r... n r... n rα n ij(eij ) n rc n rc n j n. n. n. c n 00 H 0 : A B است مستقل از B A H 0 : A B نیست مستقل از B A / همیشه e تحت فرض H 0 هستند / تعداد آبزرویشن O = r c nij تعداد اعداد در سطر j و ستون i ρ(a B) ρ(a B) H0 H = ρ(a) ρ(b) = ρ(a) ρ(b A) e = e ij = i = r j = c (n. )(n. i) n 00 (n. i)(n. j) n 00 8

39 O i e i O i e i (O i e i ) O e O e e i (O e ) O e O e e (O e ). O O O. e e e. O e O e O e. e.... O r.c e rc (O r.c e r.c ) ρ. k r.c e r.c = (O i e i ) i= e i مثال ) فرض کنیداز دانشجو پسر و دانشجوی دختر در انتخاب یکی از گرایش های مورد عالقه خود شامل فیزیولوژی بیومکانیک رفتار حرکتی مدیریت پرسیده شده است و داده های زیر مشاهده گردیده است نکته چون حرف از تعداد زده شده )یعنی فراوانی ) پس از آزمون استقالل استفاده می کنیم. m f مدیریت حرکتی رفتار بیومکانیک فیزیولوژی جمع e = m f جمع فیزیولوژی (. ) 0(. ) =. بیومکانیک 0(. ) 0(7. 77) 0 حرکتی رفتار (. ) (. ) 0 مدیریت 0(. ) (. )

40 i O i 0 e i O i e i 00 (O i e i ) (O i e i ) e i k =. if K =. > χ () 0.0 = 0. 8 then rej H 0 جنسیت فرد و گرایش انتخابی مستقل نیستند