8 laboratorinis darbas Klasterinė ir diskriminantinė analizė

Transcription

1 8 laboratorinis darbas Klasterinė ir diskriminantinė analizė Teorinė dalis 1.1. Hierarchinė klasterinė analizė Objektų klasifikavimas, kai nėra mokomųjų imčių SAS sistemoje realizuotas CLUSTER procedūroje. proc cluster method = metrika; id kintamasis; var kintamieji; ID nurodomas klasterizuojamas kintamasis, VAR kintamieji pagal kuriuos atliekama klasterizacija. AVERAGE CENTROID COMPLETE MEDIAN SINGLE WARD Dažniausiai naudojamos atstumo tarp klasterių metrikos Vidutinis atstumas tarp visų galimų dviejų klasterių objektų porų Centroidų metodas,,tolimiausio kaimyno metodas Goverio medianinis metodas,,artimiausio kaimyno metodas Ward s metodas Reikia suklasterizuoti dvylika Lietuvos didžiausių miestų, kurių artumų matricą sudaro atstumas kilometrais tarp miestų. Du klasterizavimo metodai pateikti su klasterių apjungimo medžiais (procedūra TREE). data atstumai(type=distance); input (alytus kaunas klaipeda marijampole mazeikiai palanga panevezys siauliai taurage telsiai utena vilnius) miestas $11.; datalines; 0 ALYTUS 69 0 KAUNAS KLAIPĖDA MARIJAMPOLĖ MAŽEIKIAI PALANGA PANEVĖŽYS ŠIAULIAI TAURAGĖ TELŠIAI UTENA VILNIUS ; /*--- Vidutinis atstumas ---*/ proc cluster data=atstumai method=average pseudo; id miestas; proc tree horizontal spaces=; id miestas; /*--- Ward`s metodas ---*/ proc cluster data=atstumai method=ward pseudo; id miestas; proc tree horizontal spaces=; id miestas;

2 Cluster History NCL Clusters Joined FREQ PSF PST Norm RMS Dist 11 KLAIPĖDA PALANGA MAŽEIKIAI TELŠIAI KAUNAS MARIJAMPOLĖ ALYTUS CL CL10 ŠIAULIAI UTENA VILNIUS PANEVĖŽYS CL CL7 TAURAGĖ CL11 CL CL8 CL CL CL T i e Cluster History NCL Clusters Joined FREQ SPRSQ RSQ PSF PST 11 KLAIPĖDA PALANGA MAŽEIKIAI TELŠIAI KAUNAS MARIJAMPOLĖ ALYTUS CL PANEVĖŽYS ŠIAULIAI UTENA VILNIUS CL11 CL CL5 TAURAGĖ CL7 CL CL8 CL CL CL T i e

3 Visi metodai siūlo miestus skirstyti į du klasterius pagal rytų vakarų išsidėstymą. Iš pateiktų pavyzdžių neaišku, kaip klasterizuoti Šiaulius, kuris yra vakarinėje Lietuvos dalyje. Abu tikyti metodai pateiktų galimą trečią klasterį sudarytą iš centrinio bei pietinio regionų Alytaus, Kauno ir Marijampolės miestų. Žinduoliai turi keturias dantų rūšis: kandžiai, iltys, kapliai, krūminiai. Duomenų faile DANTYS saugoma informacija apie 31 žinduolio kintamasis ZINDUOLIS kiekvienos dantų rūšies skaičių viršutinio ir apatinio žandikaulių vienoje pusėje kintamieji V1, V, V3, V4, V5, V6, V7 ir V8. Pateiktus gyvūnus suklasterizuosime pagal jų dantų skaičių. proc cluster data=dantys method=average nonorm; var v1-v8; id zinduolis; Eigenvalues of the Covariance Matrix Eigenvalue Difference Proportion Cumulative

4 Cluster History T NCL Clusters Joined FREQ RMS Dist i e 30 Bebras Švilpikas 0 T 9 Pilkoji voverė Dygliakiaulė 0 T 8 Vilkas Lokys 0 T 7 Kiaunė Ernis 0 T 6 Žebenkštis Opšrus 0 T 5 Jaguaras Puma 0 T 4 Kotikas Jūrų liūtas 0 T 3 Šiaurinis elnias Briedis 0 T Elnias Amerikinis briedis 0 1 Rudasis šikšnosparnis Sidabrakailis šikšnosparnis 1 T 0 Nykštukinis šikšnosparnis Naminis šikšnosparnis 1 T 19 CL30 CL9 4 1 T 18 CL7 Upinė ūdra 3 1 T 17 CL6 Jūrinė ūdra 3 1 T 16 CL3 CL CL0 Raudonasis šikšnosparnis CL17 Pilkasis ruonis CL8 Meškėnas T 1 CL4 Jūrų dramblys CL18 CL CL1 CL CL19 Naminė pelė CL11 CL Kurmis Triušis 6 CL8 CL CL13 CL CL10 CL CL4 CL CL3 CL CL CL k vidurkių klasterizavimo metodas Stebėjimų klasifikavimas, kai klasterių centrai sudaromi, kaip mažiausių kvadratų įverčiai, realizuotas FASTCLUS procedūroje. proc fastclus maxclusters = n; id kintamasis; var kintamieji; ID nurodomas klasterizuojamas kintamasis, VAR kintamieji pagal kuriuos atliekama klasterizacija. Apjungsime į dvi grupes Fišerio naudotus vilkdalgio Iris setosa duomenis pagal artimiausius taurėlapių bei vainiklapių ilgius ir pločius. data setosa; input TaurelapioIlgis TaurelapioPlotis ZiedlapioIlgis label taurelapioilgis='taurėlapio ilgis mm.' taurelapioplotis='taurėlapio plotis mm.' zidlapioilgis='žiedlapio ilgis mm.' ziedlapioplotis='žiedlapio plotis mm.'; datalines;

5 ; proc fastclus data=setosa maxclusters= out=klasteriai; var TaurelapioIlgis TaurelapioPlotis VainiklapioIlgis VainiklapioPlotis; proc gplot data=klasteriai; plot TaurelapioIlgis*TaurelapioPlotis=Cluster; Cluster Means Cluster TaurelapioIlgis TaurelapioPlotis VainiklapioIlgis VainiklapioPlotis Diskriminantinė analizė Turint mokomąsias imtis objektų klasifikavimui naudojama DISCRIM procedūra. proc discrim testdata=klasifikuojami_duomenys method=metodas pool=yes no <parinktys>; class kintamasis; var kintamieji;

6 CLASS nurodomas klasifikuojamas kintamasis, VAR kintamieji pagal kuriuos atliekamas klasifikavimas. METHOD = NORMAL NPAR apibrėžiamas metodas naudojamas klasifikavimo kriterijaus gavimui. POOL = YES NO nurodoma ar bendra visos imties, ar tarpgrupinė kovariacinė matrica bus kvadratinio atstumo matavimo pagrindas. Jei nurodoma POOL = YES, tai procedūra skaičiuodama kvadratinius atstumus naudoja bendrą kovariacinę matricą; randa tiesinės diskriminantinės funkcijos pavidalą. TESTDATA = SAS duomenų failas klasifikuojami reikiami duomenys. Kiekybinio kintamojo reikšmės turi atitikti esančias mokomosios imties DATA = duomenų faile. Dažniausiai naudojamos parinktys ANOVA Pateikia hipotezės, kad klasių vidurkiai populiacijoje kiekvienam kintamajam yra lygūs, bendras statistikas. CROSSLIST Pateikia kryžminių tikrinimų klasifikavimo rezultatus kiekvienam stebėjimui. CROSSLISTERR Pateikia kryžminių tikrinimų klasifikavimo rezultatus tik klasifikuotiems stebėjimams. MANOVA Pateikia hipotezės, kad klasių vidurkiai populiacijoje kiekvienam kintamajam yra lygūs, bendras daugiadispersines statistikas. NOCLASSIFY Nerodo pakeitimų klasifikacijos mokomosios imties duomenų failui. SHORT Nerodo tam tikrų paragrafų. Jei nurodyta METHOD = NORMAL, nerodomi sprendžiamieji faktoriai, apibendrinti kvadratiniai atstumai tarp klasių vidurkių ir diskriminantinės funkcijos koeficientai. Duomenys apie vilkdalgius, pirmą kartą naudoti Fišerio (1936), plačiai taikomi diskriminantinės ir klasterinės analizės pavyzdžiuose. Faile VILKDALGIS saugoma trijų rūšių vilkdalgių Iris setosa, Iris versicolor ir Iris virginica žiedlapių ir taurėlapių ilgio ir pločio matmenys milimetrais. Diskriminantinės analizės metodu įvertintas žiedlapio pločio pasiskirstymas palengvina tikimybių skaičiavimą kitais kartais. proc discrim data=vilkdalgis method=normal pool=yes short noclassify crosslisterr; class rusys; var ziedlapio_plotis; Observations 150 DF Total 149 Variables 1 DF Within Classes 147 Classes 3 DF Between Classes Class Level Information rusys Variable Name Frequency Weight Proportion Prior Probability Setosa Setosa Versicolor Versicolor Virginica Virginica Posterior Probability of Membership in rusys Classified into Obs From rusys rusys Setosa Versicolor Virginica 5 Virginica Versicolor * Versicolor Virginica * Virginica Versicolor * Virginica Versicolor * Virginica Versicolor * Versicolor Virginica *

7 Number of Observations and Percent Classified into rusys From rusys Setosa Versicolor Virginica Total Setosa Versicolor Virginica Total Priors Error Count Estimates for rusys Setosa Versicolor Virginica Total Rate Priors Pasiskirstymo tankių mišinys Sakome, kad atsitiktinis vektorius X R d tenkina skirstinių mišinio modelį, jeigu jo pasiskirstymo tankis q f(x) tenkina lygybę f ( x) pk f k ( x) f ( x, ). Parametras q vadinamas mišinio klasterių (komponentų, klasių) k 1 skaičiumi, o p k apriorinėmis tikimybėmis. Jos tenkina sąlygas: p k > 0, p 1. Funkcija f k (x) yra pasiskirstymo tankio funkcija, o daugiamatis modelio parametras. Sugeneruosime 100 atsitiktinių vektorių pasiskirsčiusių pagal dvimatį Gauso ir Laplaso skirstinių su nepriklausomomis komponentėmis mišinį f ( x) 0,5N ( x, m, s ) 0,5L( x,, ) bei parametrais: Gauso skirstinio vidurkiu (; ), dispersijomis (1; 1) bei Laplaso skirstinio padėties parametru (1; 0), mastelio parametru (0,7; 0,5). data imtis; _seed_ = 1345; do i = 1 to 100; c = ranuni(_seed_); if c < 0.5 then do; X1 = + 1 * rannor(_seed_); X = + 1 * rannor(_seed_); end; else do; zenklas = * ranbin(_seed_,1,0.5) - 1; X1 = * zenklas * ranexp(_seed_); X = * zenklas * ranexp(_seed_); end; f = 0.5 * pdf('normal',x1,,1) * pdf('normal',x,,1) * pdf('laplace',x1,1,0.7) * pdf('laplace',x,0,0.5); output; end; keep X1 X f; Užduotys 1. Įsivaizduokime, kad ateities archeologas atkasa šių dienų parduotuvės sandėlį (failas PARDUOTUVE). Čia jis randa daug įvairaus dydžio, išvaizdos ir spalvos dėžučių ir nori atlikti išankstinę jų klasifikaciją pagrįstą išoriniais radinių matavimais: aukštis, plotis, gylis, svoris ir dominuojanti spalva. Kokia spalva yra svarbi produktų pakuotei nėra žinoma, todėl analizę reikia atlikti tiek ir su, tiek ir be informacijos apie spalvą. Pagal dėžutėse laikytas prekes jos suskirstytos į šešias kategorijas: dribsniai, sausainiai, skalbimo priemonės, vaikiški skanėstai, arbata ir dantų pasta. q k 1 k

8 . Sugeneruokite 1000 atsitiktinių vektorių pasiskirsčiusių pagal penkiamatį Gauso skirstinių su nepriklausomomis q komponentėmis mišinį pk N( x, mk, s k ) ir parametrais k 1 p 1 =0.6, m 1 =[0,0; 0,0; 0,0; 0,0; 0,0], p =0.3, m =[,0;,0;,0;,0;,0], p 3 =0.1, m 3 =[N; N/; N/3; N/4; N/5], s =[0,4; 0,51; 0,35; 0,60; 0,48], 1 3 s =[0,33; 0,46; 0,53; 0,43; 0,45], s =[1,00; 1,00; 1,00; 1,00; 1,00]. Mišinio klasterizavimui panaudoję k vidurkių metodą apskaičiuokite mišinio tankio vertinimo paklaidą n 1 f ( X ( t)) fˆ( X ( t)). n t 1 3. Faile DERLIUS saugoma įvairių tarpusavyje artimai nesusijusių augalų kultūrų derlius. Atlikite diskriminantinę analizę galimam derliaus prognozavimui. 4. Paaiškinkite gautus rezultatus, parašykite išvadas ir įrašykite juos į teksto redaktoriaus MS WORD failą L8_SAS_N.doc, čia N jūsų varianto numeris.