Duomenų analizė, interpretacija ir pateikimas

Transcription

1 Duomenų analizė, interpretacija ir pateikimas Žmogaus ir kompiuterio sąveikos projektavimas Kristina Lapin :33 1

2 Turinys Kokybinė ir kiekybinė analizė Klausimynų atsakymų analizė Interviu duomenų analizė Stebėjimų duomenų analizė Duomenų analizę palenginančios priemonės Duomenų analizė rezultatų interpretacija ir komunikavimas Teorinės sistemos: Pamatinė teorija Išskirstytas pažinimas Veiklų teorija Grounded theory Distributed cognition Activity theory :33 2

3 Tyrimų tipai Tyrimo tipas Esmė Tipinis teiginys Aprašomasis Aprašyti situaciją ar įvykius Reliacinis Identifikuoti įvairių aspektų santykius Vyksta veikla X X susijęs su Y Tipiniai metodai Stebėjimai, apklausos, fokuso grupės, interviu Stebėjimai, veiklų konteksto tyrimai, apklausos Eksperimentinis Identifikuoti įvykių priežastis X atsakingas už Y Valdomas eksperimentas Lazar, Feng, Hochheiser (2010) :33 3

4 Kokybinis ir kiekybinis tyrimai Kiekybiniai duomenys išreikšti skaičiais Užduoties atlikimo ar kompiuterių naudojimo trukmė Kokybiniai duomenys aprašai, komentarai, paveikslai, įrašai Matavimo problema, pvz. pasitenkinimo matavimas Kiekybinė analizė Skaitiniai metodai įvertinti dydį ir kiekį Kokybinė analizė Reiškinio esmė pavaizduota šablonais, scenarijais, veiklų vinjetėmis, komentarų fragmentais, nuotraukomis :33 4

5 Atsargiai Piktnaudžiavimas skaičiais Verčiame kokybinius duomenis kiekybiniais Taikome procentus mažoms imtims 2 iš 4 lankytojų pirkimas užtrūko ilgiau kaip 30 min. 50% lankytojų pirkimas užtrūko ilgiau kaip 30 min. Statistinių tyrimų rezultatų manipuliacijos Geriausio rezultato pateikimas, blogesnių nutylėjimas Duomenų koreliacija nebūtinai įrodo jų priežastinį ryšį Tendencingas atsitikinės imties parinkimas Tendencingas skaičiavimų parinkimas Dviprasmybės: daugelis, dažnai, visi, visuomet :33 5

6 Pirmieji analizės žingsniai Interviu Klausimynai Stebėjimai Įprasti pradiniai duomenys Garso įrašai, Užrašai, video Raštiški atsakymai, Interneto DB Stebėtojo užrašai. Nuotraukos. Garso ir vaizdo įrašai. Protokolai Kokybinių duomenų pavyzdžiai Atsakymai į atvirus klausimus. Nuotraukos Atvirų klausimų atsakymai, respondentų nuomonės Elgesio aprašai. Užduočių vykdymo aprašai. Neformalių procedūrų aprašai. Kiekybinių duomenų pavyzdžiai Atsakymai į uždarus klausimus, amžius, naudojimo patirties metai Atsakymai į uždarus klausimus, amžius, naudojimo patirties metai Dalyvių demografija. Užduočių atlikimo trukmė. Dalyvių skaičius. Pirminis apdorojimas Įrašų transkribavimas, užrašų išplėtimas Duomenų valymas, filtravimas. Užrašų plėtimas. Įrašų transkribavimas. Įrašų sinchronizavimas :33 6

7 Aprašomosios statistikos matai Centrinė tendencija Skirstinio vidurkiai: aritmetinis vidurkis, mediana, moda Diapazonas [min, max] Variacija duomenų išsibarstimo santykis su vidurkiu Atstumų nuo vidurkio kvadratų suma padalinta iš duomenų kiekio Patikimas duomenų intervalas Excel: funkcija confidence Dviejų imčių lyginimas Excel: ANOVA paketas :33 7

8 Paprasta kiekybinė analizė Vidurkiai Vidurkis: reikšmių suma dalinama iš jų skaičiaus Mediana: vidutinė duomenų reikšmė Moda: dažniausiai pasirodanti reikšmė Kada kuris tinka? 2, 3, 4, 6, 6, 7, 7, 7, 8 5, , 2, 2, 2, ,

9 Number of errors made Number of errors made Paprasta kiekybinė analizė Procentai Standartizuoti Palyginti kelias duomenų aibes Grafinis duomenų pavaizdavimas Number of errors made Number of errors made Internet use < once a day once a day once a week 2 or 3 times a week User User once a month 9

10 Analizė priklauso nuo klausimo 14 iš 26 54% 5 iš 26 19% 7 iš 26 27% :33 10

11 Analizė priklauso nuo klausimo tipo :33 11

12 Užduoties vykdymo laikas Išmokstamumo analizė ir pristatymas Tipinės metrikos Laikas per užduotį, 60 Išmokstatumo matavimas Klaidų skaičius, 50 Žingsnių skaičius per užduotį, Sėkmingų baigčių per tam tikrą laiką Ką rodo skirtumas tarp pirmo ir paskutinio bandymų? Bandymai laikas :33 12

13 Rezultatų pristatymas Pateikiamos išvados grindžiamos duomenimis Pristatymo būdas priklauso nuo auditorijos, tyrimo tikslo, duomenų ir atliktos analizės Grafinis pavaizdavimas palengvina suvokimą. Kitos technikos: Griežtos notacijos, pvz. UML Naudojimo scenarijai Rezultatų apibendrinimas :33 13

14 Stulpelinės diagramos :33 14

15 Linijinė diagrama :33 15

16 Išsibarstymo diagramos :33 16

17 Rutulinės diagramos :33 17

18 Sukrautų stulpelių grafikai :33 18

19 Kokios čia reikšmės? Few, Stephen (2013): Data Visualization for Human Perception. In: Soegaard, Mads and Dam, Rikke Friis (eds.). "The Encyclopedia of Human-Computer Interaction, 2nd Ed.". Aarhus, Denmark: The Interaction Design Foundation. Available online at :33 19

20 Duomenys surinkti dalijimosi dokumentais taikymo tyrime :33 20

21 Interneto naudojimo patirtis dalyvių grupėje 11% 11% 22% More than ones a day Once a day 2 or 3 times a week 17% Once a week Once a month 39% :33 21

22 Klaidų skaičius (1-4) Užduotyje pasitaikiusių klaidų analizė reikšmingų nuokrypių nėra 4,5 4 3,5 3 2,5 2 1,5 1 0, Naudotojas :33 22

23 Išsiskiriančių elementų vizualizavimas 4,5 Klaidų Išsibarstymas 4 3,5 3 2,5 2 Number o errors 1,5 1 0, :33 23

24 Laikas (min.) Prekės pasirinkimo ir pirkimo laikas Naudotojas A B C D E F G H I J K L M N O P Q R S Laikas (min.) Vidurkis 15,95 Mediana - 15 Moda Laikas (min.) N S, 26 H K A J M B C E F I L P Q R D G O Naudotojas Laikas (min.) Laikas (min.) A B C D E F G H I J K L M N O P Q R S :33 24

25 Telefono naudotojų tyrimas 100 repondentų atsakymai :33 25

26 MMORPG sąveikos šablonų tyrimas Star War Galaxies: Coronet City Ar sėkmingai žaidėjai skatinami bendradarbiauti interneto žaidime vaidmenimis? Metodai Stebėjimai 26 dienų protokolų analizė (Ducheneaut, Moore, 2004) :33 26

27 MMORPG sąveikos šablonų tyrimas Dienos sąveika valgykloje: gestai (raudoni) ir pasisakymai. Gestai: šypsenos, pasisveikinimai, plojimai, mojimai, mirktelėjimai, linktelėjimai ir kt :33 27

28 MMORPG sąveikos šablonų tyrimas Pasikartojantys sąveikos šablonai valgykloje OX ašis: žaidėjui skirtas gestų skaičius, OY ašis: žaidėjo gestų skaičius, Burbulo dydis: pasisakymų skaičius :33 28

29 MMORPG sąveikos šablonai Pasikartojantys sąveikos šablonai teleportavimosi uoste OX ašis: žaidėjui skirtas gestų skaičius, OY ašis: žaidėjo gestų skaičius, Burbulo dydis: pasisakymų skaičius :33 29

30 Protokolavimo vizualizavimas Veiklų tinklalapyje protokolas :33 30

31 KOKYBINĖ ANALIZĖ :33 31

32 Paprasta kokybinė analizė Nestruktūrizuota Be išankstinio plano Rezultatai įvairiapusiški, tačiau nereplikuojami Struktūrizuota Griežtas planas, paprastai iš klausimynų atsakymų Rezultatai replikuojami, tačiau susiję tik su atsakymais. Netikėtų atradimų ir įvairiapusiškų rezultatų tikėtis neverta. Pusiau struktūrizuota Atliekama pagal planą, tačiau dominantys klausimai gali būti nagrinėjami nuodugniau nei kiti. Tinkamas balansas tarp rezultatų įvairiapusiškumo ir replikuojamumo :33 32

33 Paprasta kokybinė analizė Pasikartojančių šablonų išskyrimas Atsiranda iš stebėjimo duomenų Priklauso nuo panaudotos stebėjimo metodikos Panašumo diagramos Affinity diagram Metodas identifikuoti pasikartojančius sąveikos šablonus :33 33

34 Pavyzdys: Europos kultūros temos Tikslas: ištirti Italijos, Vokietijos ir kitų šalių gyventojų gyvenimo būdą ir pomėgius. Rezultatai Buvimas kartu Labai svarbus, pasikartojantys šablonai: bendras valgymas, TV žiūrėjimas Pomėgiai įvairiapusiški: piešimas, grojimas muzikos instrumentais, periodikos skaitymas Vartojimo įpročiai Maistas perkamas kasdien, Prancūzijos ypatumas: šviežias maistas iš turgaus, paruošimas namuose, vertinama aukšta kokybė G Bell ( :33 34

35 Turinio analizė Duomenų kategorizavimas Kategorizuojami susitikimų, interviu ar mąstymo garsiai protokolai, identifikuojant panašius pasisakymus ir temas Kategorizavimo schema yra planuojama iš anksto Siekiant patvirtinti anskesnes hipotezes arba sudaroma iš gautų duomenų Renkant reikalavimus Svarbu pasirinkti Ortogonalias duomenų kategorijas Tinkamą granuliarumą: žodis, frazė, pastraipa Metodai: turinio analizė, diskurso analizė :33 35

36 Kategorizavimo pavyzdys (1) Naudotojo mąstymo garsiai įrašo transkripcija :33 36

37 Kategorizavimo pavyzdys (2) Panaudojamumo problemų kriterijai :33 37

38 Kategorizavimo pavyzdys (3) Kategorizuota transkripcija su panaudojamumo problemų kodais :33 38

39 Kokybinės analizės metodai Diskurso analizė akcentuoja dialogą: kas yra kalbama ir kokiais žodžiais išreiškiama prasmė Prielaida: nėra objektyvios mokslinės tiesos; kalba išreiškia socialinę realybę ir turi būti interpretuojama Nedideli frazių skirtumai gali iš esmės pakeisti prasmę Kritinių incidentų metodas Analizuojami tik svarbesni įvykiai - incidentai Pradžioje incidentai identifikuojami Pavyzdžiui, situaciją, kai vartotojai atrodo akivaizdžiai įstrigę, rodo komentarai, tyla arba pasimetęs žvilgsnis Tada jie detaliai analizuojami :33 39

40 Duomenų analizės priemonės Elektroninės skaičiuoklės paprasta naudoti, bazinė grafika Statistiniai paketai, pvz. SPSS Panaudojamumo tyrimų sistema: Morae Kokybinės duomenų analizės priemonės Kategorizacijos ir pasikartojančių šablonų analizė, pvz. N6 Tekstinių duomenų analizė :33 40

41 Skaičiuoklės Populiariausias įrankis Excel, Data Analysis tools Excel 2007: Excel Options -> Laukelyje Manage pasirinkti Excel Add-ins -> Analysis ToolPak ir leisti instaliuoti :33 41

42 Skaitmeninių bibliotekų sesijų trukmės analizė (Google analytics) Žvilgsnio trukmė heat map :33 42

43 Web analytics - skaitmeninių bibliotekų sesijų trukmės analizė Khoo, M., Pagano, J., Washington, A., Recker, M., Palmer, B., & Donahue, R. (2008). Using Web Metrics to Analyze Digital Libraries. In Proceedings of the Joint Conference on Digital Libraries :33 43 (pp ), New York: ACM.

44 Computer Assisted Qualitative Data AnalysiS (CAQDAS) project CAQDAS Networking Project, based at the University of Surrey ( Padeda tyrėjams susipažinti ir pasirinkti tinkamą analizės priemonę :33 44

45 Teorinės kokybinės analizės sistemos Duomenų analizės pagrindimas teorinėmis sistemomis leidžia geriau pagrįsti išvadas Esminės sistemos: Pamatinė teorija (angl. Grounded Theory) Paskirstytas pažinimas (angl. Distributed Cognition) Veiklų teorija (angl. Activity Theory) :33 45

46 Grounded theory Pamatinė teorija Reminatis duomenų analize ir interpretacija kuriama teorija išaikinanti reiškinį Paremta kategorizavimu (kodavimu) 3 kodavimo lygiai Atvirasis: identifikuojamos kategorijas ir pakartotinai analizuojama, ar jos padengia visus duomenis. Ašinis: plečia kategorijas ir susieja su subkategorijomis Selektyvusis: kategorijos tikslinamos ir integruojamos formuojant bendresnę teorinę schemą Tyrėjai skatinami remtis teoriniais metodais vykdant analizę :33 46

47 Atvirasis kodavimas Sarker, Lau, Sahay (2001) :33 47

48 Ašinis kodavimas :33 48 S.Sarker, F. Lau, S. Sahay (2001)

49 Selektyvusis kodavimas :33 49 S.Sarker, F. Lau, S. Sahay (2001)

50 Išskirstytas pažinimas Pažinimo sistemą sudaro žmonės, aplinka ir artefaktai. Komunikavimo kanalai keliai, kuriais perduodama informacija Pavyzdžiui, telefonas, e. paštas, fiziniai gestai Pavaizdavimo būsenų sklaida kaip informacija yra transformuojama skirtingose terpėse Pavyzdys: skambučių centras, informuojantis klientus apie produktus Analizė parodė darbuotojų jaučiamą įtampą, atsakant į klausimą per sek :33 50

51 Veiklų teorija Paaiškina žmogaus elgseną veikimo kontekste Akcentuoja veiklas ir identifikuoja įtampas Du modeliai: 1. Veiklų modelis 2. Artefaktų vaidmenų modelis :33 51

52 Individualusis modelis 52

53 Engeström s (1999) activity system model 53

54 Apibendrinimas Duomenų analizė priklauso nuo pasirinkto duomenų rinkimo būdo Kokybiniai ir kiekybiniai duomenys gali būti renkami visai trimis duomenų rinkimo būdais Sąveikos projektavime dažnai naudojami vidurkiai ir procentai Vidurkis, mediana ir moda yra skirtingi vidurinės reikšmės rūšys ir gali duoti skirtingus atsakymus tiems patiems duomenims Pamatinė teorija, išskirstytas pažinimas ir veiklų teorija suteikia duomenų analizė racionalų pagrindą Rezultatų pateikimas neturi iškreipti duomenų 54

55 Literatūra Rogers, Sharp, Preece (2011). Interaction design: Beyond Human Computer Interaction. Wiley. G. Bell (2001) Looking Across the Atlantic: Using Ethnographic Methods to Make Sense of Europe, Intel technical Journal 5(3). Khoo, M., Pagano, J., Washington, A., Recker, M., Palmer, B., & Donahue, R. (2008). Using Web Metrics to Analyze Digital Libraries. In Proceedings of the Joint Conference on Digital Libraries (pp ), New York: ACM. S.Sarker, F. Lau, S. Sahay (2001) Using an adapted grounded theory approach for inductive theory building about virtual team development, ACM SIGMIS Database Homepage archive, Volume 32 Issue 1, Winter 2001, ACM New York, NY, USA J. Lazar, J.I.Feng, H. Hochhgeiser (2010) Research Methods in Human- Computer Interaction, Wiley. N. Ducheneaut, R.J. Moore (2004) The social side of gaming: a study of interaction patterns in a massively multiplayer online game. In Proceedings of the 2004 ACM conference on Computer supported cooperative work (CSCW '04). ACM, New York, NY, USA, :33 55

56 Egzamino klausimų temos Tyrimų tipai ir su jais susiję duomenų rinkimo metodai Kiekybinio tyrimo rezultatų interpretavimas Kokybinio tyrimo metodai :33 56