Inštitut za matematiko, fiziko in mehaniko. Seminar DMFA Slovenije. Zgledi uporabe statistike na različnih strokovnih področjih

Transcription

1 Inštitut za matematiko, fiziko in mehaniko Seminar DMFA Slovenije Zgledi uporabe statistike na različnih strokovnih področjih Bayesov pristop v statistiki Aleš Toman ales.toman@imfm.si Pedagoška fakulteta, Ljubljana, 28. januar 2012

2 Obstajajo 4 vrste laži 1. Laži 2. Velike laži 3. Statistika 4. Bayesova statistika

3 Obstajajo 4 vrste laži 1. Laži 2. Velike laži 3. Statistika 4. Bayesova statistika Načrt predavanja Ocenjevanje parametrov v Bayesovi statistiki Analiza primera Napovedovanje v Bayesovi statistiki Ali pa...

4 Na kaj boste stavili: na cifro ali na Trubarja?

5 Na kaj boste stavili: na cifro ali na Trubarja? Ali je evrski kovanec pošten? Izvedemo poskus (met kovanca), možna sta dva izida oziroma dogodka: dogodek dogodek pade cifra, pade Trubar.

6 Verjetnosti naštetih dogodkov: ( ) ( ) ( ), ( ). Za sprejem odločitve potrebujemo vrednost parametra. Statistika

7 Verjetnosti naštetih dogodkov: ( ) ( ) ( ), ( ). Za sprejem odločitve potrebujemo vrednost parametra. Statistika Recimo, da kovanec vržemo 10-krat in da je cifra padla 7-krat. Kaj lahko povemo o? Kakšne so naše možnosti za pravilno napoved v 11. metu? frekventistična statistika Bayesova statistika

8 Zgodovinski pregled (Bayesove) statistike Pastor Thomas Bayes ( , ZK). Richard Price ( , ZK) leta 1763 objavi Bayesove zapiske A problem in the doctrine of chances. Bayesova formula o pogojnih verjetnostih je ( ) ( ) ( ) ( ).

9 Zgodovinski pregled (Bayesove) statistike Pastor Thomas Bayes ( , ZK). Richard Price ( , ZK) leta 1763 objavi Bayesove zapiske A problem in the doctrine of chances. Bayesova formula o pogojnih verjetnostih je ( ) ( ) ( ) ( ). Konec 18. stoletja je Pierre-Simon de Laplace ( , F) (neodvisno) predstavil, kako»bayesovo«formulo uporabimo v različnih situacijah.

10 Šokantno: Dva raziskovalca na osnovi istih podatkov prideta do različnih zaključkov le zato, ker sta pred poskusom imela različna pričakovanja! V 30-ih letih 20. stoletja so Ronald A. Fisher ( , ZK), Egon Pearson ( , ZK) in Jerzy Neyman ( , PL, ZDA) predstavili in uveljavili frekventistično statistiko. 20. stoletje je bilo stoletje»objektivne«frekventistične statistike.

11 Bayesov pristop ni povsem zamrl: Harold Jeffreys ( , ZK), Bruno de Finetti ( , Avstrija, Italija), Dennis Victor Lindley (1923, ZK). Omogočal je enostavno matematično formulacijo tudi zelo zapletenih statističnih modelov, običajno pa ni bilo možno ničesar poračunati. You're wrong but even if you weren't wrong, you still can't do the computation.

12 Konec 20. stoletja: dostopnost zmogljivih osebnih računalnikov razvoj učinkovitih simulacijskih metod

13 Konec 20. stoletja: dostopnost zmogljivih osebnih računalnikov razvoj učinkovitih simulacijskih metod Bayesova statistika ponovno aktualna v teoretičnem in aplikativnem svetu.

14 Komu pripada 21. stoletje?

15 Komu pripada 21. stoletje? Bloomberg: spremljanje in analiza finančnih podatkov v realnem času

16 Komu pripada 21. stoletje? DNK mikromreža, mikročip: analiza DNK, genetski testi

17 Komu pripada 21. stoletje? Google: tehnologija vozil brez voznika

18 Komu pripada 21. stoletje? Nekateri pravijo, da bo 21. stoletje (zopet) stoletje Bayesove statistike. Drugi vidijo prihodnost v kombinaciji obeh pristopov.

19 Pogojne verjetnosti Naj bosta v istem poskusu možna dogodka in. Pogojna verjetnost ( ) dogodka glede na dogodek je verjetnost dogodka ob pogoju, da se je zgodil dogodek. Izračunamo jo po formuli ( ) ( ) ( ).

20 Dvofazni poskusi in Bayesova formula Bayesovo formulo pogosto povezujejo z dvofaznimi poskusi, kjer v prvi fazi nastopi natanko en iz popolnega sistema dogodkov (hipotez) in od tega, kateri se je pripetil, so odvisni pogoji drugega poskusa, v katerem opazujemo dogodek. Privzemimo, da poznamo verjetnosti vseh hipotez ( ) ( ), pogojne verjetnosti dogodka ( ) ( ) glede na posamezne hipoteze

21 Dvofazni poskusi in Bayesova formula Bayesovo formulo pogosto povezujejo z dvofaznimi poskusi, kjer v prvi fazi nastopi natanko en iz popolnega sistema dogodkov (hipotez) in od tega, kateri se je pripetil, so odvisni pogoji drugega poskusa, v katerem opazujemo dogodek. Privzemimo, da poznamo verjetnosti vseh hipotez ( ) ( ), pogojne verjetnosti dogodka ( ) ( ) glede na posamezne hipoteze Formula za popolno verjetnost nam pove, kako izračunamo brezpogojno verjetnost dogodka (razčlenitev po vseh možnih načinih) ( ) ( ) ( ).

22 Postavimo si obratno vprašanje: Če se je dogodek v drugi fazi zgodil, kolikšna je verjetnost, da se je v prvi fazi zgodila hipoteza? Bayesova formula nam pomaga zamenjati dogodke v pogojni verjetnosti. ( ) ( ) ( ) ( ). Poimenovanje verjetnosti: ( ) so apriorne verjetnosti hipotez, ( ) so aposteriorne verjetnosti hipotez.

23 Postavimo si obratno vprašanje: Če se je dogodek v drugi fazi zgodil, kolikšna je verjetnost, da se je v prvi fazi zgodila hipoteza? Bayesova formula nam pomaga zamenjati dogodke v pogojni verjetnosti. ( ) ( ) ( ) ( ). Poimenovanje verjetnosti: ( ) so apriorne verjetnosti hipotez, ( ) so aposteriorne verjetnosti hipotez. Opazimo, da je imenovalec od neodvisen in je pri vseh hipotezah enak. Potrebujemo ga za to, da se verjetnosti ( ) vseh hipotez seštejejo v 1. ( ) ( ) ( )

24 Primer: Testiranje bolezni Opravili smo preventivni test za odkrivanje redke bolezni, za katero ni povsem jasno, kateri dejavniki jo spodbujajo in kateri zavirajo. Rezultat testa je pozitiven. O testu in bolezni vemo naslednje: 99% bolnih ljudi je imelo pozitiven test (true positive), 98% zdravih ljudi je imelo negativen test (true negative), bolezen prizadane 0.1% prebivalstva. Kolikšna je verjetnost, da smo resnično bolni?

25 Primer: Testiranje bolezni Opravili smo preventivni test za odkrivanje redke bolezni, za katero ni povsem jasno, kateri dejavniki jo spodbujajo in kateri zavirajo. Rezultat testa je pozitiven. O testu in bolezni vemo naslednje: 99% bolnih ljudi je imelo pozitiven test (true positive), 98% zdravih ljudi je imelo negativen test (true negative), bolezen prizadane 0.1% prebivalstva. Kolikšna je verjetnost, da smo resnično bolni? Iz podatkov hitro izračunamo 1% bolnih ljudi je imelo negativen test (false negative), 2% zdravih ljudi je imelo pozitiven test (false positive).

26 Dogodki in njihove verjetnosti oseba je zdrava, oseba je bolna, rezultat testa je pozitiven, rezultat testa je negativen. ( ), ( ), ( ), ( ), ( ), ( ).

27 Dogodki in njihove verjetnosti oseba je zdrava, oseba je bolna, rezultat testa je pozitiven, rezultat testa je negativen. ( ), ( ), ( ), ( ), ( ), ( ). Zanima nas ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ).

28 Dogodki in njihove verjetnosti oseba je zdrava, oseba je bolna, rezultat testa je pozitiven, rezultat testa je negativen. ( ), ( ), ( ), ( ), ( ), ( ). Zanima nas ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ). Dogajanje si lažje predstavljamo s tabelarično razvrstitvijo ljudi.

29 ljudi, med njimi je 100 bolnih, od tega jih je o 99 imelo pozitiven test, 1 imel negativen test, zdravih, od tega jih je o 1998 imelo pozitiven test in imela negativen test.

30 ljudi, med njimi je 100 bolnih, od tega jih je o 99 imelo pozitiven test, 1 imel negativen test, zdravih, od tega jih je o 1998 imelo pozitiven test in imela negativen test. Izid testa Pozitiven Negativen Stanje Zdrav Bolan

31 ljudi, med njimi je 100 bolnih, od tega jih je o 99 imelo pozitiven test, 1 imel negativen test, zdravih, od tega jih je o 1998 imelo pozitiven test in imela negativen test. Izid testa Stanje Zdrav Bolan Pozitiven Negativen

32 ljudi, med njimi je 100 bolnih, od tega jih je o 99 imelo pozitiven test, 1 imel negativen test, zdravih, od tega jih je o 1998 imelo pozitiven test in imela negativen test. Izid testa Stanje Zdrav Bolan Pozitiven Negativen ( ) in ( ).

33 Ocenjevanje parametrov z Bayesovim pristopom Idejno sledimo spreminjanju verjetnosti hipotez ob tem, ko smo opazili dogodek, to je Bayesova formula ( ) ( ) ( ) ( ).

34 Ocenjevanje parametrov z Bayesovim pristopom Idejno sledimo spreminjanju verjetnosti hipotez ob tem, ko smo opazili dogodek, to je Bayesova formula ( ) ( ) ( ) ( ). 1. Privzamemo apriorno porazdelitev ( ) za ocenjevani parameter. 2. Izračunamo pogojno verjetnost (verjetje) ( ) opazovanih podatkov glede na fiksno vrednost parametra. 3. Izračunamo aposteriorno porazdelitev ( ) parametra ( ) ( ) ( ) ( ).

35 Imenovalec predstavlja brezpogojno verjetnost opazovanih podatkov ( ) ( ) ( ) in ni odvisen od parametra. Običajno zapišemo ( ) ( ) ( ) in nato določimo ustrezne konstante.

36 Imenovalec predstavlja brezpogojno verjetnost opazovanih podatkov ( ) ( ) ( ) in ni odvisen od parametra. Običajno zapišemo ( ) ( ) ( ) in nato določimo ustrezne konstante. Apriorna porazdelitev Podatki Aposteriorna porazdelitev Za oceno parametra navedemo izbrane številske karakteristike ( ).

37 Vrnimo se k evrskemu kovancu. V desetih metih smo dobili cifer. Kaj lahko povemo o parametru? Vprašali bomo 3 statistike.

38 Vrnimo se k evrskemu kovancu. V desetih metih smo dobili cifer. Kaj lahko povemo o parametru? Vprašali bomo 3 statistike. Povprašajmo najprej frekventista Franca je bilo v Sloveniji Franc najpogostejše moško ime za osebe, rojene v obdobju Vzorec ( ) je sicer zelo majhen...

39 Vrnimo se k evrskemu kovancu. V desetih metih smo dobili cifer. Kaj lahko povemo o parametru? Vprašali bomo 3 statistike. Povprašajmo najprej frekventista Franca je bilo v Sloveniji Franc najpogostejše moško ime za osebe, rojene v obdobju Vzorec ( ) je sicer zelo majhen... Cenilka po metodi momentov je. Cenilka po metodi največjega verjetja je. Ocenjena standardna napaka zgornjih cenilk je ( ). 95% interval zaupanja za parameter je.

40 Povprašajmo za mnenje še Bayesovko Barbaro je bilo v Sloveniji Barbara najpogostejše žensko ime na B za osebe, rojene v obdobju Najpogostejše žensko ime v tem obdobju je bilo Anja.

41 Povprašajmo za mnenje še Bayesovko Barbaro je bilo v Sloveniji Barbara najpogostejše žensko ime na B za osebe, rojene v obdobju Najpogostejše žensko ime v tem obdobju je bilo Anja. Barbara se s Francevo oceno ne strinja. Ne verjame, da je lahko evrski kovanec tako zelo nepošten. Uporabila bo Bayesov pristop ( ) ( ) ( )

42 Funkcija verjetja opazovanih podatkov ( ) je ob znanem parametru enaka binomskemu verjetju. Verjetnost za izid s 7 ciframi znaša ( ) ( ) ( ) ( ).

43 Funkcija verjetja opazovanih podatkov ( ) je ob znanem parametru enaka binomskemu verjetju. Verjetnost za izid s 7 ciframi znaša ( ) ( ) ( ) ( ). Jasno je, da leži med 0 in 1. To upošteva pri apriorni porazdelitvi. Možna izbira je beta porazdelitev.

44 Naj bo ( ). Potem je ( ) ( ) ( ) ( ) za, ( ), ( ) ( ) ( ).

45 Naj bo ( ). Potem je ( ) ( ) ( ) ( ) za, ( ), ( ) ( ) ( ). Ker Barbara meni, da je kovanec pošten, bo hiperparametra in določila tako, da bo ( ). To pomeni, da mora izbrati. Disperzija je zato enaka ( ) Pri izbiri to znese. ( ), standardni odklon pa ( ).

46 Graf Barbarine apriorne porazdelitve parametra.

47 Graf Barbarine apriorne porazdelitve parametra. Z uporabo Bayesovega pravila ugotovi, da je ( ) ( ) ( ) ( ) Opazi obliko beta porazdelite, zato ( ) ( )

48 Graf Barbarine aposteriorne porazdelitve parametra.

49 Graf Barbarine aposteriorne porazdelitve parametra. Njene lastnosti so upanje, disperzija ( ) ( ), standardni odklon.

50 Graf Barbarine aposteriorne porazdelitve parametra. 95% centralni interval aposteriorne verjetnosti znaša.

51 Tretji statistik je Bayesovec Blaž je bilo v Sloveniji Blaž najpogostejše moško ime na B za osebe, rojene v obdobju Najpogostejše moško ime v tem obdobju je bilo Luka.

52 Tretji statistik je Bayesovec Blaž je bilo v Sloveniji Blaž najpogostejše moško ime na B za osebe, rojene v obdobju Najpogostejše moško ime v tem obdobju je bilo Luka. Blaž zelo verjame, da je evrski kovanec pošten. Glede funkcije verjetja opazovanih podatkov ( ) se strinja z Barbaro ( ) ( ) ( ) ( ). Izbira apriorne beta porazdelitev se mu zdi primerna (le zakaj?).

53 Tretji statistik je Bayesovec Blaž je bilo v Sloveniji Blaž najpogostejše moško ime na B za osebe, rojene v obdobju Najpogostejše moško ime v tem obdobju je bilo Luka. Blaž zelo verjame, da je evrski kovanec pošten. Glede funkcije verjetja opazovanih podatkov ( ) se strinja z Barbaro ( ) ( ) ( ) ( ). Izbira apriorne beta porazdelitev se mu zdi primerna (le zakaj?). Hiperparametra bo določil tako, da bo standardni odklon apriorne porazdelitve veliko manjši. Pri izbiri je ( ).

54 Graf Blaževe apriorne porazdelitve parametra.

55 Graf Blaževe apriorne porazdelitve parametra. Z uporabo Bayesovega pravila ugotovi, da je ( ) ( ) ( ) ( ) Opazi obliko beta porazdelite, zato ( ) ( )

56 Graf Blaževe aposteriorne porazdelitve parametra.

57 Graf Blaževe aposteriorne porazdelitve parametra. upanje, disperzija ( ) ( ), standardni odklon. 95% centralni interval aposteriorne verjetnosti.

58 Rezultati in nekaj lastnosti Bayesove statistike Franc Barbara Blaž Ocena Standardni odklon Intervalska ocena

59 Rezultati in nekaj lastnosti Bayesove statistike Franc Barbara Blaž Ocena Standardni odklon Intervalska ocena 1. Prikazovanje rezultatov Barbara in Blaž sta za oceno parametra izbrala upanje aposteriorne porazdelitve neznanega parametra, negotovost pa predstavila z njenin standardnim odklonom ter centralnim intervalom aposteriorne gostote. Obstajajo še druge možne točkaste in intervalske ocene istega parametra.

60 2. Konjugirane apriorne porazdelitve Dužina beta porazdelitev je konjugirana k funkciji verjetja binomske porazdelitve. Takih parov je v Bayesovi statistiki ogromno.

61 2. Konjugirane apriorne porazdelitve Dužina beta porazdelitev je konjugirana k funkciji verjetja binomske porazdelitve. Takih parov je v Bayesovi statistiki ogromno. 3. Aposteriorna porazdelitev je kompromis med apriorno in podatki Pri apriorni porazdelitvi ( ) in opazovanih 7 cifrah in 3 Trubarjih, je ( ) ( ) ( ) Pri Barbari ( Pri Blažu ( ) sta»vodilno«vlogo imeli števili 7 in 3 iz poskusa. ) je imelo vodilno vlogo njegovo apriorno prepričanje. Aposteriorne porazdelitve so vselej kompromis med podatki in apriornimi prepričanji. Pri tem pa z rastočo velikostjo vzorca raste pomen podatkov.

62 4. Bayesova statistika je subjektivna Barbarina apriorna porazdelitev vsebuje faktorja ( ) kar je ekvivalentno dejstvu, da bi v šestih metih kovanca opazili 3 cifre. Blaževa apriorna porazdelitev vsebuje faktorja ( ) kar je ekvivalentno apriornemu prepričanju, da v 118 metih padlo 59 cifer. To kaže na njegovo močno prepričanje, da je kovanec pošten.

63 4. Bayesova statistika je subjektivna Barbarina apriorna porazdelitev vsebuje faktorja ( ) kar je ekvivalentno dejstvu, da bi v šestih metih kovanca opazili 3 cifre. Blaževa apriorna porazdelitev vsebuje faktorja ( ) kar je ekvivalentno apriornemu prepričanju, da v 118 metih padlo 59 cifer. To kaže na njegovo močno prepričanje, da je kovanec pošten. 5. Bayesova statistika iz istih podatkov pride do različnih zaključkov Vzrok za to je v subjektivni izbiri apriorne porazdelitve. Bayesovi statistiki te očitke zavračajo s filozofskim vprašanjem, kaj sploh so naši podatki.

64 Imamo tri statistike in tri različne ocene istega parametra. Komu najbolj zaupamo?

65 Imamo tri statistike in tri različne ocene istega parametra. Komu najbolj zaupamo?

66 Imamo tri statistike in tri različne ocene istega parametra. Komu najbolj zaupamo? Bayesova statistika se nam zdi privlačna, ker smo imeli malo podatkov in veliko vedenja o apriornih porazdelitvah. V drugačnih situacijah je lahko rezultat nasproten.

67 Kako se Bayesovi statistiki spopadajo z očitki subjektivnosti Vpeljali so t.i. neinformativne apriorne porazdelitve. Z družino beta porazdelitev lahko opišemo zelo različna prepričanja.

68 Kako se Bayesovi statistiki spopadajo z očitki subjektivnosti Vpeljali so t.i. neinformativne apriorne porazdelitve. Z družino beta porazdelitev lahko opišemo zelo različna prepričanja. Simetrične porazdelitve dobimo pri (oziroma a = b na sliki). Pri izbiri dobimo enakomerno porazdelitev na intervalu. To pomeni, da nimamo nikakršnih apriornih pričakovanj.

69 Če verjamemo, da kovanec ni pošten, so možne še nesimetrične porazdelitve.

70 Če verjamemo, da kovanec ni pošten, so možne še nesimetrične porazdelitve. Apriorno porazdelitev lahko izberemo tudi izven družine beta porazdelitev. Ideje ostanejo iste, le računanje se (zelo) zakomplicira simulacijski algoritmi

71 Analiza kovanca z neinformativno apriorno porazdelitvijo ( ) Če je apriorna porazdelitev enakomerna na intervalu porazdelitev je aposteriorna ( ) ( ) ( ) ( ) kar sorazmerna funkciji verjetja. V našem primeru dobimo ( ). Njene lastnosti so upanje, standardni odklon. 95% centralni interval aposteriorne verjetnosti.

72 Bomo šli domov? Po vsej analizi se odločimo, da bomo stavili na cifro. Kolikšna je tedaj verjetnost, da bomo po metu kovanca odšli domov?

73 Bomo šli domov? Po vsej analizi se odločimo, da bomo stavili na cifro. Kolikšna je tedaj verjetnost, da bomo po metu kovanca odšli domov? V Bayesovi statistiki lahko odgovorimo, saj poznamo porazdelitev parametra. ( ) ( ) ( ) ( ) ( ). Barbara tako izračuna verjetnost, Blaž pa verjetnost.

74 Bayesovo posodabljanje ocen Denimo, da smo isti kovanec vrgli še 5-krat ter pri tem dobili 2 cifri in 3 Trubarje. Skupaj smo v 15 metih dobili 9 cifer in 6 Trubarjev. Barbarina apriorna porazdelitev je ( )

75 Bayesovo posodabljanje ocen Denimo, da smo isti kovanec vrgli še 5-krat ter pri tem dobili 2 cifri in 3 Trubarje. Skupaj smo v 15 metih dobili 9 cifer in 6 Trubarjev. Barbarina apriorna porazdelitev je ( ) Be(4,4) 7 C 3 T Be(11,7) Be(4,4) 9 C 6 T B(13,10)

76 Bayesovo posodabljanje ocen Denimo, da smo isti kovanec vrgli še 5-krat ter pri tem dobili 2 cifri in 3 Trubarje. Skupaj smo v 15 metih dobili 9 cifer in 6 Trubarjev. Barbarina apriorna porazdelitev je ( ) Be(4,4) 7 C 3 T Be(11,7) Be(11,7) 2 C 3 T B(13,10) Be(4,4) 9 C 6 T B(13,10)

77 Zaključek Frekventistična statistika Bayesova statistika Parametri Ocenjevanje parametrov Parametri so neznane konstante. 95% interval zaupanja za parameter je. Če poskus in analizo ponovimo zelo velikokrat, bomo v 95% primerov pokrili pravo vrednost. Parametri so slučajne spremenljivke. Verjetnost, da parameter na intervalu oz. intervalu je 95%. leži

78 Zaključek Frekventistična statistika Bayesova statistika Parametri Ocenjevanje parametrov Parametri so neznane konstante. 95% interval zaupanja za parameter je. Če poskus in analizo ponovimo zelo velikokrat, bomo v 95% primerov pokrili pravo vrednost. Parametri so slučajne spremenljivke. Verjetnost, da parameter na intervalu oz. intervalu je 95%. leži Zaključki Bayesove statistike so običajno bistveno lažje razumljivi kot zaključki frekventistične statistike. Zakaj se torej ne učimo Bayesove statistike? Zahtevni računi, primerni za matematično dobre slušatelje. Težka smiselna izbira apriornih porazdelitev, očitki subjektivnosti. Tradicija znanstvenih podočij frekventistična statistika.

79 Viri in literatura [1] J. Albert: Bayesian Computation With R, Springer, New York, 2009 [2] J.A. Čibej: Matematika. Kombinatorika, verjetnostni račun, statistika, DZS, Ljubljana, 1994 [3] A.B. Gelman, J.B. Carlin, H. Steven Stern, D.B. Rubin: Bayesian data analysis, Chapman & Hall/CRC, 2004 [4] M. Lavine: What is Bayesian statistics and why everything else is wrong, [5] M. Parker: Foundations of Statistics Frequentist and Bayesian, [6] J.W. Stevens: What is Bayesian statistics?

80 Hvala za pozornost in srečno!