Verifikacija napovedi padavin

Transcription

1 Oddelek za Meteorologijo Seminar: 4. letnik - univerzitetni program Verifikacija napovedi padavin Avtor: Matic Šavli Mentor: doc. dr. Nedjeljka Žagar 26. februar 2012 Povzetek Pojem verifikacije je v meteorologiji zelo pomemben, saj predstavlja mehanizem z katerim ugotovimo kvaliteto prognostičnega modela. V seminarju, bom opisal nekaj enostavnih metod verifikacije, kot sta binarna in večkategorična tabela. Opisal bom njihove prednosti, predvsem pa njihove slabosti. V meteorologiji je posebno težavna napoved spremenljik, ki popisujejo padavine. Podobno je težavna tudi verifikacija takšnih spremenljivk, zato so potrebne kompleksnejše metode. Kot korak proti kompleksnejšim metodam, bom opisal poseben sklop metod t.i Fuzzy metode, ki so pravzaprav le nadgradnja metod opisanih v uvodu seminarja. Te metode so teoretično še vedno enostavne, težavna pa je njihova tehnična uporaba.

2 Kazalo 1 Uvod Osnovne značilnosti Vrste meteoroloških napovedi in pripadajočih verifikacij Matematični opis verifikacije Osnovne metode verifikacije v meteorologiji Verifikacija napovedi diskretne spremenljivke Binarna tabela Vpeljava parametra Skill score Večkategorična tabela Verifikacija napovedi zvezne spremenljivke Verifikacija padavin Opredelitev verifikcije padavin Problem Double penalty Metode občutljive na časovno in prostorsko skalo Zaključek 14 1 Uvod 1.1 Osnovne značilnosti Verifikacije je postopek, s katerim želimo ugotoviti, kako dobra je napoved nekega modela [1]. Pojem modela ni nujno omejen le na meteorologijo, ampak je uporaben tudi v drugih disciplinah, kot so ekonomija (borzni indeksi), kmetijstvo itd. Vsem disciplinam, pa je skupna primerjava med modelskimi rezultati in resnico oziroma opazovanji. Poleg tega je primerjava med modelskimi rezultati in meritvami, skupna vsem metodam verifikacije. Naslednji odlomki so posvečeni meteorologiji, saj je verifikacija meteoroloških modelov zelo pomembna, tako za splošne uporabnike kot za načrtovalce meteoroloških modelov. Najverjetneje je bolj zanimiva iz stališča modeliranja, saj lahko načrtovalci modelov z verifikacijo same modele tudi izboljšujejo. Pojem verifikacije, se prvič pojavi leta 1884 [2], kjer avtor uporabi zelo enostaven primer metode verifikacije. Podatki, ki jih je uporabil, se nanašajo na napoved tornadov na 18-tih področjih zahodne Amerike. Meritve so bile opravljene dvakrat dnevno od marca do maja Metoda verifikacije je zelo enostavna, bolj podrobno je opisana v naslednjih poglavjih. Imenuje se binarna tabela, ki jo prikazuje tabela 1. Tabela 1: Binarna tabela za primer napovedi tornadov na področju zahodne Amerike [2]. napoved meritev DA NE Vsota DA NE Vsota Tabela prikazuje, da je bilo vseh opazovanj oziroma opravljenih meritev Od tega je bilo 52 takšnih, kjer je prišlo do tornada in 2752 takšnih, kjer se to ni zgodilo. Podobno velja za napoved. Vseh napovedi je seveda enako kot meritev, torej Od tega je bilo 100 napovedi takšnih, ki so tornado napovedale in 2703 takšnih, ki tornada niso napovedale. Od vseh 2803 dogodkov, je bilo 1

3 pravilno napovedanih tornadov le 28 in pravilno nenapovedanih tornadov je bilo Izvendiagonalni elemetni zgornje tabele so še nekoliko bolj pomembni, saj dokazujejo kako slab je model! V tem primeru je bilo napovedanih 72 tornadov, ki jih v resnici ni bilo. 23 tornadov, do katerih je prišlo, pa niso bili napovedani. Iz tabele lahko sklepamo, da ta model kar precej precenjuje meritve, kar seveda ni dobra lastnost. V prvi polovici dvajsetega stoletja, verifikacija ni bila med najbolj aktivnimi dejavnostmi v meteorologiji. Število člankov na to tematiko je bilo zaokroženo le na nekje 55, pri čemer je 27 člankov izšlo že pred letom Razcvet, pa je ta veda doživela sočasno z razvojem objektivnega napovedovanja vremena od leta 1950 naprej. Statistika WMO (Svetovna Metorološka Organizacija) [3] kaže, da danes 57 % vseh meteoroloških organizacij po svetu (naprimer: National Meteorological Service of Slovenia), uporablja nek sistem verifikacije. Želja je povečati procent organizacij, ki bi se ukvarjale tudi z verifikacijo. Namreč, eden izmed bistvenih namenov verifikacije je pravzaprav izboljševanje meteoroloških modelov. Osnovni motivi za verifikacijo meteoroloških modelov so: Spremljanje kvalitete napovedi. Tu nas zanima, kako se spreminja kvaliteta napovedi v času. Izboljševanje kvalitete napovedi. Tu lahko ugotovimo, kakšne težave ima model in jih skušamo odpraviti. Primerjava kvalitete več meteoroloških modelov hkrati. Tu nas zanima, kateri model poda bolj kvalitetno napoved in zakaj [4]. Pojem dobre napovedi, je širok pojem. Allan Murphy, pionir na področju verifikacije je o tem napisal članek, kjer določi tri poglavitne lastnosti dobre napovedi: Konsistenca oziroma doslednost. Kvaliteta, ki določa kako blizu je napoved resnici. Vrednost oziroma uporabnost, ki določa do kakšne mere je napoved uporabna [5]. V splošnem je v procesu verifikacije najbolj zanimiva druga lastnost. Ta vsebuje več parametrov, kot je natančnost (meri povprečno podobnost med posamezno meritvijo in modelsko napovedjo), sistematično odstopanje (meri podobnost med povprečno meritvijo in povprečno napovedjo), linearnost (korelacija med meritvami in modelom) itd. 1.2 Vrste meteoroloških napovedi in pripadajočih verifikacij V meteorologije se modeli med seboj razlikujejo, zaradi narave napovedi (deterministična ali stohastična), po naravi napovedovanih spremenljivk (diskretna ali zvezna) po časovni in prostorski skali napovedi. Prav tako se razlikujejo metode verifikacije. Nekaj osnovnih delitev in pripadajoče metode verifikacije, prikazujejo spodnja tabela 2. Metode, ki so pri tem najpomebnejše, so: vizualna metoda, kjer direktno primerjamo (grafično) modelske rezultate z meritvami, binarne tabele, primer katerih je bil predstavljen v prejšnjem odlomku (verifikacija napovedi tornadov), večkategorične tabele, so razširitev binarnih tabel. tipični predstavniki metode zvezne spremenljivke so: scatterplot diagrami, boxplot diagrami in dobro znani RMSE ( root mean square error ), ter podobni parametri in večdimenzionalne metode: 2

4 Tabela 2: Uporaba metod verifikacije glede na vrsto napovedi, časovno oziroma prostorsko domeno napovedi in lastnosti napovedane spremenljivke (stolpci v tabeli). Oznake: D deterministična napoved (npr.: kvantitativna napoved padavin), S stohastična napoved (npr.: ansambel napovedi, verjetnost za padavinski dogodek), f(t) niz v času (npr.: dnevna maksimalna temperatura), f(x) niz v prostoru (npr.: polje temperature), f(x,t) niz v prostoru in času (npr.: mesečna anomalija temperature), B binarna spremenljivka (npr.: napoved megle), V večkategoričnost spremenljivke (npr.: (led, sneg, dež)), Z zveznost spremenljivke (npr.: maksimalna temperatura) in O-D objekti in dogodki v prostoru in/ali času (npr.: padavinski dogodek, tropska nevihta). Oznaka N-D, predstavlja več-dimenzionanalne verifikacijske metode.[4] Napoved Domena čas-prostor Lastnost METODA D S f(t) f(x) f(x,t) B V Z O-D vizualna binarna večkategorična zveznost N-D statistična ansambel metode občutljive na časovno in prostorsko skalo, metode občutljive na objekte oziroma dogodke v prostoru in času Nekatere od naštetih metod, bodo predstavljene v naslednjih poglavjih. 1.3 Matematični opis verifikacije Matematična osnova verifikacije je verjetnost, oziroma bolj natančno nas zanima verjetnost parov spremenljivk, ki sta med seboj v splošnem na nek način povezana [1]. Definiramo f i (i-ta napoved), kjer i [1, I] in pripadajoče j-to opazovanje o j, kjer j [1, J]. Opomba: f i in o j, si najlažje predstavljamo v dveh dimenzijah (I=J=2), kjer je f 1 = 0, f 2 = 1, o 1 = 0 in o 2 = 1 (namesto 0,1 se lahko uporabi tudi DA,NE ali kaj podobnega). Definiramo verjetnost p(f i, o j ) ki matematično zadošča naslednji enačbi: p(f i, o j ) = P r{f i o j } (1) kjer P r{f i o j }, predstavlja verjetnost, da se pojavita dogodka f i in o j, sočasno. Omenjeno diskretno binarno verjetnostno funkcijo lahko povežemo z pogojno verjetnostjo, za katero velja: P r{a B} = P r{a B} (2) P r{b} Enačbo si predstavljamo kot verjetnost, da pride do dogodka A v primeru ko je prišlo (oziroma bo prišlo) do dogodka B. Če to enačbo nekoliko obrnemo in uporabimo na našem primeru pridobim naslednji dve enačbi: OPOMBA: v nadaljevanju bom označeval P r{f i o j } = p(f i o j ). p(f i, o j ) = P r{f i o j }P r{o j } (3) p(f i, o j ) = P r{o j f i }P r{f i } (4) Enačbi (3 in 4), predstavljata pomeben rezultat. Namreč prikazujeta dve definiciji iste količine. To pomeni, da na verjetnost dveh odvisnih dogodkov, lahko gledamo na dva načina. Enkrat iz stališča opazovanj in drugič iz stališča napovedi. Omenjen pristop (enačbi 3 in 4), je ključen v vseh metodah verifikacije. 3

5 2 Osnovne metode verifikacije v meteorologiji V prejšnjem poglavju so bile prikazane osnovne razdelitve modelov in metod verifikacije. Najbolj enostavna je vizualna verifikacija. V tem primeru, se direktno primerja modelske rezultate oziroma napoved in meritve. Primerja se lahko tako na časovni skali, kot tudi v prostoru. Zaradi enostavnosti te metode ne bom podrobno omenjal. Glede na zgornjo razdelitev, bom v nadaljevanju predstavil le nekaj najbolj osnovnih metod, za primer deterministične napovedi (prvi stolpec v tabeli 2). Tako sem se odločil predvsem zato, ker so te metode bistvene za večino metod verifikacije v meteorologiji. Pojem stohastičnosti je poleg tega nekoliko širši od pojma determinističnosti, kar seveda velja tudi za pripadajočo verifikacijo. Poseben pomen imajo tudi večdimenzionalne metode, kar bom bolj natančno utemeljiv v naslednjem poglavju, pod sklopom verifikacija padavin. 2.1 Verifikacija napovedi diskretne spremenljivke Z pojmom deterministične napovedi diskretne spremenljivke smo se srečali že v uvodnem poglavju (verifikacija napovedi tornadov v vzhodni Ameriki). Pojem determinističnosti predstavlja, da napovedi modelov ne vsebujejo parametra zanesljivosti, kot je navada v stohastičnih modelih. Pojem diskretnosti spremenljivke pa v splošnem ni omejen na vrednosti (0 ali 1), bistvena je le diskretnost spremenljivke (teoretično je vsaka spremenljivka obravnavana na računalniku diskretna, zaradi omejenosti zapisa realnega števila). Tako lahko obravnavamo praktično vsako spremenljivko kot diskretno spremenljivko. Naslednji odlomki so povzeti po [1, 2, 4] Binarna tabela Najprej si poglejmo primer diskretne binarne spremenljivke. Enostaven primer predstavlja pojav megle, kjer imamo dve možnosti: megla je prisotna oziroma megle ni. Drug še pomembnejši primer je pojav padavin. Torej padavine se pojavijo oziroma padavin ni! Poslužimo se definicij iz prejšnjega poglavja o matematičnih osnovah. Definiramo f i in o j, kjer i [1, 2] in j [1, 2]. Vrednosti za f i in o i, katere se lahko uporabijo so v obliki (DA ali NE) ali pa (0 in 1), oziroma nek binarni par. Primer binarne tabele prikazuje slika 1. Slika 1: Primer binarne kontingenčne tabele. Parameter O predstavlja opazovanja in F napoved! Vrednodti a,b,c in d predstavljajo število dogodkov. Parameter n pa predstavlja število vseh dogodkov. Na sliki so definirani štirje parametre a,b,c in d, ki so v osnovi zelo sorodni verjetnosti p(f i, o i ). Parameter a predstavlja število vseh ZADETKOV in velja a/n = p(f 1, o 1 ). Parameter b predstalja število LAŽNIH ALARMOV in velja b/n = p(f 1, o 2 ). Parameter c prikazuje ZGREŠENE dogodke (model jih ne napove) in velja c/n = p(f 2, o 1 ). Parameter d pa predstavlja pravilno nenapovedane negativne dogodke in velja d/n = p(f 2, o 2 ). Poleg osnovnih prostih parametrov binarne tabele, se izpelje še dodatne parametre. Nekaj bolj pomebnih (uporabnih) primerov prikazuje tabela 3. 4

6 Tabela 3: Osnovni atributi binarne tabele. Prvi stolpec prikazuje tri parametre (PC, TS in θ), ki določajo natančnost modela. Drugi stolpec prikazuje parameter B, ki predstavlja sistematično odstopanje. Tretji stolpec predstavlja parametre (POD, FAR in POFD), ki so izpeljani z uporabo pogojne verjetnosti. lastnosti/ime Natančnost Sistematično Ostali odstopanje atributi enačba P C = a+d n B = p(f 1 ) p(o 1 ) = F AR = p(o 2 f 1 ) = b a+b T S = CSI = a a+b+c p(o 2 ) p(f 2 ) = P OD = H = p(f 1 o 1 ) = a a+c θ = P OF D = F = p(f 1 o 2 ) = p(f 1 o 1 )/(1 p(f 1 o 1 )) p(f 1 o 2 )/(1 p(f 1 o 2 ) = b c n b b+d ad bc definicijsko P C [0, 1] B ( 1, 1) F AR [0, 1] območje T S [0, 1] P OD [0, 1] θ [0, Inf) P OF D [0, 1] vrednost PC=1 B=0 FAR=0 idealne TS=1 POD=1 napovedi θ = Inf POFD=0 Napoved je enaka meritvam takrat, ko velja c = b = 0. Model je natančen, če velja b + c = 0 oziroma P C = 1. Slaba lastnost parametra PC je, da sta oba dogodka (DA in NE) obravnavana enako. To pomeni, da v primeru redkih dogodkov ta parameter ni najbolj uporaben, saj je d >> a in se bo PC v limiti približal vrednosti 1. To sicer smatramo za dobro napoved, kar pa v tem primeru vsekakor ne drži! Alternativni parameter natančnosti predstavlja T S oziroma CSI, ki se uporablja v primeru redkih dogodkov! Ponovno je najbolša napoved v primeru ko je TS=CSI=1. Slaba lastnost je ta, da je ta parameter občutljiv samo na zadetke (meritev [DA] in napoved [DA])! Vendar je ta slabost v primeru redkih dogokov pravzaprav prednost, kar je tudi razlog uporabe tega parametra. Tretja alternativa pa je parameter θ, ki izhaja iz pogojnih verjetnosti p(f i o j ). Predstavlja razmerje med verjetnostjo da pride do zadetka in verjetnostjo da pride do lažnega alarma. Ponavadi se uporabi log(θ), vendar v obeh primerih velike vrednosti parametra predstavljajo dobro napoved. Pojem sistematičnega odstopanja, predstavlja povprečno odstopanje med napovedjo in meritvijo. V tabeli 3 je definicija parametra normalizirana, z namenom omejitve definicijskega območja na (- 1,1)! Slabost tega parametra je ta, da nič ne pove o kvaliteti napovedi (v sami definiciji B = b c ni parametra a ali d, ki določata natančnost napovedi). Posledično je idealna vrednost B=0, lahko varljiva! Namreč, v primeru ko je b=c bo B=0. To je sicer idealno, vendar še zdaleč ne drži da so modelski rezultati v primerjavi z meritvami kvalitetni. Dobra lastnost parametra pa je ta, da z njegovo vrednostjo izvemo razmerje med precenjevanjem in podcenjevanjem modela glede na meritve. Torej B=0 predstavlja, da model enako precenjuje kot podcenjuje meritve. Poleg teh parametrov se lahko izpelje dodatne parametre z uporabo verjetnosti. Velja namreč, p(f 1 ) = (a + b)/n, p(f 2 ) = (c + d)/n, p(o 1 ) = (a + c)/n in p(o 2 ) = (b + d)/n. Enačbe predstavljajo verjetnost, da pride do nekega dogodka (f 1, f 2, o 1 ali o 2 )! Uporabi se jih v enačbah (3,4), kar privede do vseh možnih pogojnih verjetnosti. Naprimer, p(o 1 f 1 ) = a a+b predstavlja verjetnost, da pride do opazovanja o 1 = DA pod pogojem, da pride do napovedi f 1 = DA. Nekaj primerov je prikazanih v tabeli 3. Najbolj uporaben je F AR = p(o 2 f 1 ), ki odgovori na vprašanje; koliko vseh napovedi je bilo lažnih? Naslednji je P OD = H = p(f 1 o 1 ), ki odgovori na vprašanje; koliko vseh dogodkov ki so bili opaženi, je bilo tudi napovedanih? V medicini ta parameter razumejo pod pojmom občutljivost. In zadnji je parameter F = P OF D = p(f 1 o 2 ), ki odgovori na vprašanje; kolikšen del opazovanj [NE] je bilo napovedanih kot [DA]? Ta parameter je bolj uporaben v primeru stohastičnih napovedih. 5

7 2.1.2 Vpeljava parametra Skill score Kljub veliki raznolikosti omenjenih parametrov se izkaže, da je informacija ki jo vsebuje vrednost nekega parametra, sestavljena iz več delov. Poglejmo si primer parametra PC. Osnovna izpeljava parametra: P C = a + d n =p(f 1, o 1 ) + p(f 2, o 2 ) = (5) p(f 1 o 1 )p(o 1 ) + p(f 2 o 2 )p(o 2 ) (6) V primeru, ko sta dva dogodka med seboj neodvisna, se definicija pogojne verjetnosti poenostavi v enačbo naslednje oblike: P r{a B} = P r{a}p r{b} Zadnjo enačbo vstavimo v enačbo (6), kjer A in B zamenjamo za f 1, f 2, o 1 in o 2. Tako pridobimo tisti del vrednosti parametra PC, ki predstavlja neodvisnost med dogodki f 1, f 2, o 1 in o 2. To neodvisnost si lahko predstavljamo kot naključnost! Tako velja da enačba: P C = a + d n = p(f 1 )p(o 1 ) + p(f 2 )p(o 2 ) (7) (8) predstavlja naključni del parametra PC. V verifikaciji naključnost vsekakor ni zaželjena, saj nam prikriva dejansko stanje parametra. Takšne lastnosti kot je naključnost, se eliminira z uvedbo t.i. skill score parametra. Definiran je na naslednji način: SS = A A ref A pref A ref (9) Kjer A predstavlja vrednost nekega parametra (npr.: PC), A ref predstavlja tisti del vrednosti parametra A, katerega želimo eliminirati in A perf predstavlja idealno vrednost parametra A. A ref imenujemo tudi referenčna vrednost! Referenčna vrednost je lahko klimatološka vrednost parametra A, persistenca (vrednost napovedovane spremenljivke iz preteklosti) ali pa naključnost parametra A. V meteorologiji sta zelo uporabni prvi dve. Dobra lastnost tega parametra je tudi ta, da je njegovo definicijsko območje neodvisno od izbire parametrov A, A ref in A perf. V primeru ko je SS=0, to pomeni da je vrednost A enaka referenčni vrednosti. V primeru ko je SS=1, pa je vrednost A enaka idealni vrednosti tega parametra (torej to predstavlja idealno napoved). Poleg tega je vrednost lahko tudi negativna! Tabela 4: Primer uporabe skill score parametra. HSS Heidke skill score in PSS Pierce skill score se razlikujeta le po vrednosti A ref (HSS naključnost, PSS klimatologija). lastnosti/ime HSS PSS A P C = a+d n P C = a+d n A ref p(f 1 )p(o 1 ) + p(f 2 )p(o 2 ) p(f 1 ) 2 + p(f 2 ) 2 A perf 1 1 Enačba parametra 2(ad bc) (a+c)(c+d)+(a+b)(b+d) ad bc (a+c)(b+d) = P OD P OF D Pri verifikaciji padavin, je najbolj znan in uporaben Heidke skill score oziroma HSS. Njegove značilnosti prikazuje tabela 4. HSS predstavlja primer eliminacije naključnosti iz parametra natančnosti (PC), kar prikazujejta že enačbi 6 in 7. 6

8 Za potrebe meteorologije, naključnost referenčne mere ni najbolj uporabna. Bolj fizikalno uporabna referenčna mera bi bila klimatologija, ali pa persistenca. V ta namen definiramo parameter Pierce skill score (PSS) oziroma True skill score (TSS). Definiran (tabela 4) je zelo podobno kot parameter HSS, z to razliko da A ref predstavlja klimatološko povprečje in ne naključja kot v primeru HSS. Kot primer uporabe zgornje metode, si poglejmo kakšne so vrednosti omenjenih parametrov na primeru napovedi tornada iz uvodnega poglavja. Vredosti prikazuje tabela 5. Tabela 5: Primer napovedi tornadov [2]. Barva polja predstavlja kvaliteto napovedi: rdeča dobra napoved, modra slaba napoved, neobarvano napoved ki ni dobra in ni slaba. PC TS θ B FAR H F HSS PSS Celice v tabeli so obarvnane tako, da rdeča barva predstavlja dobro oceno napovedi in modra slabo. Neobarvanost pa predstavlja oceno, ki ni niti dobra niti slaba. Opazimo lahko, da je nekaj parametrov precej dobro ocenjenih (PC,B in F). Vendar je prav toliko parametrov tudi slabo ocenjenih (TS, FAR in HSS) in nekaj nedoločenih. Na podlagi teh vrednosti, je vsekakor nemogoče odgovoriti na vprašanje, ali je napoved tornadov dobra oziroma slaba? Pomembna je primerjava vrednosti parametrov PC, HSS in PSS. Namreč vsi parametri predstavljajo enako lastnost in sicer natančnost. Velika vrednost PC, prikazuje navidezno zelo kvalitetno napoved. Majhni vrednosti HSS in PSS, pa to dobro oceno zavračata. To pomeni, da velik del parametra PC predstavlja naključje (HSS), oziroma klimatolško povprečje (PSS). To na nek način pokaže tudi vrednost parametra TS, ki je izredno majhna. Iz množice ostalih parametrov, je vredno omeniti še vrednost parametra B, ki kaže na rahlo precenjevanje modela v primerjavi z meritvami. Ne glede na velik nabor različnih parametrov, takšna verifikacija ne prikaže fizikalnih razlogov za dobro oziroma slabo napoved. Poleg tega je takšna verifikacija lokalnega značaja. To pomeni, da verifikacija v neki točki, ni občutljiva na kvaliteto napovedi v sosednjih točkah Večkategorična tabela V primeru binarne tabele velja I=J=2. V splošnem pa velja I=J=N, kjer je N neko poljubno celo število. V takšnem primeru napravimo t.i. večkategorično kontingenčno tabelo. Za primer I=J=3 je tabela prikazana na sliki 2. Slika 2: Primer večkategorične kontingenčne tabele (I=3,J=3). O predstavlja opazovanja, Y predstavlja napoved in velja r+s+t+u+v+w+x+z+y=n (število vseh dogodkov) [1]. Kaj se zgodi z prej definiranimi parametri: PC, TS, itd? V osnovi za PC še vedno velja P C = (r +z +v)/n, ostali parametri pa so vezani na binarnost, kar pomeni da se jih direktno ne da uporabiti. 7

9 Zato se poslužimo drugačne metode. Tabelo dimenzije NxN razdelimo na N posameznih binarnih tabel. Vsaka takšna tabela določa posamezen dogodek. Zgled prikazuje slika 2. Potem pa se lahko ponovno definira vse že znane parametre PC, TS itd. Vendar vse te parametre, je potrebno izračunati za vsak posamezni dogodek (binarno tabelo). Posebno zanimiva pa je razširitev parametrov skill Score (HSS in PSS), velja namreč preposta zveza: I i=1 HSS = p(y i, o i ) I i=1 p(y i)p(o i ) 1 I i=1 p(y i)p(o i ) I i=1 P SS = p(y i, o i ) I i=1 p(y i)p(o i ) 1 I i=1 [p(o i)] 2 kjer je razvidna podobnost z HSS in PSS, ki sta definirana v primeru binarne tabele. 2.2 Verifikacija napovedi zvezne spremenljivke V primeru ko vrednosti spremenljivke (recimo temperatura) obsega nek interval na realni osi, se napravi metoda za zvezno verifikacijo. V ta razred spada večina spremenljivk, katere se uporablja v meteorologiji. Lahko se jih tudi pretvori v neke diskretne vrednosti (tipično to napravimo za količino padavin) in se jih nato uporablja v binarni oziroma večkategorični tabeli. Skalarne količine, katere se v tem primeru uporablja so tipične skalarne količine, ki izhajajo iz statistike. Nekaj primerov teh količin prikazujejo naslednje enačbe: RMSE = 1 N (f i o i ) N 2 MSE = 1 N (f i o i ) 2 (10) N ME = 1 N i=1 N (f i o i ) = f o MAE = 1 N i=1 i=1 N f i o i (11) Pri čemer se ponovno definira f i (napovedi) in o i (opazovanja), za i [1, N] in j [1, N]. Definira se še povprečje o in f. Vsi parametri so dobro znani zato si poglejmo kako lahko iz teh parametrov sestavimo poljuben parameter skill score. Uporabi se enačba (1) in namesto mere A uporabimo RMSE, MSE, ME ali MAE. V primeru referenčne mere se lahko uporabi tri možnosti (naključje, persistenca in klimatologija). Naprimer, za parameter MSE velja: MSE klimatologija = 1 N N (o o i ) i=1 MSE persistenca = 1 N 1 N (o i 1 o i ) Prav tako lahko uporabljamo bolj grafične prikaze. Primeri uporabe so Scatter plot, Box plot ali Quantile plot. 3 Verifikacija padavin 3.1 Opredelitev verifikcije padavin V splošnem so za kompleksnejše napovedi potrebne kompleksnejše metode verifikacije [6]. Posebno težavna je verifikacija polja padavin. Težava se skriva v njihovi stohastični naravi, kjer se z zniževanjem i=2 i=1 (12) 8

10 skale pojavijo celo fraktalne lastnosti. Porazdelitev te količine po nekih razredih vsekakor ni enakomerna (v povprečju je več manj intenzivnih padavin). Posledično je takšno količino težko simulirati (napoved), meriti in seveda tudi verificirati. To je pripeljalo do kompleksnejših metod, ki temeljijo na več dimenzionalni verifikaciji (tako v času kot prostoru). Vendar kljub temu se pojavljajo težave, ki pa nastajajo predsvsem zaradi vedno bolj zmogljivih model (visoka ločljivost). Visoka ločljivost v prostoru pripelje do tako imenovanega Double penalty problema, ki je najbolj nazoren na polju padavin! 3.2 Problem Double penalty V osnovi do te napake pride zaradi: Izboljševanje modelov, kar v tem primeru povezujemo z povečevanjem ločljivosti. To povzorči kompleksnejše polje padavin. Metode verifikacije, katere so bile omenjene v prejšnjem poglavju, so lokalnega značaja (torej verifikacija po posameznih meteoroloških postajah). To pomeni, da verifikacija ne vidi celotnega polja, kljub temu da uporabimo meritve iz več postaj hkrati. Slika 3: Prikaz razlike med modelom visoke ločljivosti in modelom nizke ločljivosti, v primerjavi z kvalitetnimi meritvami polja padavin. Leva slika prikazuje napoved modela nižje ločljivosti, slika v sredini prikazuje napoved modela višje ločljivosti in desna slika prikazuje radarsko meritev. Vpliv povečevanje ločljivosti, prikazuje slika 3. Obkrožena mesta na posamezni sliki, prikazujejo tipične razlike med modelom višje ločljivosti, modelom nižje ločljivosti in meritvami. V primeru napovedi modela višje ločljivosti (slika v sredini), opazimo da model napove le ekstremne vrednosti resničnega polja (desna slika). V primeru nižje ločljivosti (slika levo), pa opazimo da model napove le povprečno vrednost resničnega polja. Poleg tega, se na določenih mestih v polju padavin na primeru napovedi višje ločljivosti, pojavi zamik polja v prostoru. Ta zamik je glavni vir težav v verifikaciji. Zelo nazorno, je pojav double penalty prikazan na sliki 4. Slika (a) prikazuje oba tipična primera napovedi (visoka in nizka ločljivost). Verifikacijski parametri pod slikami nakazujejo, da je v primerih RMSE, POD, FAR in TS najbolje ocenjen model nižje ločljivosti (slika (a) desno). V primeru ko se vzorec na sliki (a) levo zamakne na desno, dobimo idealno napoved, kar prikazuje slika (b). Parametri pod binarno tabelo pod sliko (b) predstavljajo idealne vrednosti. Torej rezultat modela na sliki (a) levo, je očitno precej slabše ocenjen kot rezultat modela na sliki (a) desno. V primeru preproste lokalne verifikacije (binarna oziroma večkategorična tabela) se izkaže, da bo model višje ločljivosti kaznovan iz dveh razlogov: območje padavin ni tam kjer bi moralo biti in območje padavin je tam, kjer ga pravzaprav ni. 9

11 Slika 4: Slika (a) levo, prikazuje primer napovedi večje ločjivosti, kjer je Fc napoved in Obs opazovanja. Število pod oznako Fc in Obs, ponazarja ločljivost (večja vrednost predstavlja večjo ločljivost). Slika (a) desno, prikazuje primer napovedi (Fc) nižje ločjivosti, pri čemer so opazovanja (Obs) še vedno na večji ločjivosti. Slika (b) pa prikazuje popravljeno napoved (zamik v desno) iz slike (a) levo. Poleg tega, je pod vsako sliko prikazana še pripadajoča binarna tabela. Pod tabelo pa je prikazanih nekaj osnovnih verifikacijskih parametrov. [6] Ko napravimo podobno verifikacijo na drugem modelu, bo ta kaznovan le zaradi tega ker ne napove padavin. To pomeni, da z omenjenimi metodami verifikacije, bolj kaznujemo tisti model ki je v resnici boljši. Boljši do te mere da vsaj napove polje padavin, čeprav je prostorsko oziroma časovno zamaknjeno! 3.3 Metode občutljive na časovno in prostorsko skalo Kot je bilo prikazno v prejšnjem poglavju, je verifikacija padavin na višji ločljivosti lahko problematična, saj ne vemo ali lahko zaupamo osnovnim parametrom verifikacije ali ne. Kot rešitev tega problema si oglejmo t.i. Fuzzy metodo [7, 8, 9]. Ta metoda spada v razred večdimenzionalnih metod in je namenjena verifikaciji deterministične napovedi. Torej za razliko od verifikacije opisane v prejšnjem poglavju, ta metoda v procesu verifikacije upošteva poljubno polje okoli izbrane točke, kjer opravimo meritve oziroma kjer želimo napraviti verifikacijo. Samo metodo so razvijali številni avtorji, kar je prispevalo k razvoju več različic omenjene metode. Različici ki sta opisani v nadaljevanju, je napravil Ebert [7, 8] Glavna lastnost teh metod je uvedba dimenzije prostora in/ali časa ter meje za dogodek oziroma Treshold. Prva lastnost predstavlja resolucijo mreže v času in/ali prostoru, na kateri se predstavijo modelski rezultati. Meja za dogodek pa predstavlja tisto mejno vrednost nekega parametra, za katerega pravimo, da v primeru ko je vrednost parametra večja od mejne vrednosti je prišlo do dogodka, oziroma za manjšo vrednost pravimo da se dogodek ne zgodi. Osnovna ideja te metodo je predstaviti parametre kot so (PC, TS itd.), kot funkcije ločljivosti (resolucija predstavitve modelskih rezultatov) v času in/ali prostoru in kot funkcije meje za dogodek. Upscaling, je metoda kjer mrežo opazovanj in mrežo napovedi, sočasno interpoliramo na mrežo nižje ločljivosti. V prvem koraku se na osnovno mrežo napovedi, interpolirajo opazovanja. V drugem koraku se interpolira tako opazovanja kot napoved na mrežo nižje ločljivosti, kot prikazuje slika 5. To ponavljamo do najmanjše možne (fizikalno smiselne) resolucije mreže. Sočasno se na vsakem prej omenjenem koraku, za množico različnih vrednosti meje za dogodek, pripravi vrednosti parametrov (a, b, c in d) binarne tabele. Po končanem postopku pridobimo vrednosti parametrov binarne tabele, za 10

12 Slika 5: Simbolična predstavitev delovanja Upscaling metode. Oznake: I simbolično predstavlja resolucijo mreže na kateri se predstavijo rezultati, T predstavlja vrednost meje za dogodek, F predstavlja napoved in O opozovanja. Rdeče pike predstavljajo meritve. Slika levo prikazuje osnovno mrežo meritev in opazovanj, slika v sredini predstavlja interpolacijo osnovne mreže na mrežo nižje ločljivosti (črna črta). Delovanje metode je prikazano na desni sliki. Za vsak izbrani I in T, ta metoda izračuna pripadajoče vrednosti a,b,c in d (prosti parametri binarne tabele). vse možne različne vrednosti meje za dogodek in za vse različne interpolacije mreže. Iz končnih vrednosti parametrov a, b, c in d, se lahko pripravi različne skill score parametre, ki služijo kot ocena kvaliteta napovedi. Parameter skill score, ki se v ta namen najbolj uporablja, je tako imenovani Gilbert skill score GSS (drugo ime je Equitable skill score ETS). Definiran je po enačbi (9) kjer velja: kar privede do naslednje enačbe: a A = T S = a + b + c A ref = p(o 1)p(f 1 ) (a + b)(a + c) = n n A perf = 1 GSS = ET S = a a ref a a ref + b + c (13) GSS predstavlja parameter, ki ima zelo podobno vlogo kot HSS oziroma PSS. Namenjen je preučevanju redkih dogodkov, kjer se eliminira klimatološko povprečje (A ref ). Torej rezultat celotne metode je pravzaprav funkcija GSS = GSS(I, T ), kjer I označuje ločljivost mreže na katero so interpolirane meritve in napoved in T, ki predstavlja mejo za dogodek. Na takšen način, se znebimo problema dvojne kazni, ki je bil opisan v prejšnjem poglavju. Bolj natančno bo to prikazano na primeru v nadaljevanju. Druga pomembna metoda je metoda FSS. Ta metoda pravi da je idealna napoved tista, kjer model v okolici neke točke napove enako število dogodkov kot je izmerjenih dogodkov. Torej ni pomembno, če se polje napovedi in polje opazovanj prostorsko ali časovno ujemata, pomebno je le število dogodkov v neki okolice izbrane točke. Na takšen način se upošteva, da imajo tako opazovanja kot tudi napoved neko naključno napako. Ta naključna napaka se odraža kot premik dogodka v prostoru ali času. V ta namen, se definira parameter naslednje oblike: F SS = 1 1 N N i=1 (P f P o ) 2 1 N N i=1 P f N N i=1 P o 2 (14) pri čemer P f in P o predstavlja fraktalno pokritost v okolici (t.i. fraktalno okno) neke izbrane točke! To je prikazano na sliki 7. Pri tem velja, da N predstavlja število vseh točk, kjer se nahajajo meritve. 11

13 Slika 6: Simbolična predstavitev delovanja FSS metode. Oznake: I simbolično predstavlja velikost fraktalnega okna okoli neke točke, T predstavlja vrednost meje za dogodek, F predstavlja napoved in O opozovanja. Barva predstavlja primer dogodkov (opazovanje, napoved ali oboje) na mreži. Slika levo prikazuje osnovno mrežo meritev in opazovanj (fraktalno okno je dimenzije 1x1 mrežne točke), slika v sredini predstavlja fraktalno okno dimenzije 3x3 mrežne točke (na sliki sta prikazana dva takšna okna). Delovanje metode je prikazano na desni sliki. Za vsak izbrani I in T, ta metoda izračuna pripadajoče vrednosti parametra P f in P o (seveda v vsaki mrežni točki posebaj). Rezultat metode je vrednost parametra FSS(I,T). Slika 7: Fraktalna pokritost soseščine v metodi FSS. Vir [8] V ekstremnih primerih je N lahko kar število vseh točk na mreži, to se zgodi v primeru ko interpoliramo vse možne meritve na osnovno mrežo modela. Sam potek metode (slika 6), je precej podoben poteku metode Upscaling. V prvem koraku, se interpolirajo meritve na mrežo opazovanj. Fraktalno okno je v tem primeru veliko 1x1 mrežne točke (torej v velikosti ene mrežne točke). Za vse točke na mreži se izračuna P f in P o. V drugem koraku, se okoli vsake mrežne točke napravi fraktalno okno dimenzije 3x3 in se ponovno izvrednoti vrednosti parametrov P f in P o. Ta postopek se nadaljuje, dokler je fizikalno smiselno. Na vsakem takšnem koraku, se podobno kot pri metodi Upscaling napravi odvisnost parametrov P f in P o od mejne vrednosti za dogodek. Končni rezultat je vrednost FSS v odvisnosti od vrednosti meje za dogodek in dimenzije fraktalnega okna (ta ima podobno vlogo kot resolucija mreže pri metodi Upscaling ). Definicijsko območje parametra FSS je interval [0,1]. Vrednost 0 predstavlja popolno neujemannje napovedi in opazovanj (po številu dogodkov v nekem ombočju), vrednost 1 pa predstalja popolno ujemanje. Poleg tega pa ima FSS še minimalno optimalno vrednost za dobro napoved. To je posledica narave tega parametra, torej upoštevanje naključnosti napovedi in opazovanj. Ta vrednost je tista minimalna vrednost, ki še predstavlja dobro napoved v primerjavi z opazovanji. Teoretično izpeljana je naslednja enačba: F SS optimal = N N i=1 P 2 o 2 Ker ta metoda upošteva možnost naključne napake v meritvah in modelskih rezultatih, je posledično bolj pravična. To je pravzaprav njena glavna prednost pred ostalimi metodami. Kot primer uporabe obeh metod, si poglejmo primer padavinskega dogodka v mestu Brisbane 12

14 (glavno mesto zvezne države Queensland v Avstraliji) za dne 16. November 2008, 7 UTC. Primer meritev (1h akumulacija padavin [mm/h]) in simulacije prikazuje slika 8. Slika 8: Realen primer napovedi padavin v bližini Brisbane. Levo so prikazane meritve (1h akumulacija padavin) in desno napoved modela ACCESS dne 16. November UTC. Vir [7] Pri napovedi so uporabili model ACCESS z resolucijo 5 km. Meritve so napravljene kot kombinacija radarskih meritev in sinoptičnih meritev. Mrežo meritev (resolucija 2 km), so predhodno interpolirali na mrežo modela (resolucija 5 km). V primeru, ko se na tej mreži opravi verifikacija, katera je omenjena v prejšnjem poglavju, se izkaže: RMSE=6 mm/h, ETS=0.27 ( mejna vrednost za dogodek = 2 mm/h) in ETS=0.15 (mejna vrednost za dogodek = 10 mm/h). Vrednosti vseh teh parametrov, pokaže veliko nezaupanje v model. Na tem primeru so naknadno napravili verifikacijo po metodah Upscaling in FSS. Pri tem so verifikacijo izvedli na 8 različnih prostorskih oknih (resolucija mreže oziroma dimenzija fraktalnega območja), ki se raztezajo od 1x1 mrežne točke do 33x33 mrežne točke. Kot mejo za določanje dogodka, so napravili nekaj različnih primerov na intervalu mm/h. Rezultata obeh metod sta prikazana na sliki 9. Slika 9: Rezultati verifikacije na realnem primeru Brisbane. (a) rezultati metode upscaling in (b) rezultati metode FSS. Pri tem velja: roza/rdeča brava predstavlja dobro napoved, rumena/modra pa slabo. Vir [7] Tabela na sliki (9a), prikazuje rešitev ETS(I,T) Upscaling metode. V levem spodnjem kotu (I=5 km in T=0.1 mm/h), opazimo rešitev osnovne verifikacije, ki je bila opisana v uvodnih poglavjih. Vrednost na tem mestu je vsekakor manjša od vrednosti ETS=0.36 pri I=45 km in T=2 mm/h. To pomeni, da je za določeno izbiro I (resolucija mreže na katero interpoliramo rezultate) in T (meja za padavinski dogodek), ocena modela lahko boljša kot pričakujemo na podlagi verifikacije na najvišji možni resoluciji I=5 km in T=0.1 mm/h. Oziroma, na takšen način se iz rešitve eliminira problem dvojne kazni. V tem specifičnem primeru lahko tako zaključimo, da model doseže najboljše rezultate ob interpolaciji modelskih rezultatov na resoluciji mreže I=45 km in pri mejni vrednosti za dogodek T=2 mm/h. Oziroma to so dogodki, ki jih model nabolje napoveduje. Poleg tega pa velja, da se maksimalna vrednost ETS glede na vrednost T pomika desno, če se povečuje skala. To pomeni, da se na večjih skalah, bolje napoveduje večje akumulacije padavin. 13

15 Tabela na sliki (9b), prikazuje rešitev FSS(I,T). Ta rešitev je na prvi pogled precej drugačna, vendar potrebno je upoštevati vrednost F SS optimal. Ta je nekje na intevalu [0.5,1]. To pomeni, da ta tabela predstavlja zelo podobno rešitev. Za razliko od prejšnjega primera, pa ta rešitev zelo lepo prikaže dobro ujemanje modela z meritvami za majhne vrednosti T in za praktično vse I. Iz grafa je razvidno da model ne napoveduje dogodkov ki presegajo T=50 mm/h, ne glede na dimenzijo fraktalnega okna. Bistven namen teh metod je v tem, da preverimo na katerih skalah določen model doseže najboljše rezultate. To potem uporabimo tako, da modelske rezultate pripravimo na tej resoluciji, ker z tem zagotovimo najboljšo praktično uporabnost izračunanih rezultatov. Večinoma metode izbiramo tako, da si izberemo nek mehanizem ki nas zanima, recimo povprečevanje (upscaling), fraktalna ureditev (FSS) itd. Nato pa za ta izbrani mehanizem, določimo skalo (oziroma resolucijo) in vrednost meje za dogodek, z katerima model doseže najbolj optimalne rezultate. Več različnih mehanizmov nam pomaga k bolj kompleksni verifikaciji, z katero lahko ugotovimo zakaj je nek model dober oziroma slab. Poleg tega pa se z takšno verifikacijo eliminira problem dvojne kazni, kar je pravzaprav najbolj pomembno. 4 Zaključek V seminarju sem predstavil nekaj bolj osnovnih metod verifikacije. Metode kot sta binarna in večkategorična tabela sta zelo uporabni, vendar zaradi svoje diskretnosti precej omejeni. Ta omejenost je najbolj opazna pri uporabi parametrov, katere se prek teh tabel lahko definira in generira. Zato je pomebno, da se vsi ti parametri uporabljajo sočasno. V meteorologiji je najbolj težavna verifikacija padavin. Namreč izkaže se, da so osnovne metode verifikacije v primeru padavin, lahko tudi varljive. V ta namen so potrebne kompleksnejše metode. Poleg tega so današnji modeli vedno bolj natančni (visoka resolucija). Tako se razvijajo vedno bolj zahtevne metode, kar sem skušal prikazati v zadnjem poglavju. Metode ki se razvijajo v zadnjem času so še bolj kompleksne, vendar zanimivo se ta kompleksnost najbolj kaže pri sami uporabi metode, sama ideja verifikacije pa je še vedno enaka. Literatura [1] Wilks D. S. Statistical methods in the atmospheric sciences, chapter 8. Academic Press, 3rd edition, [2] Jolliffe I.T. in Stephenson D.B. Forecast Verification A Practitioner s Guide In Atmospheric Science. Wiley, [3] Organizacije WMO. Spletna stran. Prevzeto in dostopno na pages/prog/arep/wwrp/new/forecast_verification.html. [4] The Centre for Australian Weather and Climate Research - Forecast Verification Issues, Methods and FAQ. Spletna stran. Prevzeto in dostopno na au/projects/verification/. [5] Murphy A.H. What is a good forecast? An essay on the nature of goodness in weather forecasting. Wea. Forecasting, 8: , [6] Michaelides Silas. Precipitation: Advances in Measurement, Estimation and Prediction, chapter Springer, [7] E.E. Ebert. A framework for neighbourhood verification of high resolution spatial forecasts. Boulder, [8] E.E. Ebert. Fuzzy forecast verification. Boulder, [9] Ahijevych David. Why verify spatial scales? neighborhood and scale-separation approaches. American Meteorological Society, pages , October