Regresiona Gausova uslovna slučajna polja

Transcription

1 Regresiona Gausova uslovna slučajna polja Mladen Nikolić Grupa za mašinsko učenje i primene Matematički fakultet Univerzitet u Beogradu 1 / 38

2 Pregled CCRF GCRF FF-GCRF 2 / 38

3 Pregled CCRF GCRF FF-GCRF 3 / 38

4 Uslovna nezavisnost promenljivih Promenljive y 1 i y 2 su uslovno nezavisne pri uslovu x ukoliko važi P(y 1, y 2 x) = P(y 1 x)p(y 2 x) Ovo je slabija relacija od pune nezavisnosti 4 / 38

5 Uslovna nezavisnost promenljivih 5 / 38

6 Uslovna nezavisnost promenljivih Uobičajena pretpostavka mašinskog učenja je da su opažanja nezavisna i jednako raspodeljena (eng. IID) Ova nezavisnost se prilikom modelovanja ogleda u činjenici da je model y = f (x) funkcija vektora atributa x i da time za neko konkretno x i, y i zavisi samo od tog x i, ali ne i od drugih y j za j i Odnosno, P(y 1,..., y n x 1,..., x n ) = n i=1 P(y i x i ) Koliko je ovo realistično? 6 / 38

7 Realističnost nezavisnosti promenljivih Promene temperature vazduha Rasprostiranje supstanci u zemljištu Kupovina proizvoda Citiranje naučnih radova 7 / 38

8 Uslovna slučajna polja (CRF) Diskriminativni model Modeluju P(y 1,..., y n x 1..., x n ) ne pretpostavljajući faktorizaciju na pojedinačne verovatnoće, već u skladu sa grafom zavisnosti izmedu promenljivih Polazne formulacije su bile klasifikacione, ali postoje i regresione 8 / 38

9 Neprekidna uslovna slučajna polja (CCRF) Neprekidna uslovna slučajna polja: 1 N P(y x) = Z(x, α, β) exp A(α, y i, x) + I (β, y i, y j, x) i=1 i j gde i j označava povezanost promenljivih y i i y j u grafu zavisnosti 9 / 38

10 Neprekidna uslovna slučajna polja (CCRF) Predvidanje: Učenje: ŷ = arg max P(y x) y L(α, β) = log P(y x) (ˆα, ˆβ) = arg max L(α, β) α,β pri čemu je moguće dodati i regularizaciju po parametrima α i β 10 / 38

11 Atributske funkcije Kako izabrati funkcije A i I? A(α, y i, x) = I (β, y i, y j, x) = K α k f k (y i, x) k=1 L β l g l (y i, y j, x) Za proizvoljne izbore atributskih funkcija f k i g k, trening i predvidanje mogu biti računski vrlo zahtevni l=1 11 / 38

12 Pregled CCRF GCRF FF-GCRF 12 / 38

13 Gausova uslovna slučajna polja (GCRF) Ukoliko su f k i g k kvadratne funkcije, P(y x) je višedimenzionalna Gausova raspodela! Gausova raspodela se lako ocenjuje, a predvidanje se svodi na izračunavanje proseka Kako izabrati funkcije f k i g k na koristan način? 13 / 38

14 Izbor atributskih funkcija Neka su dati modeli R ik (x), k = 1,..., K modeli koji predvidaju y i za i = 1,..., N i grafovi zavisnosti G l, l = 1,..., L Onda možemo definisati f k (y i, x) = (y i R ik (x)) 2, k = 1,..., K g l (y i, y j, x) = e l ijs l ij(x)(y i y j ) 2 pri čemu važi { eij l 1, (i, j) Gl = 0, inače 14 / 38

15 Gausova uslovna slučajna polja Puna forma: 1 N K P(y x) = Z(x, α, β) exp i=1 k=1 α k (y i R ik (x)) 2 i j Pojednostavljena forma: 1 N P(y x) = Z(x, α, β) exp α(y i R i (x i )) 2 i=1 i j L β l eijs l ij(x)(y l i y j ) 2 l=1 βs ij (y i y j ) 2 15 / 38

16 Gausova forma Treba upariti: 1 N K P(y x) = Z(x, α, β) exp i=1 k=1 α k (y i R ik (x)) 2 i j L β l eijs l ij(x)(y l i y j ) 2 l=1 i 1 2 (y µ)t Σ 1 (y µ) = 1 2 yt Σ 1 y + y T Σ 1 µ + const 16 / 38

17 Gausova forma Σ 1 ij = { P(y x) = 2 K k=1 α k + 2 K L k=1 l=1 β leik l S ik l (x) i = j 2 L l=1 β leij l S ij l i j µ = Σb ( K ) b i = 2 α k R ik (x) k=1 ( 1 (2π) N/2 exp 1 ) Σ 1/2 2 (y µ)t Σ 1 (y µ) 17 / 38

18 Gausova forma Da li je Σ 1 pozitivno semi-definitna matrica? Da bi bila, dovoljno je da bude dijagonalno dominantna To važi ako je α k > 0 i β l > 0 za svako k i l Ovim se metod ograničava! Postoji unapredenje koje otklanja ovo ograničenje 18 / 38

19 Predvidanje Predvidanje se daje prosekom Gausove raspodele ŷ = arg max P(y x) = Σb y 19 / 38

20 Predvidanje Predvidanje se daje prosekom Gausove raspodele ŷ = arg max P(y x) = Σb y Za predvidanje je potrebno uraditi inverziju matrice Σ 1, što je računski skuplje nego predvidanja klasičnih metoda 19 / 38

21 Učenje Potrebno je izračunati parcijalne izvode po α k i β l i primeniti gradijentni spust na log P(y x) log P α k = 1 ( ) Σ 1 b T (y µ)t (y µ) + µ T Σ 1 (y µ) + 12 ) (Σ 2 α k α k α Tr Σ 1 k α k log P = 1 Σ 1 (y µ)t (y µ) + 1 ) (Σ β k 2 β l 2 Tr Σ 1 β l 20 / 38

22 Učenje Gradijentni spust neće garantovati da će α k i β l biti strogo pozitivni Moguće je optimizovati po novim promenljivim u k = log α k i v k = log β l Jedna iteracija gradijentnog spusta košta O(N 3 ), gde je N veličina trening skupa, zbog inverzije matrice Σ 1 Ukoliko je matrica Σ 1 retka, onda je cena jedne iteracije O(N 2 ) 21 / 38

23 Primene Predvidanje koncentracije aerosola u vazduhu 22 / 38

24 Pregled CCRF GCRF FF-GCRF 23 / 38

25 Slučaj gustih grafova zavisnosti Velika složenost učenja i predvidanja onemogućava primenu na gusto povezane grafove, odnosno probleme u kojima postoje zavisnosti medu većinom promenljivih Šta raditi? 24 / 38

26 Slučaj gustih grafova zavisnosti Velika složenost učenja i predvidanja onemogućava primenu na gusto povezane grafove, odnosno probleme u kojima postoje zavisnosti medu većinom promenljivih Šta raditi? Aproksimacijama sniziti računsku složenost 24 / 38

27 Teorija usrednjenog polja (eng. mean field theory) Problem interakcija velikog broja elemenata nekog sistema je po pravilu težak problem U fizici se kao rešenje koristi aproksimacija pri kojoj se uticaj svih pojedinačnih elemenata na jedan konkretan element zameni njihovim ukupnim uticajem (uprosečenim poljem) na taj element Kako tačno podesiti taj ukupni uticaj tako da rezultati budu dobri? Ovaj princip je više puta oktrivan i u drugim disciplinama 25 / 38

28 Aproksimacija usrednjenim poljem (eng. mean field approximation) Neka je: Pod tom pretpostavkom, rešiti Q(y x) = N Q i (y i x) i=1 min D KL(Q P) Q Rešenje: log(q i (y i x)) = E y1...y i 1,y i+1...y N [log P(y x)] + const 26 / 38

29 Aproksimacija usrednjenim poljem (eng. mean field approximation) U slučaju GCRF-a, to daje: log(q i (y i x)) = K k=1 α k (y 2 i 2y i R ik (x)) 2 L β l Sij(x)(y l i 2 2y i E[y j ])+const Svaka Q i (y i x) je Gausova raspodela sa parametrima: K k=1 µ i = α kr ik (x) + 2 L l=1 β l j i S ij l (x)µ j K k=1 α k + 2 L l=1 β l j i S ij l (x) l=1 i j σi 2 1 = ( K 2 k=1 α k + 2 ) L l=1 β l j i S ij l (x) Složenost iterativnog odredivanja µ i je O(IN 2 ) pri pretpostavci I << N za broj iteracija Složenost računanja varijansi je O(N 2 ) 27 / 38

30 Gausov kernel Neka je ( Sij(x) l = k l (pi l, pj l ) = exp 1 ) 2 (pl i pj l ) T Λ l (pi l pj l ) gde je p l i skup atributa instance i u nekom prostoru (koji može zavisiti od l), a Λ l simetrična pozitivno definitna matrica Sume koje uključuju sličnost se sada mogu zapisati kao: Sij(x)µ l j = k l (pi l, pj l )µ j µ i j j i Sij(x) l = j j i k l (p l i, p l j )µ j 1 28 / 38

31 Konvolucija sa Gausovim kenrelom Ključni posao je izračunati konvoluciju: k l (pi l, pj l )µ i koja se naivno računa u vremenu O(N 2 ) Postoje efikasne aproksimacije! j 29 / 38

32 Brza konvolucija sa Gausovim kernelom Konstruisati regularnu rešetku (postoje različiti modeli) koja pokriva prostor nad kojim je definisan kernel Konvolucija na rešetci samo sa bliskim susedima se računa u vremenu O(d 2 N) gde je d dimenzija vektora pi l, ali samo ukoliko se radi sa kernelom čija je matrica Λ l identička Šta činiti? 30 / 38

33 Brza konvolucija sa Gausovim kernelom Dekomponovati Λ l = U T U Čoleski dekompozicijom (dimenzija Λ l je mala u odnosu na broj promenljivih) ( k l (pi l, pj l ) = exp 1 ) 2 (pl i pj l ) T U T IU(pi l pj l ) ( = exp 1 ) 2 (Upl i Upj l ) T I (Upi l Upj l ) Očito, primena polaznog kernela nad vektorima p l i je isto što i primena kernela sa identičkom matricom nad vektorima Up l i Transformisati sve p l i u Up l i i projektovati na temena rešetke Uraditi konvoluciju sa Gausovim kernelom pretpostavljajući nezavisnost duž pravaca rešetke, a uzimajući u obzir samo temena u nekoj uskoj okolini Aproksimirati vrednosti konvolucije u tačkama Up l i na osnovu vrednosti na rešetci 31 / 38

34 Brza konvolucija sa Gausovim kernelom 32 / 38

35 Predvidanje Predvidanje y i = arg max Q i (y x) = µ i y Korišćenjem brze konvolucije, složenost je O(Id 2 N) I je fiksirano na primer na / 38

36 Učenje Neka je: Važi: L(α, β) α k = L(α, β) = log P(y x) N ( EQ [(y i R ik (x)) 2 ] (y i R ik (x)) 2) i=1 L(α, β) β l = N k l (pi l, pj l ) ( E Q [(y i y j ) 2 ] (y i y j ) 2) i=1 i j Ispostavlja se da se brzom konvolucijom gradijent računa u vremenu O((Id 2 + K + LId 2 )N) 34 / 38

37 Primene Predvidanje koncentracije aerosola u vazduhu Uklanjanje šuma sa slika 35 / 38

38 Brzina 36 / 38

39 Literatura V. Radosavljević, S. Vučetić, Z. Obradović, Continuous Conditional Random Fields for Regression in Remote Sensing V. Radosavljević, S. Vučetić, Z. Obradović, Neural Gaussian Conditional Random Fields K. Ristovski, V. Radosavljević, S. Vučetić, Z. Obradović, Continuous Conditional Random Fields for Efficient Regression in Large Fully Connected Graphs A. Adams, J. Baek, M. A. Davis, Fast High-Dimensional Filtering Using the Permutohedral Lattice P. Krähenbühl, V. Koltun, Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials J. Glass, M. Ghalwash, M. Vukićević, Z. Obradović, Extending the Modelling Capacity of Gaussian Conditional Random Fields while Learning Faster 37 / 38

40 HVALA NA PAŽNJI! 38 / 38