Povratne neuronske mreže. Martin Tutek 6. Prosinac, 2017.

Transcription

1 Povratne neuronske mreže Martin Tutek 6. Prosinac, 2017.

2 Uvod

3 U prvom ciklusu Obradili smo: Modele za podatke s fiksnom dimenzionalnošću Modele za podatke s eksplicitnom međuovisnošću Primjeri slika iz CIFAR10 Multivarijatna normalna razdioba 1

4 U prvom ciklusu Obradili smo: Modele za podatke s fiksnom dimenzionalnošću Modele za podatke s eksplicitnom međuovisnošću Multivarijatna normalna razdioba Primjeri slika iz CIFAR10 2

5 U prvom ciklusu Fiksna dimenzionalnost ulaznih podataka: Dimenzionalnost multivarijatne normalne razdiobe je fiksna za svaki uzorak iz razdiobe x i R d Svaka slika iz CIFAR10 je dimenzija 32x32x3 (WxHxC) Nije eksplicitno: (random) crop, pad, max/avg pooling, interpolacija za skaliranje slika na iste dimenzije 3

6 U prvom ciklusu Fiksna dimenzionalnost ulaznih podataka: Dimenzionalnost multivarijatne normalne razdiobe je fiksna za svaki uzorak iz razdiobe x i R d Svaka slika iz CIFAR10 je dimenzija 32x32x3 (WxHxC) Nije eksplicitno: (random) crop, pad, max/avg pooling, interpolacija za skaliranje slika na iste dimenzije Eksplicitna međuovisnost: Normalna razdioba: Definirana vektorom µ i matricom Σ Slike: slični pikseli (po boji) imaju slični intenzitet Nije eksplicitno: lokalna korelacija pikseli blizu jedan drugog su vjerojatnije povezani ( riješeno konvolucijskim filtrima) 3

7 Obrada prirodnog jezika Prevedite iduću rečenicu na engleski jezik: Duboko učenje je super. 4

8 Obrada prirodnog jezika Prevedite iduću rečenicu na engleski jezik: Duboko učenje je super. Deep learning is great. Implicitno smo: Razdvojili rečenicu (sekvencu slova) na smislene komponente Razumjeli da izraz duboko učenje nije učenje na velikim dubinama već podvrsta strojnog učenja Shvatili značenje rečenice na ulaznom (source) jeziku bez specifikacije koji je to jezik Generirali rečenicu proizvoljne duljine na ciljnom jeziku Tekst: Nije fiksne dimenzije (duljina rečenice varira) Nema* eksplicitnu međuovisnost (donekle ima kroz sličnost slova) 4

9 Obrada prirodnog jezika Prevedite iduću rečenicu na vijetnamski jezik: 5

10 Obrada prirodnog jezika Prevedite iduću rečenicu na vijetnamski jezik: Chờ internet ở đâu 5

11 Obrada prirodnog jezika Prevedite iduću rečenicu na vijetnamski jezik: Chờ internet ở đâu (Where is the nearest internet shop) Jezik računalima izgleda otprilike kao što nama (koji ne znamo japanski) izgleda japanski Pojmovi značenja riječi, sličnosti riječi i jezičnih jedinica nisu definirani Najčešće, prije obrade teksta algoritmima strojnog učenja možemo barem inicijalizirati te pojmove pomoću vektorskih (distribuiranih) reprezentacija riječi 5

12 Reprezentacije podataka

13 Analiza teksta 6

14 Reprezentacije riječi - one-hot 7

15 Reprezentacije rečenica - bag-of-words Vreća riječi reprezentacija Svaku riječ reprezentiramo s rijetkim vektorom iz {0, 1} V, pri čemu je V veličina vokabulara koji koristimo. Niz riječi reprezentiramo s vektorom veličine V, pri čemu su elementi veltora na indeksima koji odgovaraju riječima u nizu 1 (upaljeni, hot) 8

16 Reprezentacije rečenica - bag-of-words 9

17 Reprezentacije rečenica - bag-of-words Problemi: 1. Veličina vokabulara V je obično jako velika U logističkoj regresiji, trebamo naučiti težinu za svaku riječ u vokabularu 2. Nemamo pojam sličnosti između riječi sim(avion, zrakoplov) = sim(avion, pas) Pri čemu je sim proizvoljna mjera sličnosti (npr. kosinusna sličnost) 3. Gubimo pojam redoslijeda riječi Pri reprezentaciji rečenice, imamo samo informaciju koje su se riječi pojavile u rečenici, ali ne i kojim redoslijedom bow( duboko ucenje je super ali ) = bow( super je ucenje ali duboko ) U nastavku ćemo se prvo baviti rješavanjem problema 1. i 2. kroz distribuirane reprezentacije riječi, a potom problemom 3. kroz povratne neuronske mreže 10

18 Distribuirane reprezentacije riječi Ideja: umjesto velikog i rijetkog vektora nula i jedinica, iskoristiti gusti d-dimenzionalni vekor realnih brojeva R d u kojemu će svaka riječ biti jedinstveno određena kao točka u prostoru Vizualizacija distribuiranih reprezentacija riječi iz [3] 11

19 Model matrice susjedstva Matrica susjedstva Firth-ova hipoteza distribucijske semantike - poznavati ćete riječ po njenom društvu Svaka riječ će biti reprezentirana s vektorom w i, pri čemu su elementi vektora w ij = count 5 (w i, w j ). Count 5 je funkcija koja broji koliko puta se riječi w i i w j nalaze unutar udaljenosti od 5 jedna od druge u nekom skupu podataka (npr. engleska Wikipedija) Plus: imamo informaciju o sličnosti riječi (2.) Minus: koristimo matricu veličine V 2 12

20 Modeli redukcije dimenzionalnosti Dekompozicija matrice susjedstva (SVD, LSI, LSA, NMF) Ponovno računamo matricu susjedstva M, no sad joj smanjujemo dimenzionalnost Tražimo vektor v i R k za svaku riječ w i V N Pri čemu je N veličina vokabulara, a k << N dimenzija vektora koje učimo Minimiziramo npr. rekonstrukcijsku grešku Podsjetnik: SVD A = UΣV T A = velika matrica realnih brojeva (u našem slučaju, dimenzija NxN) U T U = I, V T V = I (I = matrica identiteta) Σ = dijagonalna matrica svojstvenih vrijednosti sortiranih po padajućim vrijednostima U, Σ, V - jedinstveni! 13

21 Modeli redukcije dimenzionalnosti - SVD Jesmo li zadovoljni s ovom dekompozicijom? 14

22 Modeli redukcije dimenzionalnosti - SVD Jesmo li zadovoljni s ovom dekompozicijom? Nismo! Ali, možemo odabrati najbitnijih k elemenata matrice svojstvenih vrijednosti (najbitnijih = najvećih) 14

23 Modeli redukcije dimenzionalnosti - SVD Zapravo želimo matricu U dimenzija Nxk koja transformira N-dimenzionalne rijetke vektore susjedstva za svaku riječ u k-dimenzionalan gusti vektor Kroz ovu projekciju interesantna svojstva postanu izraženija 15

24 Modeli redukcije dimenzionalnosti - interesantna svojstva Kroz prisiljavanje na kompresiju podataka, algoritam je grupirao slične koncepte Plus: imamo informaciju o sličnosti riječi (2.) Plus: dimenzija k je mnogo manja od veličine vokabulara N (1.) Može li bolje? 16

25 Klasifikacijski modeli Može: Ideja: u dosadašnjim pristupima koristimo samo pozitivne primjere (nizove riječi koje stvarno vidimo u tekstu) klasifikacijski zadatak u kojem neki klasifikator (npr. logistička regresija) za zadanu centralnu riječ w i i njen kontekst c i (riječi udaljene za k od w i) predviđa da li je niz riječi ispravan Izvedba: Za svaku centralnu riječ učimo vektor težina w i Za svaki kontekst učimo vektor težina w c f(x) = σ(w i w c ) Problem - pripada li riječ u kontekst Logloss + trikovi (negative sampling, hierarchical softmax, subsampling,...) 17

26 Klasifikacijski modeli 18

27 Klasifikacijski modeli Word2Vec Efficient Estimation of Word Representations in Vector Space T. Mikolov et al. [2] (a) Muško - žensko (b) Država - glavni grad Regularnosti u reprezentacijama riječi 19

28 Svojstva vektorskih reprezentacija riječi Mikolov et al. uvode tzv. igru analogija Man is to woman as king is to x x = vec(king) vec(man) + vec(woman) min abs(vec i x) = vec(queen) i O. Levy i Y. Goldberg [1] pokazuju da su ova svojstva prisutna i u tradicionalnim reprezentacijama pomoću matrica sličnosti, no da način treniranja izražava određene konceptualne veze 20

29 Sažetak Riješili smo probleme 1. i 2. Smanjili smo dimenzionalnost vektorskog zapisa riječi Uspješno smo uhvatili sličnost između riječi Sve sa plitkim modelima Opstaje problem 3. Ne koristimo redoslijed riječi Procesiranje slijedova varijabilne duljine - kako? U nastavku Problem strojnog prevođenja & povratne neuronske mreže 21

30 Problem strojnog prevođenja

31 Strojno prevođenje Strojno prevođenje je problem u kojemu dobivamo tekst (niz znakova w 1,..., w T ) u ulaznom jeziku, a cilj nam je smisleno reproducirati ulazni tekst u zadanom izlaznom jeziku. 22

32 Strojno prevođenje - pristup Problemu strojnog prevođenja možemo pristupiti modelom unaprijedne neuronske mreže, gdje na temelju ulaznog niza predviđamo svaku riječ izlaznog niza Sve riječi u svakom jeziku spremimo u mape vokabulara veličina V in te V out Na izlazu kao svaki element izlaznog niza predviđamo najvjerojatniju riječ iz V out P(W o,1,..., W ) = o,ˆt P(W o,1 W i,1,..., W i,t )... P(W o,2 W i,1,..., W i,t ) Tražimo W out,1,..., W out,ˆt koji maksimizira zadanu vjerojatnost. 23

33 Pretvorba ulaznog niza u vektore Probleme sličnosti riječi i dimenzionalnosti vokabulara smo već riješili pomoću distribuiranih reprezentacija riječi, te ćemo u prvom koraku mapirati riječi iz ulaznog niza na već naučene reprezentacije 24

34 Pretvorba izlaznih vjerojatnosti u riječi Ovisno o notaciji, u vektoru o su ponekad već vjerojatnosti, a ponekad log vjerojatnosti, koje se potom skaliraju preko softmax funkcije 25

35 Unaprijedna neuronska mreža za strojno prevođenje 26

36 27

37 Problemi? 28

38 Problem: Varijabilna duljina niza 29

39 Problemi... Broj parametara Prosječna duljina rečenice u engleskom jeziku je 15 riječi Prosječna duljina rečenice u hrvatskom jeziku je 12 riječi Pretpostavimo li da je veličina reprezentacije riječi 300, a veličina skrivenog sloja 1000, veličina ulaznog vokabulara 10000, te veličina izlaznog vokabulara Uz sve ovo, u pristupu s jednoslojnom neuronskom mrežom imamo: Ulazni sloj: x 300 = 3,000,000 realnih brojeva Skriveni sloj: 12 x 300 x 1000 = 3,600,000 realnih brojeva Izlazni sloj: 15 x 1000 x = 150,000,000 realnih brojeva Ogroman broj parametara za treniranje! (sama veličina na disku je 700MB u idealnim uvjetima, no teško je optimizirati ovoliki broj parametara) 30

40 Problemi... Težine su vezane za poziciju riječi u tekstu...što ne znači da učimo poredak riječi - samo da moramo naučiti isto ponašanje za svaku riječ na svakoj njenoj mogućoj poziciji u rečenici (u svakoj matrici težina) 31

41 Problemi... Zapravo i ne koristimo poredak riječi u rečenici Mreža može naučiti ignorira neke veze - no zašto taj postupak prepustiti mreži? 32

42 Rješenja? 33

43 Dijeljenje parametara Neovisno o broju (npr.) riječi na ulazu, koristimo istu matricu U Rješava: 1. Broj parametara 2. Varijabilnu duljinu nizova 3. Težine vezane za poziciju u rečenici Ne rješava: 1. Poredak riječi 34

44 Poredak riječi Dodajemo težinsku matricu W koja povezuje skriveni sloj iz prethodnog vremenskog koraka s trenutnim skrivenim slojem 35

45 Novi neuron Naša nova verzija neurona u svakom koraku prima dva ulaza - vektor prethodnog stanja pomnoženog s matricom W, te vektor novog ulaza pomnožen s matricom U h (t) = f(wh (t 1) + Ux (t) + b) Pri čemu je f funkcija nelinearnosti, u ovom slučaju tangens hiperbolni, a b vektor pristranosti dimenzije H 36

46 Povratne neuronske mreže

47 Povratna ćelija Operacije koje radimo u svakom koraku možemo izolirati u ćeliju, koju u ovom slučaju zovemo (običnom) povratnom ćelijom 37

48 Povratna ćelija kao sloj neuronske mreže, vrijeme Povratnu ćeliju možemo interpretirati kao jedan sloj neuronske mreže kojoj je prijenosna funkcija tangens hiperbolni Vrijeme u povratnim neuronskim mrežama označava redoslijed kojim se podaci šalju na ulaz 38

49 Izlaz povratne ćelije 39

50 Izlaz povratne ćelije Pri računanju izlaza povratne neuronske mreže uvodimo novu težinsku matricu V te vektor pristranosti c. o (t) = Vh (t) + c Ovisno o problemu (regresija, klasifikacija), iz vektora o (t) se na drugačiji način računa predikcija (ŷ (t) ) U slučaju strojnog prevođenja, predviđamo koja riječ iz vokabulara ciljnog jezika ima najveću vjerojatnost kao idući element izlaza 40

51 Povratna neuronska mreža za strojno prevođenje 41

52 Povratna neuronska mreža za strojno prevođenje Povratna neuronska mreža u svakom koraku kao izlaz generira nenormalizirane vjerojatnosti u vektoru o (t) dimenzije Y Y je broj ciljnih klasa (u problemu strojnog prevođenja, veličina vokabulara ciljnog jezika). Vjerojatnosti normaliziramo funkcijom softmax te spremamo u vektor ŷ y ˆ (t) = softmax(o (t) ) Normalizirane vjerojatnosti uspoređujemo sa stvarnom distribucijom na izlazu (na izlazu imamo prijevod u ciljnom jeziku) te koristimo gubitak unakrsne entropije L = Y y i log(ŷ i ) i=1 Pri čemu je y i stvarna riječ prijevoda u koraku i. 42

53 Gubitak povratne neuronske mreže 43

54 Povratne neuronske mreže - formalizacija 44

55 Povratne neuronske mreže - Hiperparametri Veličina skrivenog sloja H određuje kolika je reprezentativna moć mreže Uobičajeno je pravilo - što više, to bolje Problem se može dogoditi ukoliko je veličina skrivenog sloja veća od dimenzionalnosti podataka, te mreža krene pamtiti ulazne podatke U praksi, ograničenje je količina dostupne memorije Broj vremenskih koraka odmatanja mreže T T je obično uvjetovan podacima, no u slučaju podataka varijabilne duljine (tekst, rečenice) možemo odrediti maksimalnu duljinu rečenice koju primamo U tom slučaju, podaci dulji od T se krate na T, a podaci kraći od T npr. nadopunjuju nulama (u praksi drugi pristupi) Algoritam optimizacije i stopa učenja Optimizacija: algoritmi s adaptivnim stopama učenja U praksi Adam, RMSProp (AdaGrad) 45

56 Povratne neuronske mreže - formalizacija Radi jednostavnosti, inicijaliziramo skriveno stanje na vektor nula: h (0) = 0 Projekcija ulaza u skriveno stanje i projekcija prošlog skrivenog stanja u skriveno stanje: h (t) = tanh(wh (t 1) + Ux t + b) (1) Projekcija u izlazni sloj: Vjerojatnosti izlaznog sloja (klasifikacija): o (t) = Vh (t) + c (2) ŷ (t) = softmax(o (t) ) (3) Gubitak unakrsne entropije: L (t) = C i y (t) i log(ŷ (t) i ) (4) 46

57 Povratne neuronske mreže - propagacija unaprijed 47

58 Povratne neuronske mreže - propagacija unaprijed 48

59 Povratne neuronske mreže - propagacija unaprijed 49

60 Povratne neuronske mreže - propagacija unaprijed 50

61 Povratne neuronske mreže - propagacija unaprijed 51

62 Povratne neuronske mreže - propagacija unaprijed 52

63 Povratne neuronske mreže - propagacija unaprijed 53

64 Treniranje povratnih neuronskih mreža

65 Propagacija unatrag kroz vrijeme 54

66 Propagacija unatrag kroz vrijeme 55

67 Propagacija unatrag kroz vrijeme Podsjetnik - osnovna RNN ćelija je zapravo jednoslojna neuronska mreža: h (t+1) = tanh(wh (t) + Ux (t+1) + b) 56

68 Intermezzo: tangens hiperbolni Tangens hiperbolni je zapravo skalirana funkcija logističke sigmoide: σ(x) = ex 1 + e x = e x tanh(x) = 1 e 2x 1 + e 2x = ex e x e x + e x tanh(x) = 2σ(2x) 1 d dx tanh(x) = 1 tanh2 (x) 57

69 Intermezzo: tangens hiperbolni 58

70 Propagacija unatrag kroz vrijeme Stanja (i ulazi) povratne neuronske mreže utječu na svaki idući izlaz h (t) = f(h (t k 1), x (t k) ) 0 k < t T Svako stanje h (t) prima budući (engl. upstream) gradijent kroz h (t+1) L h L(t) L(t+) = + (t) h (t) h (t) Računanje gradijenta s obzirom na parametre radimo u suprotnom smjeru od smjera protoka vremena Backpropagation through time - BPTT Zapravo najobičniji backprop 59

71 Propagacija unatrag kroz vrijeme - zadnji vremenski korak U zadnjem vremenskom koraku propagiramo gradijent gubitka (npr.) unakrsne entropije s obzirom na funkciju softmax izlaza povratne mreže o (t) 60

72 Propagacija unatrag kroz vrijeme - zadnji vremenski korak L (t) o (t) = softmax(o(t) ) y (t) (5) 61

73 Propagacija unatrag kroz vrijeme - gradijent izlaznog sloja Podsjetnik: projekcija u izlazni sloj: o (t) = Vh (t) + c (6) L (t) o (t) = softmax(o(t) ) y (t) (7) Tražimo gradijente na matricu V, pristranost c u zadnjem koraku i gradijent koji propagira dalje, s obzirom na h (t) L V = L o (t) o (t) V = (softmax(o(t) ) y (t) )h (t)t (8) L c = L o (t) o (t) c = softmax(o(t) ) y (t) (9) L L(t) o (t) = h (t) o (t) h L(t+) + (t) h (t) Za zadnji vremenski korak, L(t+) h (t) = 0 = V T ( L(t) L(t+) ) + (10) o (t) h (t) 62

74 Propagacija unatrag kroz vrijeme - zadnji vremenski korak Poznat nam je gradijent koji propagira kroz izlaz o (t), te sad trebamo odrediti gradijente s obzirom na parametre projekcije u skriveni sloj - matrica W, U i vektora b, te gradijente koji propagiraju dalje s obzirom na ulaz x (t) i prošlo skriveno stanje h (t 1) 63

75 Propagacija unatrag kroz vrijeme - gradijent ćelije Podsjetnik: projekcija u ćeliju: h (t) = tanh(wh (t 1) + Ux (t) + b) Koristeći pravilo ulančavanja, izraz ćemo razdvojiti na način da ćemo prvo računati gradijent kroz funkciju tangens hiperbolni, a potom gradijent s obzirom na matrice W, U i vektor b Radi čitkosti, stavljamo a (t) = Wh (t 1) + Ux (t) + b Gradijent tangensa hiperbolnog: tanh(x) x = 1 tanh 2 (x) Preko pravila ulančavanja: tanh(a (t) ) x = 1 tanh(a (t)2 ) = 1 h (t)2 (11) L a (t) = L h (t) h (t) a = (t) L tanh h (t) = L a (t) h 2 (1 h(t) (t) ) (12) 64

76 Propagacija unatrag kroz vrijeme - gradijent parametara ćelije Podsjetnik: projekcija u ćeliju, gradijent kroz a (t) : h (t) = tanh(wh (t 1) + Ux (t) + b) = tanh(a (t) ) L a = L 2 (1 (t) h(t) ) h (t) Gradijenti na parametre (W, U, b): L W = L U = L a (t) a (t) W = L a (t) a (t) U = L a (t) h(t 1)T (13) L a (t) x(t)t (14) L b = L a (t) a (t) b = L (15) a (t) 65

77 Propagacija unatrag kroz vrijeme - gradijent ulaza ćelije Podsjetnik: projekcija u ćeliju, gradijent kroz a (t) : Gradijenti na ulaze (h (t 1), x (t) ): h (t) = tanh(wh (t 1) + Ux (t) + b) L h (t 1) = L a = L 2 (1 (t) h(t) ) h (t) L x (t) = L a (t) a (t) h = L WT (16) (t 1) a (t) L a (t) = L a (t) UT (17) x (t) a (t) 66

78 Propagacija unatrag kroz vrijeme - algoritam Gradijenti na parametre se akumuliraju L T W = t=1 Jednako za sve ostake parametre Implementacijski: L (t) W = T t=1 L (t) h(t 1)T a (t) Petlja od T prema 0 Cache podataka koji su nužni za idući korak backpropa (koji?) Pamćenje sume gradijenata Gradijenti na ulaze - zašto? Na ulazu su vektori dobiveni treniranjem na drugom zadatku (EN wiki, Google news) Fine tuning Na ulazu je... nešto drugo? Duboke povratne neuronske mreže 67

79 Pitanja? 67

80 Dodatni materijali Uz (odličnu) knjigu, preporuča se pročitati ovim redoslijedom (1.-3.) 1. Peter s notes: Implementing a NN / RNN from scratch 2. Andrej Karpathy: The Unreasonable Effectiveness of Recurrent Neural Networks http: //karpathy.github.io/2015/05/21/rnn-effectiveness/ 3. Cristopher Olah: Understanding LSTM s http: //colah.github.io/posts/ understanding-lstms/ Za one koji žele znati (puno) više CS224d: Deep Learning for Natural Language Processing 68

81 References I O. Levy, Y. Goldberg, and I. Ramat-Gan. Linguistic regularities in sparse and explicit word representations. In CoNLL, pages , T. Mikolov, K. Chen, G. Corrado, and J. Dean. Efficient estimation of word representations in vector space. arxiv preprint arxiv: , J. Turian, L. Ratinov, and Y. Bengio. Word representations: a simple and general method for semi-supervised learning. In Proceedings of the 48th annual meeting of the association for computational linguistics, pages Association for Computational Linguistics, 2010.