Holografická redukovaná reprezentácia v umelej inteligencii a kognitívnej vede

Transcription

1 Holografická redukovaná reprezentácia v umelej inteligencii a kognitívnej vede Vladimír Kvasnička Ústav aplikovanej informatiky FIIT STU November 2007 priesvitka 1

2 Hologram (Denis Gabor, 1948) priesvitka 2

3 Hologram ako metafora pamäti P. J. van Heerden: A new Optical Method of Storing and Retrieving Informatoin. Applied Optics (1963). D. Gabor: Holographic model of temporal recall. Nature (1968). K. R. Pribram: The Neurophysiology of Remembering. Scientific American (1966). B. B. Murdock: Convolution and Correlation Perception and memory. Perspectives of memory (1979). D. Willshaw: Holography, Associative Memory and Inductive Generalization. Parallel Models of Associative Memory (1981) T. A. Plate: Holographic Reduced Representations. IEEE Transactions on Neural Network (1995). T. A. Plate: Holographic Reduced Representation. Distributed Representation for Cognitive structures (2003). priesvitka 3

4 Základné postuláty holografického prístupu k pamäti Pamäť je v mozgu realizovaná distribuovaným spôsobom (je experimentálne zistené, že jednotlivé položky pamäti nemajú lokalistický charakter, lézie mozgu, Lashleyho experimenty na potkanoch) Graceful degradation of memory ( pôvabná degradácia pamäti) Distribuovaný charakter pamäťových stôp v mozgu. Možnosť implementácie asociatívnej pamäti bez nutnosti prehľadávania priesvitka 4

5 FTP anonymný server obsahuje niekoľko desiatok prác o HRR ftp://math.chtf.stuba.sk/pub/vlado/ DistributedRepresentation/ priesvitka 5

6 Čo je distribuovaná reprezentácia? Distribuovaná reprezentácia poznatkov (vedomostí, koncepcií,...) používa také kódovaniu, ktoré je založené na neurónových sieťach - neurónové aktivity sú interpretované ako neurálalne koreláty daných poznatkov. Kognitívna aktivita spočíva v časovom slede distribuovaných reprezentácií, pričom existujú pravidlá, ako meniť vybranú reprezentáciu na inú reprezentáciu. Tento prístup poskytuje všeobecnú metódu, ktorá kombinuje efektívnosť symbolického prístupu s robustnosťou, učením a schopnosťou generalizovať (indukciou) subsymbolického prístupu. priesvitka 6

7 Význam holografickej distribuovanej reprezentácie pre umelú inteligenciu a kognitívnu vedu Vzťah medzi symbolickým a subsymbolickým prístupom, alebo medzi kognitivizmom a konekcionizmom. Holografická distribuovaná reprezentácia ponúka určité kompromisné riešenie na polceste medzi kognitivizmom a konekcionizmom. Pre konekcionizmus je endless problémom interpretáciu koncepcie symbolu, ktorá v kognitivistickom prístupe hrá centrálnu úlohu. Holografická distribuovaná reprezentácia symboly (koncepcie) vyjadruje pomocou mnohorozmerných konceptuálnych vektorov. Operácie nad symbolmi sú nahradené numerickými operáciami nad konceptuálnymi vektormi. Jednoduché modelovanie asociačnej pamäti (chunking effect) priesvitka 7

8 Prechod od neurónovej siete k distribuovanej reprezentácii... distribuovaná reprezentácia neurónová sieť priesvitka 8

9 Konceptuálne vektory (1) n-rozmerny vektor a a n R = ( ) a,a,...,a 0 2 n 1 (2) náhodne generovaný 1 ai = N 0, i 01,,...,n 1 n { } priesvitka 9

10 Cirkulárna konvolúcia n n n : R R R c = a b b a c = a b + ab + a b c = a b + ab + a b c = a b + ab + a b c 2 c 0 c 1 priesvitka 10

11 n 1 c = a b i =,,...,n i j i j j= 0 [ ] ( 01 1 ) [ k] = k mod n Cirkulárna konvolúcia spĺňa tieto vlastnosti: 1. a b= b a 2. ( a b) c = a ( b c) a α b+βc = α a b + β a c 3. ( ) ( ) ( ) 4. 1 a = a 1 = ( 10,,..., 0) ( ) 5. a -1 a=1 (pre circ( ) 0 a ) priesvitka 11

12 Jednoduchá implementácia konvolúcie vyžaduje výpočet n skalárnych súčinov 2 on algoritmus. vektora b s vektorom a, tj. táto naivná implementácia produkuje ( ) Implementácia konvolúcie pomocou rýchlej Fourierovej transformácie (FFT) 1 1 c = F Fa Fb = F Fa Fb n n znižuje časovú náročnosť na o( nlog ( n )). (( ) ( )) diag ( )( ) ( ) priesvitka 12

13 matrix convolution time ( sec ) dimension FFT convolution priesvitka 13

14 Unárna operácia involúcia ( ) : R n R n ( ) b = a = a,a,...,a,a [ 0] [ 1] [ n+ 2] [ n+ 1] ( a, a, a,..., a, a )* =( a, a, a,..., a, a) n-2 n-1 0 n-1 n Involúcia c* je približne rovná inverznému vektoru c -1 c c 1 priesvitka 14

15 n 1 n 1 ( ) * c c = cc k [ i k] = c[ k] c [ i k] i k= 0 k= 0 ( for i 0) c c = = n 1 c c i k = 0 [ ] [ ] ( for > 0 k i k ) A histogram plot of single components of c c, where c is randomly generated conceptual vector for n= priesvitka 15

16 Rekonštrukcia x z c x x ( ) ( ) 1 1 = c c x = c c x 1 = c c x c c x pretože konvolúcia c* s vektorom c x produkuje vektor x, ktorý je blízky pôvodnému vektoru x, x x, x0 1 x1+η 1 x = = x+ ( c c) η... xn 1+ηn 1 kde η je náhodný šum s normálnou distribúciou s nulovou strednou hodnotou a štandardnou odchýlkou podstatne menšou ako x. priesvitka 16

17 1,0 frekvencia výskytu 0,5 0,0 0,4 0,5 0,6 0,7 0,8 0,9 1,0 prekryv( x,x) Histogram prekryvov medzi vektormi x a x (dimenzie n=1000) je s najväčšou frekvenciou okolo 0.7, z čoho vyplýva, že vektory x a x sú si podobné. priesvitka 17

18 Asociatívna pamäť { ; 12 } A = c x i =,,...,m t = c1 x cm x m i i asociačná narážka predmet pamäťová stopa x = c t prekryv = x x max x A x x Proces upratovania (clean-up) nájde pre asociatívnu narážku (cue) vektor c A = c x ; i = 12,,...,m. priradený predmet x z množiny { } i i priesvitka 18

19 Ilustračný príklad 10 párov vektorov c a x (dĺžky n=4000) je náhodne generovaných pomocou N(0,1/n), stopa t pre všetkých 10 párov je zostrojená, pre 20 pokusov aplikujeme s 50% pravdepodobnosťou buď narážku c z A alebo použijeme náhodne generovaný vektor pomocou N(0,1/n), potom x = c t je vypočítaný, súhlas medzi x a x z A je určený pomocou prekryvu x x prekryv = max x A xx priesvitka 19

20 # prekryv index narážky index výstupu hodnota prekryvu je menšia ako práhová hodnota priesvitka 20

21 Alternatívna interpretácia asociatívnej pamäti holografická transformácia { a b ; 12 } A = i =,,...,m train i i Hladáme takú transformáciu, ktorá vyhovuje podmienke bi ai T i { 12,,...,m} Približný tvar transformácie T je m T = a b a T b i= 1 i i i i i { 12,,...,m} a 1 b 1 a 2 b 2 a 3 b a m b m = f ( ) b a bi T a i i i look-up table funkcia transformácia priesvitka 21

22 0,6 Aditívna pamäť t m = x i= 1 i 0,4 0,2 0, ,2 items included in addition memory items not included in addition memory priesvitka 22

23 Aký je rozdiel medzi asociatívnou a aditívnou pamäťou Vyvolávanie pamäťovej položky pre asociatívnu pamäť je založená na použití narážky (cue). Asociatívna pamäť t obsahuje položku x, ktorá je asociovaná s narážkou c, Rozhodneme sa podľa veľkosti prekryvu ( xx c t) prekryv, = >ϑ Vyvolávanie pamäťovej položky pre aditívnu pamäť je založená na použití samotnej položky. Aditívna pamäť t obsahuje položku x, ktorá je asociovaná s narážkou c, Rozhodneme sa podľa veľkosti prekryvu ( xx x t) prekryv, = >ϑ priesvitka 23

24 Postupnosť položiek (koncepcií) postupnosť = a b c d e f t = a a b a b c a b c d + a b c d e+ a b c d e f 1. krok: = upratovanie( ) Rekonštrukcia a t 0, t1:= t0 a, t 1:= a * t1, 2. krok: b = upratovanie( t 1), t2 := t1 a b, t 2 : = ( a b) t2, 3. krok: c = upratovanie( t 2 ), t3:= t2 a b c, t 3 : = ( a b c) t3,.. priesvitka 24

25 Priebeh prekryvov pri rekonštrukcii pamäťového vektora t 0 postupnosti obsahujúcej 6 položiek (n=4000) strength stack item priesvitka 25

26 Pozorovanie Rýchla degradácia rekonštrukcie pamäťového vektora t0 = a+ a b+ a b c +... Približne 6 položiek je spoľahlivo rekonštruktovateľných Tento prístup môžeme pokladať za matematický model krátkodobej pamäti, ktorá je schopná si zapamätať približne 6-7 položiek (Miller, 1956). G. A. Miller, Human memory and the storage of information. IEEE Trans. Info. Theory. 2 (1956), priesvitka 26

27 Agregovaná pamäť Agregovaná pamäť pomáha prekonať problémy s rýchlo degradáciou rekonštrukcie pamäťového vektora postupnosti viac ako 6 položiek ( i j ) S = S S S S... S S =, i j for Príklad S1 S = { a,b,c,d,e, f,g,h} = { a,b,c}, S = { d,e}, S = { f }, and S = { g,h} priesvitka 27

28 s b a s 1 d s e 3 f s 2 h c g i s 4 s = a+ a b+ a b c, s = d + d e, s = f, s = g+ g h t = s1 + s1 s2 + s1 s2 s3 + s1 s2 s3 s 4 priesvitka 28

29 Rekonštrukcia je dvojkrokový proces: 1. krok rekonštrukcia agregátov 2. krok zistené agregáty sú ďalej rekonštruktované na jednotlivé položky 1,0 abc a d f g 0,8 de b e h strength 0,6 0,4 f gh c 0,2 0, aggregate of chunks ( abc,de,f,gh) 1st chunk ( abc) 2nd chunk 4th chunk ( cde) ( gh) 3rd chunk () f priesvitka 29

30 Reprezentácia predikátov Študujme predikát dvoch argumentov P(x,y) špecifikovaný ako funkcia ( : : ) function P x variable ; y variable 1 2 Táto funkcia je holograficky reprezentovaná pomocou asociatívneho pamäťového vektora takto t = function P + variable x + variable y s narážkovými (cue) vektormi function, variable 1, a variable 2. V mnohých prípadoch budeme používať zjednodušený tvar reprezentácie t = P + variable x + variable y priesvitka 30

31 Reprezentácia vnorených (nested) predikátov ( ) Študujme príklad Q x,p( y,z ) Reprezentácia tohto vnoreného predikátu má tento tvar, kde druhý argument predikátu Q je predikát P(x,y). ( : 1 : 2) ( : : ) function Q x variable ; u variable function P y variable ; z variable 3 4 t1 = Q + variable1 x + variable2 u t = P + variable y + variable z ( ) t = Q + variable x + variable P + variable y + variable z = Q + variable x + variable P + 1 variable variable y + variable variable z priesvitka 31

32 Usudzovanie modus ponens a modus tollens p q p q modus ponens : p, modus tollens : q q p Holografická reprezentácia implikácie p q má tvar t = p q op impl + var + 1 p var2 q Pomocou transformačného vektora T = var1 p p q + var2 q q p zostrojíme holografickú reprezentáciu modus ponens a modus tollens p T tp q q a p q q T t p priesvitka 32

33 A similarity between geometric figures priesvitka 33

34 Holografická reprezentácia jednotlivých prípadov t = ver + ver _ var lg x + ver _ var lg y 1, xy, 1 2 t = hor + hor _ var lg x + hor _ var lg y t 2, xy, 1 2 3, xy, ver + ver _ var1 lg x + ver _ var2 sm y = ver + ver _ var1 sm x + ver _ var2 lg y hor + hor _ var1 lg x + hor _ var2 sm y t4, xy, = hor + hor _ var1 sm x + hor _ var2 lg y t = ver + ver _ var sm x + ver _ var sm y 5, xy, 1 2 t = hor + hor _ var sm x + hor _ var sm y 6, xy, 1 2 ( ) = ( tt ) similarity X,X overlap, priesvitka 34

35 priesvitka 35

36 Závery Holografická redukovaná reprezentácia ponúka nové nekonvenčné riešenie jedného zo základných problémov umelej inteligencie a kognitívnej vedy, ktorý spočíva v distribuovanom kódovaní štruktúrovanej informácie (postupnosť znakov, vnorené relačné štruktúry, a pod.). Pomocou holografickej distribuovanej reprezentácie môžeme modelovať rôzne typy asociatívnej pamäti, ktoré sú reprezentované konceptuálnym vektorom a taktiež dekódovať pamäťový vektor. Proces agregácie vektorov umožňuje prekonať ťažkosti rýchlej degradácie rekognoskácie pamäťového vektora. priesvitka 36

37 Holografická redukovaná reprezentácia umožňuje hľadať podobnosť medzi dvoma štruktúrovanými konceptami pomocou jednoduchej algebraickej operácie skalárneho súčinu medzi ich distribuovanými reprezentáciami. Táto skutočnosť môže byť veľmi užitočnou pre modelovanie procesov prehľadávania pamäti na základe podobnosti. Holografická redukovaná reprezentácia môže byť taktiež použitá k modelovaniu procesov usudzovania. priesvitka 37