Konstekstno slobodne gramatike

Transcription

1 Konstekstno slobodne gramatike Vežbe 07 - PPJ Nemanja Mićović nemanja_micovic@matfbgacrs Matematički fakultet, Univerzitet u Beogradu 4 decembar 2017

2 Sadržaj Konstekstno slobodne gramatike Rečenična forma Relacija izvođenja Izvođenje u gramatici Primeri Aritmetički izrazi Lista brojeva Transformacije gramatika Čišćenje suvišnih simbola Oslobađanje jednostrukih pravila Oslobađanje leve rekurzije Oslobađanje od ε pravila

3 Sadržaj Konstekstno slobodne gramatike Rečenična forma Relacija izvođenja Izvođenje u gramatici Primeri Aritmetički izrazi Lista brojeva Transformacije gramatika Čišćenje suvišnih simbola Oslobađanje jednostrukih pravila Oslobađanje leve rekurzije Oslobađanje od ε pravila

4 Sintaksna analiza Omogućava nam da proverimo sintaksu/pravopis jezika Želimo formalizam za opis sintakse koji je dovoljno izražajan [Aho et al, 1986]

5 Primer sintaksne analize gcc vrši sintaksnu analizu nad našim kodom Prijavljuje sintaksnu grešku #include <stdioh> int main() { int i = 0 j = 0; return 0; } testc: In function main : testc:5:15: error: expected, or ; before j int i = 0 j = 0; ^

6 Gramatike Formalizam za opis sintakse jezika Izražajniji mehanizam od regularnih izraza

7 Primer gramatike Pravila: 1 A aab 2 A ε Primer izvođenja: A 1 aab 1 aaabb 1 aaaabbb 2 aaaεbbb Pravila definišu jezik: L = {a n b n n 0} 1 1 Primetimo da navedeni jezik nije moguće opisati regularnim izrazima jer nije regularan, dokaz sa predavanja

8 Simboli u konstekstno slobodnoj 2 gramatici Simboli mogu biti završni (terminalni simboli, terminali, tokeni) nezavršni (neterminalni simboli, neterminali, pomoćni simboli) U prethodnom primeru: Završni: {a, b} Nezavršni: {A} 2 Termin će biti objašnjen kasnije

9 Zadatak 1 Opisati KS gramatikom jezik L = {a n b n n > 0}

10 Zadatak 1 Opisati KS gramatikom jezik L = {a n b n n > 0} Rešenje

11 Zadatak 1 Opisati KS gramatikom jezik L = {a n b n n > 0} Rešenje A aab

12 Zadatak 1 Opisati KS gramatikom jezik L = {a n b n n > 0} Rešenje A aab A ab

13 Zadatak 2 Zapisati jezik a*b* koristeći KS gramatike S AB A aa A ε B bb B ε

14 Definicija KS gramatike KS Gramatika G je uređena četvorka (Σ, N, S, P), za koju važi Σ je skup završnih simbola N je skup nezavršnih simbola S je aksioma (početni simbol), S N P je skup pravila gramatike, P N (N Σ)

15 Definicija KS gramatike - primer Gramatika: A aab A ε Skupovi: Σ = {a, b} N = {A} S = A P = {(A, aab), (A, ab)}

16 Šta znači termin kontekstno oslobodna? Sa leve strane pravila, javlja se tačno jedan neterminalni simbol Inače, primena pravila zavisi od konteksta Konstekstno slobodna gramatika: A aab A ε Gramatika koja nije kontekstno slobodna: A abcbb ab aab Bb Bbb

17 Rečenična forma Rečenična forma je bilo koja rečenica iz (N Σ) : S je rečenična forma Ako je αxβ rečenična forma i X γ P, tada je αγβ takođe rečenična forma Tada pišemo αxβ αγβ i kažemo da su ove dve rečenične forme u relaciji izvođenja

18 Relacije izvođenja koristimo za pravila gramatike koristimo za relaciju izvođenja rečeničnih formi + tranzitivno zatvorenje (izvodi se u jednom ili više koraka) tranzitivno i refleksivno zatvorenje (izvodi se u nula ili više koraka)

19 Jezik gramatike Jezik gramatike G možemo definisati na sledeći način: L(G) = {w Σ S w}

20 Izvođenje u gramatici Podsetimo se gramatike G jezika L = {a n b n n N} Pravila gramatike: 1 A aab 2 A ε Primer izvođenja: A 1 aab 1 aaabb 1 aaaabbb 2 aaaεbbb aaabbb Što kraće možemo zapisati kao A aaabbb L(G)

21 Izvođenje u gramatici Izvođenje u gramatici G je niz rečeničnih formi R i gde je prva aksioma (S), poslednja reč iz jezika (w), i svake dve su u relaciji izvođenja ( ) S R 1 R 2 R n w Programski prevodioci pri sintaksnoj analizi izvođenjem koristeći pravila gramatike proveravaju sintaksu programskog koda

22 Sadržaj Konstekstno slobodne gramatike Rečenična forma Relacija izvođenja Izvođenje u gramatici Primeri Aritmetički izrazi Lista brojeva Transformacije gramatika Čišćenje suvišnih simbola Oslobađanje jednostrukih pravila Oslobađanje leve rekurzije Oslobađanje od ε pravila

23 Aritmetički izrazi Prepoznajemo aritmetičke izraze Radi apstrakcije, brojeve ćemo označavati sa a

24 Aritmetički izrazi - rešenje 1 Uočimo sledeću gramatiku 3 G +R : 1 E a 2 E a + E Izvedimo izraz a + a + a: E 2 a + E 2 a + a + E 1 a + a + a 3 E potiče od engleskog naziva expression za izraz

25 Aritmetički izrazi - rešenje 1 Slika: Drvo izvođenja Slika: Drvo apstraktne sintakse

26 Izrazi - rešenje 1 Gramatika G +R je desno rekurzivna Primetimo da su prikazana drveta nagnuta na desno

27 Aritmetički izrazi - rešenje 2 Uočimo sledeću gramatiku G +L : 1 E a 2 E E + a Izvedimo izraz a + a + a: E 2 E + a 2 E + a + a 1 a + a + a

28 Aritmetički izrazi - rešenje 2 Slika: Drvo izvođenja Slika: Drvo apstraktne sintakse

29 Aritmetički izrazi - rešenje 2 Gramatika G +L je levo rekurzivna Primetimo da su prikazana drveta nagnuta na levo

30 Aritmetički izrazi - rešenje 3 Uočimo sledeću gramatiku G +LD : 1 E a 2 E E + E Izvedimo izraz a + a + a: Najlevlje izvođenje: E 2 E + E 1 a + E 2 a + E + E 1 a + a + E 1 a + a + a Najdešnje izvođenje: E 2 E + E 1 E + a 2 E + E + a 1 a + a + a 1 a + a + a

31 Aritmetički izrazi - rešenje 3 Slika: Drvo izvođenja za najlevlje izvođenje Slika: Drvo izvođenja za najdešnje izvođenje

32 Aritmetički izrazi - rešenje 3 Slika: Drvo apstraktne sintakse za najlevlje izvođenje Slika: Drvo apstraktne sintakse za najdešnje izvođenje

33 Aritmetički izrazi - rešenje 3 Gramatika G +LD ima dva različita drveta izvođenja za isti skup pravila! Takvu gramatiku nazivamo višeznačna gramatika Ispitivanje da li je gramatika višeznačna je neodlučiv problem Ipak, ukoliko postoji pravilo koje je i levo i desno rekurzivno, to je odličan indikator o višeznačnosti

34 Aritmetički izrazi 2 Želimo da omogućimo i množenje Analizirajmo sledeću gramatiku G + LD : 1 E a 2 E E + E 3 E E E Ili kraće: E a E + E E E

35 Aritmetički izrazi 2 Izvedimo a + a a Ako prvo koristimo drugo pravilo: I 1 : E 2 E + E 1 a + E 3 a + E E 1 a + a E 1 a + a a Ako prvo koristimo treće pravilo: I 2 : E 3 E E 2 E + E E 1 a + E E 1 a + a E 1 a + a a

36 Aritmetički izrazi 2 - drveta Slika: Drvo izvođenja za I 1 Slika: Drvo izvođenja za I 2

37 Aritmetički izrazi 2 - drveta Koje od prikazanih drveta je ispravno ako se uzme u obzir da množenje ima veći prioriet od sabiranja? Slika: Drvo apstraktne sintakse za I 1 Slika: Drvo apstraktne sintakse za I 2

38 Aritmetički izrazi 2 - pokušaj 2 Izraze posmatramo kao niz sabiraka

39 Aritmetički izrazi 2 - pokušaj 2 Izraze posmatramo kao niz sabiraka Svaki sabirak je ili broj ili proizvod brojeva

40 Aritmetički izrazi 2 - pokušaj 2 Izraze posmatramo kao niz sabiraka Svaki sabirak je ili broj ili proizvod brojeva To nas inspiriše za gramatiku G + L

41 Aritmetički izrazi 2 - pokušaj 2 Izraze posmatramo kao niz sabiraka Svaki sabirak je ili broj ili proizvod brojeva To nas inspiriše za gramatiku G + L 1 E E + T

42 Aritmetički izrazi 2 - pokušaj 2 Izraze posmatramo kao niz sabiraka Svaki sabirak je ili broj ili proizvod brojeva To nas inspiriše za gramatiku G + L 1 E E + T 2 E T

43 Aritmetički izrazi 2 - pokušaj 2 Izraze posmatramo kao niz sabiraka Svaki sabirak je ili broj ili proizvod brojeva To nas inspiriše za gramatiku G + L 1 E E + T 2 E T 3 T T a

44 Aritmetički izrazi 2 - pokušaj 2 Izraze posmatramo kao niz sabiraka Svaki sabirak je ili broj ili proizvod brojeva To nas inspiriše za gramatiku G + L 1 E E + T 2 E T 3 T T a 4 T a

45 Aritmetički izrazi 2 - pokušaj 2 Izraze posmatramo kao niz sabiraka Svaki sabirak je ili broj ili proizvod brojeva To nas inspiriše za gramatiku G + L 1 E E + T 2 E T 3 T T a 4 T a Kraće: E E + T T i T T a a

46 Aritmetički izrazi 2 - pokušaj 2 Izraze posmatramo kao niz sabiraka Svaki sabirak je ili broj ili proizvod brojeva To nas inspiriše za gramatiku G + L 1 E E + T 2 E T 3 T T a 4 T a Kraće: E E + T T i T T a a Gubimo višeznačnost

47 Aritmetički izrazi 2 - pokušaj 2 Izraze posmatramo kao niz sabiraka Svaki sabirak je ili broj ili proizvod brojeva To nas inspiriše za gramatiku G + L 1 E E + T 2 E T 3 T T a 4 T a Kraće: E E + T T i T T a a Gubimo višeznačnost Rešavamo problem prioriteta operacija

48 Aritmetički izrazi 2 - pokušaj 2 Izraze posmatramo kao niz sabiraka Svaki sabirak je ili broj ili proizvod brojeva To nas inspiriše za gramatiku G + L 1 E E + T 2 E T 3 T T a 4 T a Kraće: E E + T T i T T a a Gubimo višeznačnost Rešavamo problem prioriteta operacija I : E 1 E + T 2 T + T 4 a + T 3 a + T a 4 a + a a

49 Aritmetički izrazi 2 - pokušaj 2 Slika: Drvo apstraktne sintakse za I Slika: Drvo apstraktne sintakse za I

50 Aritmetički izrazi 3 - kompletirani Želimo da dodamo -, / i zagrade Gramatika G opz E E + T E T T T T F T/F F F a (E) Izvedimo (a + a) a E T T F F F (E) F (E + T) F (T + T) F (T + T) F (F + T) F (a + T) F (a + F) F (a + a) F (a + a) a

51 Aritmetički izrazi 3 - kompletnirani Slika: Drvo apstraktne sintakse za I Slika: Drvo apstraktne sintakse za I

52 Lista brojeva Konstekstno slobodnom gramatikom opisati 4 liste brojeva Na primer 5, 1, 8, 5, 6, 1, 9, 4, 3 BROJ Koristićemo simbol kako bi izbegli suvišna ponavljanja pravila koje imaju istu levu stranu 5 Vidite li nešto interesantno u brojevima?

53 Lista brojeva Konstekstno slobodnom gramatikom opisati 4 liste brojeva Na primer 5, 1, 8, 5, 6, 1, 9, 4, 3 BROJ lista BROJ, lista 4 Koristićemo simbol kako bi izbegli suvišna ponavljanja pravila koje imaju istu levu stranu 5 Vidite li nešto interesantno u brojevima?

54 Lista brojeva Konstekstno slobodnom gramatikom opisati 4 liste brojeva Na primer 5, 1, 8, 5, 6, 1, 9, 4, 3 BROJ lista BROJ, lista lista BROJ 4 Koristićemo simbol kako bi izbegli suvišna ponavljanja pravila koje imaju istu levu stranu 5 Vidite li nešto interesantno u brojevima?

55 Lista brojeva Konstekstno slobodnom gramatikom opisati 4 liste brojeva Na primer 5, 1, 8, 5, 6, 1, 9, 4, 3 BROJ lista BROJ, lista lista BROJ Ili kraće: lista BROJ, lista BROJ 4 Koristićemo simbol kako bi izbegli suvišna ponavljanja pravila koje imaju istu levu stranu 5 Vidite li nešto interesantno u brojevima?

56 Sadržaj Konstekstno slobodne gramatike Rečenična forma Relacija izvođenja Izvođenje u gramatici Primeri Aritmetički izrazi Lista brojeva Transformacije gramatika Čišćenje suvišnih simbola Oslobađanje jednostrukih pravila Oslobađanje leve rekurzije Oslobađanje od ε pravila

57 Čišćenje suvišnih simbola - nedostižni simboli Nedostižni simboli su svi simboli koji nisu dostižni Pronalaženjem dostižnih simbola saznajemo koji su nedostižni Nivo 1: Aksioma je dostižan simbol Nivo 2: Svi simboli koje se nalaze sa desne strane aksiome su dostižni Nivo n: Svi simboli koje se nalaze sa desne strane pravila iz prethodnoh nivoa su dostižna

58 Čišćenje suvišnih simbola - nedostižni simboli A ab ba B cd E C CA Ba D a b E ee Ee F Ca Fb Dostižni simboli: 1 nivo: A 2 nivo: A, B 3 nivo: A, B, D, E 4 nivo: A, B, D, E Nedostižni: C, F (jer nisu dostižni)

59 Čišćenje suvišnih simbola - nedostižni simboli A ab ba B cd E C CA Ba D a b E ee Ee F Ca Fb Slika: Dostižni simboli

60 Čišćenje suvišnih simbola - neproduktivni simboli Neproduktivni simboli su oni koji imaju rekurzivno pravilo a nemaju izlaz iz rekurzije Neproduktivne simbole ćemo naći tako što pronađemo prvo produktivne Nivo 1: Simboli koji ne izvode neterminale su produktivni simboli Nivo n: Simboli koji izvode terminale i produktivne simbole iz prethodnog nivoa

61 Čišćenje suvišnih simbola - neproduktivni simboli A ab ba B cd E D a b E ee Ee Produktivni simboli: 1 nivo: D 2 nivo: D, B 3 nivo: D, B, A 4 nivo: D, B, A Neproduktivni: E (jer nije produktivan)

62 Čišćenje suvišnih simbola - konačna gramatika Polazna gramatika: A ab ba B cd E C CA Ba D a b E ee Ee F Ca Fb Redukovana gramatika: A ab ba B cd E D a b

63 Oslobađanje jednostrukih pravila Pravilo je jednostruko ako ima samo jedno izvođenje (samo jednu desnu stranu) Oslobađamo se tako što desnu stranu jedostrukog pravila uvrstimo umesto leve strane pravila u svim ostalim pravilima Polazna gramatika: A ab ba B cd E C CA Ba D a b E ee Ee F Ca Fb Redukovana gramatika: A ab ba B cd D a b Nakon oslobađanja jednostrukih pravila: A acd ba D a b

64 Oslobađanje jednostrukih pravila Gramatiku možemo još dodatno skratiti (ovaj put više iz zabave) Koji jezik opisuje gramatika? (Napisati regularni izraz) Polazna gramatika: A ab ba B cd E Izuzetno redukovana gramatika: C CA Ba A aca acb ba D a b E ee Ee F Ca Fb

65 Oslobađanje leve rekurzije Pravilo je levo-rekurzivno ako je neterminal sa leve strane prvi simbol sa desne strane pravila Jezik βα opisan je sledećom gramatikom: A Aα β Leve rekurzije se oslobađamo uvođenjem novog neterminala: A βa A αa ε Eliminišemo epsilon: A βa β A αa α

66 Oslobađanje leve rekurzije - opšti postupak Jezik (β 1 β 2 β m )(α 1 α 2 α n ) Gramatika: A Aα 1 Aα 2 Aα n β 1 β 2 β m Nakon oslobađanja: A β1 A β 2 A β m A A α 1 A α 2 A α n A ε Nakon eliminisanja ε pravila: A β1 A β 2 A β m A β 1 β 2 β m A α 1 A α 2 A α n A α 1 α 2 α n

67 Oslobađanje od ε pravila Gramatika je ε slobodna ako nema ε pravilo ili ako se ono javlja samo u aksiomi, pri čemu aksioma ne sme da se javlja sa desne strane pravila Anulirajući simboli su oni simboli koji mogu da izvedu ε u nula ili više koraka (A ε)

68 Oslobađanje od ε pravila Polazna gramatika: S Aa Bba A abb CC ad B ab b C CD DE a D ab bba ε E ad DD Tražimo simbole koji izvode ε, a potom i simbole koji izvode pronađene anulirajuće simbole 1 A 0 = {D} 2 A 1 = {D, E} 3 A 2 = {D, E, C} 4 A 3 = {D, E, C, A} 5 A 4 = {D, E, C, A}

69 Oslobađanje od ε pravila Svaka desna strana se piše više puta uzimajući u obzir da li anulirajući simbol može da se javi ili ne: pravilo S: A je anulirajući simbol pa možemo izvesti a (ako A izvede ε) ili Aa (ako A ne izvede ε) pravilo A: C je anulirajući simbol pa možemo izvesti C ili CC D je anulirajući simbol pa možemo izvesti a ili ad pravilo B: nema anulirajućih simbola pa ga prepisujemo pravilo C: C i D su anulirajući pa možemo izvesti D, C, CD i εc i D su anulirajući pa možemo izvesti D, C, CD i ε (nećemo pisati ε) D i E su anulirajući pa možemo izvesti D, E ili DE pravilo E: D je anulirajući pa možemo da izvedemo a, ad, D ili DD

70 Oslobađanje od ε pravila Dobija se sledeća gramatika: S a Aa Bba A abb C CC a ad B ab b C D CD E DE a D ab bba E a ad D DD

71 Literatura I Aho, A V, Sethi, R, and Ullman, J D (1986) Compilers principles, techniques, and tools Addison-Wesley, Reading, MA