Metode umetne inteligence

Transcription

1 Univerza v Ljubljani Fakulteta za računalništvo in informatiko Tržaška cesta 25, Ljubljana, Slovenija Zoran BOSNIĆ Petar VRAČAR Metode umetne inteligence komplet prosojnic in gradivo za vaje 2009/10 dodatno študijsko gradivo Ljubljana, oktober 2010

2 BOSNIĆ, Zoran Metode umetne inteligence: komplet prosojnic in gradivo za vaje 2009/10 / Zoran Bosnić, Petar Vračar Ljubljana : Fakulteta za računalništvo in informatiko, Razmnoževanje dela v celoti ali po delih je brez predhodnega dovoljenja avtorja prepovedano.

3 NAMEN PREDMETA MUI Namen predmeta: Predstaviti metode strojnega učenja in umetne inteligence ter razviti sposobnost njihove praktične uporabe. Okvirna vsebina: Kaj je inteligenca, kaj je učenje in relacija človek-stroj Pregled metod strojnega učenja in osnovni principi strojnega učenja Pregled preiskovalnih algoritmov Ocenjevanje učenja Ocenjevanje atributov Odločitvena drevesa, NB in K-NN Umetne nevronske mreže Reševanje problemov, hevristični preiskovalni algoritmi (A*, AO*) Predstavitev znanja, mehanizmi sklepanja ter sistemi za podporo odločanju Planiranje Inteligentni roboti Procesiranje naravnega jezika Evolucijsko računanje Agentni sistemi

4 STROJNO UČENJE

5 OSNOVNI POJMI podatkovna množica (dataset), primeri učni primeri, testni primeri, atributi zvezni diskretni manjkajoče vrednosti razred naloge učenja: klasifikacija: diskreten razred regresija: zvezen razred nenadzorovano učenje: razredi niso podani

6 ORODJA Operacijski sistem Windows LINUX Statistično okolje R Orange

7 ORANGE Namestitev okolja Orange Orange Canvas widgeti povezave widgetov propagiranje sprememb po programu

8 NAMESTITEV R Namestitev okolja R Download CRAN Austria? Windows? base {Next}* Finish Konfiguracija R nastavitev delovne mape (getwd/setwd) in delovnega okolja (workspace)

9 UVOD V R Namestitev delovnega okolja nastavitev delovnega okolja: workspace, delovna mapa namestitev potrebnih paketov: tree, rpart, nnet, e1071, RWeka,... odpiranje vhodne datoteke, nalaganje datoteke s programsko kodo, komentiranje z znakom # Podatkovne strukture spremenljivke: character, numeric, factor matrike (matrix) podatkovna zbirka (data.frame) naslavljanje komponent, vrstic in stolpcev Podatkovne množice vgrajene podatkovne množice: help(library=datasets)

10 DELO S PODATKI Osnovne informacije o podatkovni množici frekvence in statistike atributov STR(uktura) podatkovne zbirke

11 VIZUALIZACIJA

12 VIZUALIZACIJA V ORANGE Vizualizacija v Orange * * * * * * * Naloga: 1. uporabi množico Adult (naloga je napovedati, ali oseba zasluži več kot 50K USD letno), 2. vizualiziraj porazdelitve zveznih in diskretnih atributov 3. prikaži statistike posameznih atributov 4. nariši razsevni diagram dveh atributov (scatter plot) 5. paralelne koordinate

13 Višina plače VIZUALIZACIJA V R plot(...) in pairs(...) Višine plač Sepal.Length Sepal.Width Petal.Length Petal.Width + + Species Številka osebe > plot(kredit$placa, type="b", col="blue", pch="+", > pairs(iris) main="višine plač", xlab="številka osebe", ylab="višina plače")

14 Frequency dolge placa Given : noge kratke VIZUALIZACIJA V R histogram(...) in coplot(...) Given : porocen Histogram of kredit$placa NE DA M Z kredit$placa M spol Z > hist(kredit$placa, col="yellow") > coplot(placa ~ spol porocen + noge, data=kredit, pch=12, col="red", type="b")

15 VIZUALIZACIJA V R Pomoč pri vizualizacijah je v R help-u! >?coplot coplot(formula, data, given.values, panel = points, rows, columns, show.given = TRUE, col = par("fg"), pch = par("pch"), bar.bg = c(num = gray(0.8), fac = gray(0.95)), xlab = c(x.name, paste("given :", a.name)), ylab = c(y.name, paste("given :", b.name)), subscripts = FALSE, axlabels = function(f) abbreviate(levels(f)), number = 6, overlap = 0.5, xlim, ylim,...) Primeri različnih grafov (skupaj s programsko kodo)

16 NALOGE Okolje R: 1. Nariši graf, kjer pridobitev kredita (y os) prikazujemo v odvisnosti od spola (x os), pogojeno z dolžino nog (torej funkcija coplot). 2. Nariši graf, kjer pridobitev kredita (y os) prikazujemo v odvisnosti od izobrazbe (x os), pogojeno z spola (torej funkcija coplot). 3. Ali lahko iz obeh grafov razbereš kakšne zakonitosti? - o - 4. Iz histograma (hist) ugotovi, ali je več oseb s plačo manjšo ali večjo od 1300 (namig: poglej dodatne parametre funkcije hist v pomoči) Orange: 1. Vizualiziraj porazdelitev poročenih ljudi (widget Distributions). Je med poročenimi več oseb kredit dobilo ali ne? 2. Kakšni sta srednja vrednost in mediana plač vseh oseb (Attribute statistics)?

17 DOMAČA NALOGA Domača naloga: Uporabi množico kredit in si izberi odvisnost med dvema spremenljivkama te množice (ki niso bile med nalogami na prejšnji prosojnici) ter ju v okolju R vizualiziraj na dva različna načina. Za idejo uporabi prikaze na spletni strani (bolj izvirni prikazi se bolje točkujejo). Prikaze shrani v datoteko tipa.doc /.docx in jo oddaj preko učilnice. Rok oddaje:

18 METODE UMETNE INTELIGENCE 2. laboratorijske vaje predobdelava podatkov, klasifikacija

19 PREDOBDELAVA PODATKOV (predprocesiranje)

20 VRSTE PREDOBDELAV obravnavanje manjkajočih vrednosti diskretizacija spremenljivk spreminjanje diskretnih spremenljivk v zvezne (zveznizacija? ) izbira primerov (delitev na učno in testno množico) izbira atributov

21 MANJKAJOČE VREDNOSTI!

22 MANJKAJOČE VREDNOSTI complete.cases(data.frame) vrne številke primerov brez manjkajočih vrednosti na.omit(data.frame) odstrani primere z manjkajočimi vrednostmi dopolni.vrednosti <- function(dataset) { for (s in 1:ncol(dataset)) #sprehod po vseh stolpcih { #za numericne vrednosti vzamemo povprecno vrednost atributa if (is.numeric(dataset[,s])) a <- mean(dataset[,s], na.rm=t) #za diskretne vrednosti vzamemo najbolj pogosto vrednost atributa else if (is.factor(dataset[,s])) a <- levels(dataset[,s])[which.max(dataset(table(dataset[,s]))] #nize in ostalo pretvorimo v faktorje else { f <- as.factor(dataset[,s]) a <- levels(f)[which.max(table(f))] } #nadomestimo stolpec, ce ima le-ta neznane vrednosti if (length((dataset[,s])[is.na(dataset[,s])]) > 0 ) { dataset[is.na(dataset[,s]),s] <- a } } dataset } Uporabne funkcije bomo hranili v zbirki funkcij: moje.funkcije.v1.r!!!

23 DISKRETIZACIJA ATRIBUTOV

24 DISKRETIZACIJA ATRIBUTOV library(dprep) disc.ef disc.ew disc.mentr diskretizacija z enakimi frekvencami v razredih diskretizacija z enakimi širinami intervalov diskretizacija na osnovi minimalne entropije

25 PRETVORBA V ZVEZNE ATRIBUTE

26 PRETVORBA V ZVEZNE ATRIBUTE pomen urejenosti atributov se smiselno ohrani le pri spremembi ORDINALNIH diskretnih atributov v zvezne!

27 IZBIRA PRIMEROV IN ATRIBUTOV vzorčenje primerov (naključno, prečno, v razmerju velikosti) izbira atributov (ročna izbira atributov s seznama)

28 IZBIRA PRIMEROV IN ATRIBUTOV x[x>10] naslavljanje z logičnim pogojem podatki[,stolpec] IZBIRA ATRIBUTOV: naslavljanje celega stolpca podatki[vrstica,] IZBIRA PRIMEROV: naslavljanje določene vrstice podatki[,'spol'] podatki$spol naslavljanje atributov podatkovne zbirke po imenu (npr. spol)

29 KLASIFIKACIJA Klasifikatorji: naivni Bayes klasifikacijsko drevo k najbližjih sosedov interpretacija metoda podpornih vektorjev naključni gozd večinski klasifikator

30 KLASIFIKACIJA Klasifikatorji: naivni Bayes library(e1071) nb.model <- naivebayes(kredit~., data=kredit2) klasifikacijsko drevo library(rpart) kd.model <- rpart(kredit ~., data=kredit2) k najbližjih sosedov library(rweka) knn.model <- IBk(kredit ~., data=kredit2) metoda podpornih vektorjev interpretacija library(e1071) svm.model <- svm(kredit~., data=kredit2) generične funkcije: print(model) predict(model, data) plot(model) summary(model) formula(model) deviance(model) naključni gozd library(randomforest) rf.model <- randomforest(kredit~., data=kredit2) večinski klasifikator names(which.max(table(kredit2$kredit)))

31 PRIMER podatki: kredit adult_sample

32 PRIMER Praktična naloga 1. Preglejmo podatke iris (število vrstic, stolpcev, opis podatkov). 2. Vizualizirajmo nekaj atributov (histogram, npr. atribut Petal.Length) 3. Kaj naredi ukaz: abline(v = mean(iris$petal.length, na.rm = T), lty = 2)? 4. Naključno izberimo 50 primerov v testno množico in 100 v učno (sample). 5. Zgradimo odločitveno drevo in model SVM (npr. drevo <- rpart(species ~., ucna)) 6. Oglejmo si vsebino modelov (plot, text, sumary, print) 7. Napovejmo vrednosti za testno množico (predict) 8. Izračunajmo matriko napovedi (table) 9. Izrišimo graf ujemanja napovedi z dejanskimi razredi.

33 PRIMER Rešitve...! iris nrow(iris) ncol(iris) summary(iris) hist(iris$petal.length) abline(v = median(iris$petal.length, na.rm = T), lty = 2, col="blue") abline(v = mean(iris$petal.length, na.rm = T), lty = 2, col="red") sample(150, 50) -> izbor testna <- iris[izbor, ] ucna <- iris[-izbor,] nrow(testna) nrow(ucna) drevo <- rpart(species ~., data=ucna) plot(drevo) text(drevo) summary(drevo) predict(drevo, testna, type="class") -> napovedi.drevesa testna$species -> prave.vrednosti table(napovedi.drevesa, prave.vrednosti) plot(table(napovedi.drevesa, prave.vrednosti))

34 METODE UMETNE INTELIGENCE 3. laboratorijske vaje regresija, ocenjevanje učenja

35 REGRESIJA (napovedovanje zveznega razreda)

36 REGRESIJA klasifikacijski modeli ne delajo potrebujemo regresijski model podatki: auto_mpg

37 REGRESIJA Regresijski modeli: naivni Bayes (prirejen klasifikator) library(e1071) nb.model <- naivebayes(formula, data=ucna_mnozica) regresijsko drevo library(rpart) kd.model <- rpart(formula, data=ucna_mnozica) linearna regresija lm.model <- lm(formula, data=ucna_mnozica) k najbližjih sosedov library(rweka) knn.model <- IBk(FORMULA, data=ucna_mnozica) metoda podpornih vektorjev library(e1071) svm.model <- svm(formula, data=ucna_mnozica) naključni gozd library(randomforest) rf.model <- randomforest(formula, data=ucna_mnozica) povprečni regresor mean(stolpec) izračuna povpprečno vrednost označb

38 PRIMER

39 OCENJEVANJE UČENJA

40 MERE ZA OCENJEVANJE UČENJA Klasifikacija: klasifikacijska točnost (odstotek pravilno klasificiranih primerov) pravi razred \ napoved pravilni pozitivni (TP) napačni pozitivni (FP) napačni negativni (FN) pravilni negativni (TN) TP TN CA N senzitivnost (delež pravilno klasificiranih pozitivnih primerov) specifičnost (delež pravilno klasificiranih negativnih primerov) Brierjeva mera (srednji kvadrat razlike med vektorjema verjetnosti pripadnosti posameznim razredom) TP Sen TP FN TN Spec TN FP

41 MERE ZA OCENJEVANJE UČENJA Regresija: srednja kvadratna napaka MSE N 1 N ( napovedi pravai ) 2 i 1 relativna srednja kvadratna napaka (primerja MSE glede na napako povprečnega modela. S tem omogoči primerjavo preko modelov in domen. Modeli z vrednostmi nad 1 niso uporabni.) RMSE N i 1 N i 1 ( napoved korelacijski koeficient (zaseda vrednosti od -1 do 1, ponazarja linearno povezanost med količinama) i ( srednjavrednost prava) ucna i 2 prava) i

42 PRIMER podatki: klasifikacija: adult_sample regresija: auto-mpg

43 PRIMER Nove funkcije v datoteki moje.funkcije.v2. #################################################################################### # z uporabo prečnega preverjanja izračuna napovedi za celo množico podatkov # formula - formula za model # model - ime modela # dataset - množica podatkov # st.podmnozic - parameter za prečno preverjanje #... - morebitni dodatni argumenti za funkcijo predict #################################################################################### izracunaj.napovedi <- function(formula, model, dataset, st.podmnozic=10,...) Primer: napovedi <- izracunaj.napovedi(kredit ~., randomforest, kredit3) #################################################################################### #klasifikacijska točnost klasifikacijskega modela # rezultati - izhod funkcije izracunaj.napovedi #################################################################################### klasifikacijska.tocnost <- function(rezultati) Primer: klasifikacijska.tocnost(napovedi) #################################################################################### # relativna srednje kvadratna napaka regresijskega modela # rezultati - izhod funkcije izracunaj.napovedi #################################################################################### rmse <- function(rezultati) Primer: rmse(napovedi)

44 PRIMER

45 ROC KRIVULJE

46 ROC KRIVULJE

47 PRIMER library(verification) izbor <- sample(nrow(kredit4), 30) ucna <- kredit4[-izbor,] testna <- kredit4[izbor,] #zgradimo drevo in navini Bayes drevo <- rpart(kredit ~., ucna, control=rpart.control(minsplit=4)) nb <- naivebayes(kredit ~., ucna) #shranimo napovedi in prave vrednosti drevo.napovedi <- predict(drevo, testna)[,"da"] nb.napovedi <- predict(nb, testna[,-9], type="raw")[,"da"] prave <- 2-as.numeric(testna$kredit) #narišemo ROC krivuljo za model roc.plot(prave, nb.napovedi, xlab = "FPR=1-specifičnost", ylab = "TPR=senzitivnost", main="krivulja ROC za naivni Bayes")

48 DOMAČA NALOGA Domača naloga: 1. Uporabi množico kredit5 in v njej nadomesti manjkajoče vrednosti. Novo množico shrani za uporabo pri nadaljnjih nalogah. 2. Razdeli celo množico podatkov na učno in testno, tako da testna vsebuje 40 naključno izbranih primerov, učna pa vse ostale. Na učni zgradi 2 modela (sam izberi), in sicer: klasifikacijski model, ki napoveduje spol (M=pozitivni razred), regresijski model, ki napoveduje dolžino delovne dobe, Izračunaj napovedi za primere iz testne množice in za izbrani regresijski model nariši graf razlik med pravimi in napovedanimi vrednostmi (torej prave-napovedane). Pri tem sam izberi primeren tip grafa. 3.) Z uporabo 10-kratnega prečnega preverjanja oceni kakovost obeh modelov. Za klasifikacijo izračunaj klasifikacijsko točnost, senzitivnost in specifičnost; za regresijski model pa relativno srednje kvadratno napako. 4.) Za klasifikacijski model nariši krivuljo ROC. 5.) Komentiraj dobljene rezultate. Sta modela dobra ali slaba? Kaj vidimo iz dobljene krivulje ROC? Prikaze shrani v datoteko (zaželen.pdf) in jo oddaj preko učilnice. V datoteko vključi programsko kodo, ki si jo uporabil/a, rezultate in grafične prikaze. Rok oddaje:

49 METODE UMETNE INTELIGENCE 4. laboratorijske vaje ocenjevanje atributov, povezovalna pravila, nenadzorovano učenje

50 OCENJEVANJE ATRIBUTOV

51 OCENE ATRIBUTOV Pogoste mere za ocenjevanje atributov 1. ReliefF 2. Informacijski prispevek 3. Gain Ratio 4. Gini Index 5. MDL Uporaba v orodjih: 1. Orange: widget z imenom Rank 2. R: funkcija attreval v paketu CORElearn

52 OCENE ATRIBUTOV CA Sens Spec AUC Brier 8 atr atr podatki: kredit4

53 OCENE ATRIBUTOV ReliefF library(corelearn) attreval(formula, PODATKI *** primeren tudi za regresijo Informacijski prispevek attreval(formula, PODATKI, estimator="infgain") Gain Ratio attreval(formula, PODATKI, estimator="gainratio") Princip najkrajšega opisa (MDL) attreval(formula, PODATKI, estimator="mdl") Gini index attreval(formula, PODATKI, estimator="gini") Odstopanje od srednje vrednosti (za regresijo) attreval(formula, PODATKI, estimator="mseofmean")

54 POVEZOVALNA PRAVILA

55 POVEZOVALNA PRAVILA 1. so sklepna pravila, ki govorijo o povezanostih med vrednostmi kombinacij atributov, 2. imajo levo in desno stran X Y, npr. {spol=m & izobrazba=fakulteta} {porocen=da} 3. vsi atributi se obravnajo enakovredno (nimamo razreda kot pri nadzorovanem učenju), 4. zvezne atribute je potrebno diskretizirati, 5. kvaliteto pravil oblike X Y merimo z dvema merama: PODPORA (angl. support): delež primerov, za katere velja X, Y = P(X&Y) ZAUPANJE (angl. confidence): delež tistih primerov od X, za katere velja tudi Y = P(Y X)

56 PRIMER št. primera coca cola mleko snickers kruh Podano je pravilo {cocacola, snickers} {kruh} Kakšni sta podpora in zaupanje v to pravilo? PODPORA = ZAUPANJE = 1/5 = 0.2 1/2 = 0.5

57 PRIMER podatki: kredit4

58 PRIMER library(arules) kredit6 <- kredit4 #diskretizacija zveznih atributov kredit6[[ "placa"]] <- factor(cut(kredit6[["placa"]], c(-inf,1200,1800,inf)), labels = c("majhna","srednja","velika")) kredit6[[ "otrok"]] <- factor(cut(kredit6[["otrok"]], c(-inf,2,inf)),labels = c("do2","nad2")) kredit6[[ "starost"]] <- factor(cut(kredit6[["starost"]], c(-inf,25,40,inf)), labels = c("mlad","srednja-leta","senior")) kredit6[[ "del.doba"]] <- factor(cut(kredit6[["del.doba"]], c(-inf,10,20,inf)), labels = c("kratka","srednja","dolga")) #gradnja povezovalnih pravil kredit.pp <- as(kredit6, "transactions") pravila <- apriori(kredit.pp) #izpiše prvih 10 pravil, sortiranih po podpori inspect(sort(pravila)[1:10])

59 NENADZOROVANO UČENJE

60 NENADZOROVANO UČENJE 1. razdalje 2. razvrščanje 3. vizualizacija in označitev primerov 1. Razdalje: evklidkska, manhattanska

61 NENADZOROVANO UČENJE 2. razvrščanje: single linkage (oddaljenost najbližjih) complete linkage (oddaljenost najbolj oddaljenih) average linkage (povprečna oddaljenost)

62 NENADZOROVANO UČENJE 3. označitev primerov in vizualizacija: podatki: zoo

63 NENADZOROVANO UČENJE 1. razdalje 2. razvrščanje 3. vizualizacija in označitev primerov #branje datoteke zoo <- read.table(file="zoo.txt", sep="\t", header=t) zoo <- zoo[,-1] library(cluster) library(stats) #razdalja med učnimi primeri d <- daisy(zoo[,-17]) #hierarhični clustering hc <- hclust(d, method = "complete") #izrišemo diagram plot(hc) rect.hclust(hc, k=5, border="green") #zelimo 5 skupin rect.hclust(hc, h=4, border="blue") #zelimo rezanje na visini 4 #diagram lahko porežemo mycl <- cutree(hc, k=3) #glede na stevilo skupin

64 PRAKTIČNA NALOGA Praktična naloga: 1.) Uporabi množico kredit4 in na njej izvedi hierarhični clustering. 2.) Izriši dendrogram, ki naj bo ležeč (poglej opcije za risanje v pomoči funkcije za izris dendrograma). 3.) Odloči se za dve skupini in označi primere z oznakami skupin. 4.) Primerjaj oznaki skupin s pravimi vrednostmi! Kako dobro se ujemajo? Katero mero za ocenjevanje učenja lahko uporabiš za ta namen? Glede na izbrano mero, katero oznako bi pripisal kateremu razredu (DA/ NE)? Nalogo najprej izvedi v sistemu R, nato še v sistemu Orange.

65 METODE UMETNE INTELIGENCE 5. laboratorijske vaje odločitvena drevesa

66 ODLOČITVENA DREVESA Natakarji v nekem lokalu se zabavajo tako, da stavijo, kakšno pizzo bo naročil kateri gost. Eden od njih si bo izboljšal možnosti zadetka s pomočjo odločitvenega drevesa. spol starost sam(a)? tip pizze M mlad ne klasika Ž mlada da bučna M star ne klasika Ž stara ne klasika M mlad da mesna Ž mlada ne bučna M star da mesna Ž stara da klasika

67 ODLOČITVENA DREVESA spol starost sam(a)? tip pizze M mlad ne klasika Ž mlada da bučna M star ne klasika Ž stara ne klasika M mlad da mesna Ž mlada ne bučna M star da mesna Ž stara da klasika Ž spol M starost sam(a)? mlada stara da ne bučna klasika mesna klasika

68 ODLOČITVENA DREVESA spol notranja vozlišča ustrezajo atributom Ž M veje ustrezajo vrednostim atributov starost sam(a)? mlada stara da ne bučna klasika mesna klasika listi ustrezajo razredom Ena pot v drevesu od korena do lista ustreza enemu odločitvenemu pravilu. Na primer: ( spol = Ž starost = stara) pizza = klasika

69 UPORABA ODLOČITVENEGA DREVESA Klasifikacijo novega primera izvajamo tako, da potujemo po ustreznih vejah od korena do lista. Ž spol M spol starost sam(a)? tip pizze M mlad da? starost sam(a)? mlada stara da ne bučna klasika mesna klasika Primer klasificiramo v razred mesna

70 GRADNJA DREVESA

71 GRADNJA ODLOČITVENEGA DREVESA spol starost sam(a)? tip pizze M mlad ne klasika Ž mlada da bučna M star ne klasika Ž stara ne klasika M mlad da mesna Ž mlada ne bučna M star da mesna Ž stara da klasika spol Ž M starost sam(a)? tip pizze mlada da bučna stara ne klasika mlada ne bučna stara da klasika starost sam(a)? tip pizze mlad ne klasika star ne klasika mlad da mesna star da mesna rekurzivno zgradi poddrevo z ustrezno podmnožico učnih primerov

72 IZBIRANJE NAJBOLJŠEGA ATRIBUTA Za izbiro atributa se najpogosteje uporabljajo mere: informacijski prispevek razmerje informacijskega prispevka Gini-indeks ReliefF

73 INFORMACIJSKI PRISPEVEK Informacijski prispevek atributa je definiran kot prispevana informacija atributa za določitev vrednosti razreda: spol starost sam(a)? tip pizze M mlad ne klasika Ž mlada da bučna M star ne klasika Ž stara ne klasika M mlad da mesna Ž mlada ne bučna M star da mesna Ž stara da klasika n - število učnih primerov n k. - število učnih primerov iz razreda r k n.j - število učnih primerov z j-to vrednostjo danega atr. n kj - število učnih primerov iz razreda r k in z j-to vrednostjo danega atr. p kj - n kj /n p k. - n k. /n p.j - n.j /n H R p log k. pk. = k Gain( A) = H R + H A H RA H A p. j log p. j H RA = j = k j p kj log p kj

74 GRAJENJE ODLOČITVENIH DREVES spol starost sam(a)? tip pizze M mlad ne klasika Ž mlada da bučna M star ne klasika Ž stara ne klasika M mlad da mesna Ž mlada ne bučna M star da mesna Ž stara da klasika H R H spol = 1 1 log log log 4 4 bučna klasika mesna = 1 1 log log 2 2 = = 1 = = 1.5 M Ž H starost H sam = = 1 1 log log log log 2 2 = = 1 = = 1

75 GRAJENJE ODLOČITVENIH DREVES spol starost sam(a)? tip pizze M mlad ne klasika Ž mlada da bučna M star ne klasika Ž stara ne klasika M mlad da mesna Ž mlada ne bučna M star da mesna Ž stara da klasika H Rstarost H Rspol = = 1 1 log 4 4 klasika in M 1 1 log log 4 4 mesna in M 1 1 log log 4 4 bučna in Ž 1 1 log log 4 4 klasika in Ž 3 3 log 8 8 = 0.5*4 = log 8 8 = bučna in mlad klasika in mlad mesna in mlad klasika in star mesna in star H Rsam = 1 1 log log log log log 8 8 = 2.156

76 GRAJENJE ODLOČITVENIH DREVES spol starost sam(a)? tip pizze M mlad ne klasika Ž mlada da bučna M star ne klasika Ž stara ne klasika M mlad da mesna Ž mlada ne bučna M star da mesna Ž stara da klasika Gain Gain Gain spol starost sam = H R + H spol H Rspol = = 0.5 = H R + H starost H Rstarost = = = H R + H sam H Rsam = = Izberemo atribut spol spol Ž M

77 GRAJENJE ODLOČITVENIH DREVES spol starost sam(a)? tip pizze Ž M starost sam(a)? tip pizze mlada da bučna mlad ne klasika stara ne klasika star ne klasika mlada ne bučna mlad da mesna stara da klasika star da mesna H R = H starost = H sam H Rstarost H Rsam = 1 1 log 2 2 = 1 1 = 4 * log = log log = log 2 2 = 1 H R H Rstarost H Rsam = H starost = H sam = 1 1 log 2 2 = 1 1 = 4 * log = log log 2 2 = log 2 2 = 1 Gain starost = = 1 Gain starost = = 0 Gain sam = = 0 Gain sam = = 1

78 GRAJENJE ODLOČITVENIH DREVES spol Ž M starost sam(a)? mlada stara da ne sam(a)? tip pizze sam(a)? tip pizze starost tip pizze starost tip pizze da bučna ne klasika mlad mesna mlad klasika ne bučna da klasika star mesna star klasika čista učna množica (vsi primeri iz istega razreda) lahko postavimo list

79 GRAJENJE ODLOČITVENIH DREVES List postavimo, ko je: bodisi dovolj čista učna množica (vsi ali večina primerov iz istega razreda) bodisi je premalo učnih primerov za zanesljivo nadaljevanje gradnje drevesa zmanjkalo (dobrih) atributov Vrednost določimo na podlagi večinskega razreda elementov v listu

80 REZANJE DREVESA

81 REZANJE ODLOČITVENIH DREVES Gradnjo drevesa ustavimo, ko le-ta postane nezanesljiva ali nepotrebna. Ker je nezanesljivost težko vnaprej oceniti, se pogosto gradnja nadaljuje in se drevo naknadno poreže (postprunning). Če je pričakovana napaka poddreves večja od pričakovane napake vozlišča, potem porežemo poddrevesa in spremenimo vozlišče v list. Za ocenjevanje napake lahko uporabimo m-oceno.

82 M-OCENA Uporabljamo jo za ocenjevanje verjetnosti pri čemer je: p r + mp n + m = 0 r število uspešnih poskusov n število vseh poskusov p 0 apriorna verjetnost dogodka m parameter Za oceno apriorne verjetnosti p 0 lahko uporabimo Laplaceov zakon zaporednosti r + 1 p = n + 2

83 REZANJE ODLOČITVENIH DREVES Primer: Podano je odločitveno drevo, ki klasificira v dva razreda R 1 in R 2. V listih drevesa je zapisano razmerje učnih primerov po razredih. Poreži drevo z m-oceno, pri čemer je vrednost parametra m = 20. V1 V2 R 1 :R 2 0:5 R 1 :R 2 17:0 R 1 :R 2 3:4

84 REZANJE ODLOČITVENIH DREVES V1 R 1 :R 2 20:9 R 1 :R 2 20:4 V2 R 1 :R 2 0:5 R 1 :R 2 17:0 R 1 :R 2 3:4 Število učnih primerov: = 29 Apriorne verjetnosti razredov: p 0 ( R 1 ) = = p 0 ( R 2 ) = =

85 REZANJE ODLOČITVENIH DREVES V1 R 1 :R 2 20:9 R 1 :R 2 20:4 V2 R 1 :R 2 0:5 R 1 :R 2 R 1 :R 2 17:0 3:4 Napaka v listu: Napaka v listu: r + mp0 p( R ) = n + m * = = 0.17 r + mp0 p( R ) = n + m 3+ 20* = = 0.61 verjetnost, da v list pride primer, ki ni iz večinskega razreda

86 REZANJE ODLOČITVENIH DREVES R 1 :R 2 V1 20:9 R 1 :R 2 20:4 V2 R 1 :R 2 0:5 R 1 :R 2 17:0 R 1 :R 2 3:4 Napaka poddrevesa: * *0.61 = 0.3 verjetnost, da pridemo v list, pomnožena z napako lista

87 REZANJE ODLOČITVENIH DREVES V1 R 1 :R 2 20:9 R 1 :R 2 20:4 V2 R 1 :R 2 0:5 R 1 :R 2 17:0 R 1 :R 2 3:4 Napaka v korenu poddrevesa, če bi bil list: r + mp0 p( R ) = n + m * = = 0.24 Ker je napaka poddrevesa (0.3) večja od napake v vozlišču (0.24) drevo porežemo.

88 REZANJE ODLOČITVENIH DREVES V1 R 1 :R 2 20:9 Napaka v listu: p( R 2 ) = 0.24 Napaka poddrevesa: * R 1 :R 2 20:4 *0.54 = 0.29 R 1 :R 2 0:5 Napaka v listu: *0.68 p( R 1 ) = = Napaka v korenu poddrevesa, če bi bil list: *0.32 p( R 2 ) = = Tokrat je napaka poddrevesa (0.29) manjša od napake v korenu (0.31) drevesa ne porežemo.

89 METODE UMETNE INTELIGENCE 7. laboratorijske vaje naivni Bayesov klasifikator

90 NAIVNI BAYES Banka želi izboljšati merila, na podlagi katerih odobravajo kredite. V ta namen je zbrala podatke o dosedanjih kreditih. Za vsako kombinacijo teh vrednosti so prešteli, koliko kreditojemalcev je kredit redno vračalo in koliko ne. Podatki so zbrani v tabeli. Modelirajte podatke z naivnim Bayesom. izobrazba plača prvi ne da nizka nizka ne nizka nizka da nizka srednja ne 8 9 nizka srednja da 7 9 nizka visoka ne 1 5 nizka visoka da 3 11 srednja nizka ne srednja nizka da srednja srednja ne 5 20 srednja srednja da 5 20 srednja visoka ne 0 0 srednja visoka da 0 4 visoka nizka ne 5 3 visoka nizka da 4 0 visoka srednja ne 0 3 visoka srednja da 1 1 visoka visoka ne 0 2 visoka visoka da 1 5

91 NAIVNI BAYES Naivni Bayes: "naivno" predpostavlja, da so atributi med seboj neodvisni P( r k V ) P( r k ) i P( rk vi ) P( r ) k izobrazba plača prvi ne da nizka nizka ne nizka nizka da nizka srednja ne 8 9 nizka srednja da 7 9 nizka visoka ne 1 5 nizka visoka da 3 11 srednja nizka ne V - vrednosti atributov za primer apriorne verjetnosti izračunamo po Laplaceovem zakonu r 1 p n 2 pogojne verjetnosti računamo z m-oceno p r mp n m 0

92 prvi plača izobrazba NAIVNI BAYES Povzemimo podatke: razred obravnavamo le v odvisnosti od posameznih atributov dobil kredit # ne 118 da 192 izobrazba plača prvi ne da nizka nizka ne nizka nizka da nizka srednja ne 8 9 nizka srednja da 7 9 nizka visoka ne 1 5 nizka visoka da 3 11 srednja nizka ne srednja nizka da srednja srednja ne 5 20 srednja srednja da 5 20 srednja visoka ne 0 0 srednja visoka da 0 4 visoka nizka ne 5 3 visoka nizka da 4 0 visoka srednja ne 0 3 visoka srednja da 1 1 visoka visoka ne 0 2 visoka visoka da kredit ne da nizka srednja visoka kredit ne da nizka srednja visoka 5 27 kredit ne da ne da

93 izobrazba NAIVNI BAYES 1. Apriorne verjetnosti razredov (izračunamo po Laplaceovi formuli) dobil kredit # ne 118 da 192 SKUPAJ P( ne) 0, P( da) 0, Pogojne verjetnosti (izračunamo z m-oceno), izberimo m=2! kredit ne da nizka srednja visoka ,619 P( da nizkai) 0, ,619 P( da srednjai) 0, ,619 P( da visokai) 0,

94 prvi plača NAIVNI BAYES... še ostale pogojne verjetnosti kredit ne da nizka srednja visoka ,619 P( da nizkap) 0, ,619 P( da srednjap) 0, ,619 P( da visokap) 0, kredit ne da ne da ,619 P( da nep) 0, ,619 P( da dap) 0,

95 NAIVNI BAYES VPRAŠANJE 1: Kakšna je verjetnost, da bo vrnil kredit nekdo z srednjo izobrazbo, visoko plačo, ki še ni imel prej kredita (prvi=da)? P( r k V ) P( r k ) i P( rk vi ) P( r ) k P( da srednjai, srednjap, dap) P( da srednjai) P( da) P( da) P( da srednjap) P( da) P( da dap) P( da) 0,695 0,702 0,624 P( da srednjai, srednjap, dap) 0,619 0,619 0,619 0,619 0,790 Odgovor: Verjetnost, da bo taka oseba vrnila kredit, je 79%.

96 izobrazba NAIVNI BAYES VPRAŠANJE 2: Če podeljujemo kredite le tistim, pri kateri je vsaj 2/3 verjetnosti, da ga bodo redno vrnili, kdo bi ga dobil? Izračunajmo verjetnosti za vse možne kombinacije vrednosti atributov: prvi ne da plača plača nizka srednja visoka nizka srednja visoka nizka 0,48 0,63 0,76 0,49 0,64 0,76 srednja 0,59 0,78 0,92 0,61 0,79 0,99 visoka 0,48 0,63 0,76 0,49 0,64 0,76

97 izobrazba NAIVNI BAYES VPRAŠANJE 3: Bi kredit raje dali nekomu: - s srednjo izobrazbo, visoko plačo, ki je že prejemal kredite ali nekomu - z visoko izobrazbo, visoko plačo, ki še ni imel kreditov? prvi ne da plača plača nizka srednja visoka nizka srednja visoka nizka 0,48 0,63 0,76 0,49 0,64 0,76 srednja 0,59 0,78 0,92 0,61 0,79 0,99 visoka 0,48 0,63 0,76 0,49 0,64 0,76

98 izobrazba NAIVNI BAYES VPRAŠANJE 4: Če opazujemo stranke glede na izobrazbo, kateri sloj je najmanj tvegan? kredit ne da nizka srednja visoka ,619 P( da nizkai) 0, ,619 P( da srednjai) 0, ,619 P( da visokai) 0, najvišja verjetnost odplačila kredita

99 Naloga 2: Vohuni

100 NAIVNI BAYES Napadel nas je sovražnik in obstreljuje naše cilje. Da bi se lahko pripravili na napade, smo k njemu poslali 6 vohunov, ki ne vedo eden za drugega (med sabo so neodvisni). Tabela prikazuje napovedi vohunov za prve dni junija, ali bo do napada prišlo, in ali je ta dan dejansko prišlo do napada. Z naivnim Bayesom sestavite model, ki bo za preostale dni junija znal napovedati, ali bo prišlo do napada. Kakšne so verjetnosti napada za te dni? V1 V2 V3 V4 V5 V6 NAPAD 1. junij X X X X X X 2. junij X X 3. junij X X X X 4. junij X X X X X X X 5. junij X X X X 6. junij X X X X 7. junij X 8. junij X X X X 9. junij X X X X X 10. junij X X 11. junij X X X 12. junij X X X X X X 13. junij X 14. junij X X 15. junij X X X X X X 16. junij X X X X X X X 17. junij X X 18. junij X X X 19. junij X X X X X X 20. junij X X X 23. junij X X X X? 24. junij X X X X X? 25. junij X X X X? 26. junij X X X X? 27. junij X X X?

101 NAIVNI BAYES V1 V2 V3 V4 V5 V6 NAPAD 1. junij X X X X X X 2. junij X X 3. junij X X X X 4. junij X X X X X X X 5. junij X X X X 6. junij X X X X 7. junij X 8. junij X X X X 9. junij X X X X X 10. junij X X 11. junij X X X 12. junij X X X X X X 13. junij X 14. junij X X 15. junij X X X X X X 16. junij X X X X X X X 17. junij X X 18. junij X X X 19. junij X X X X X X 20. junij X X X 23. junij X X X X? 24. junij X X X X X? 25. junij X X X X? 26. junij X X X X? 27. junij X X X? V1 V2 V3 V4 V5 V6 napad da ne DA NE napad da ne DA NE napad da ne DA NE napad da ne DA NE napad da ne DA NE napad da ne DA NE 2 5 7

102 NAIVNI BAYES V1 V2 V3 V4 V5 V6 napad da ne DA NE napad da ne DA NE napad da ne DA NE napad da ne DA NE napad da ne DA NE napad da ne DA NE V1 V2 V3 V4 V5 V6 NAPAD 23. junij X X X X? 24. junij X X X X X? 25. junij X X X X? 26. junij X X X X? 27. junij X X X? 12 1 P(daN) 0, ,59 P( dan nev1) 0, ,59 P( dan dav2) 0, ,59 P( dan dav3) 0, ,59 P( dan dav4) 0, ,59 P( dan nev5) 0, ,59 P( dan dav6) 0,

103 NAIVNI BAYES 12 1 P(daN) 0, ,59 P( dan nev1) 0, ,59 P( dan dav2) 0, ,59 P( dan dav3) 0, V1 V2 V3 V4 V5 V6 NAPAD 23. junij X X X X? 24. junij X X X X X? 25. junij X X X X? 26. junij X X X X? 27. junij X X X? 7 2 0,59 P( dan dav4) 0, ,59 P( dan nev5) 0, ,59 P( dan dav6) 0, P( dan nev1, dav 2, dav3, dav 4, nev5, dav6) P( dan nev1) P( dan dav2) P( dan dav6) P( dan) P( dan) P( dan) P( dan) 0,471 0,682 0,653 0,818 0,169 0,745 0,59 0,302 0,59 0,59 0,59 0,59 0,59 0,59

104 NAIVNI BAYES... rešitve še za ostale dni junija? V1 V2 V3 V4 V5 V6 NAPAD 23. junij X X X X? 24. junij X X X X X? 25. junij X X X X? 26. junij X X X X? 27. junij X X X? P( dan nev1, dav 2, dav3, dav 4, nev5, dav6) P( dan dav1, dav2, nev3, dav4, dav5, dav6) P( dan dav1, dav 2, nev3, nev 4, dav5, dav6) P( dan dav1, dav 2, nev3, dav 4, dav5, nev6) P( dan dav1, nev 2, dav3, nev 4, nev5, dav6) 0,302 1,756 0,947 0,831 0,184

105 NAIVNI BAYES... ostale pogojne verjetnosti P(napad) = (12 + 1) / (20 + 2) = 0,59 P(napad V1) = (8 + 2*0,59) / (11 + 2) = 0,706 P(napad V2) = (7 + 2*0,59) / (10 + 2) = 0,682 P(napad V3) = (6 + 2*0,59) / (9 + 2) = 0,653 P(napad V4) = (7 + 2*0,59) / (8 + 2) = 0,818 P(napad V5) = (12 + 2*0,59) / (15 + 2) = 0,775 P(napad V6) = (10 + 2*0,59) / (13 + 2) = 0,745 P(napad nev1) = (4 + 2*0,59) / (9 + 2) = 0,471 P(napad nev2) = (5 + 2*0,59) / (10 + 2) = 0,515 P(napad nev3) = (6 + 2*0,59) / (11 + 2) = 0,552 P(napad nev4) = (5 + 2*0,59) / (12 + 2) = 0,441 P(napad nev5) = (0 + 2*0,59) / (5 + 2) = 0,169 P(napad nev6) = (2 + 2*0,59) / (7 + 2) = 0,353 VPRAŠANJE 2: Komunikacija z vohuni je tvegana, zato bo morda potrebno odpoklicati manj zanesljive. Katerega bomo odpoklicali prvega? Če bomo obdržali le enega, kateri bo?

106 NAIVNI BAYES VPRAŠANJE 3: Za vohuna 1 izračunamo: 1 P( dan) P nen) 12 8 ( ,59 0,41 8 P( dan dav1) P nen dav1) 2 0,59 2 0,59 ( ,706 0,321 P( dan dav1) P( nen dav1) 1,027 1!!! Zakaj!?

107 POVZETEK Naivni Bayes: "naivno" predpostavlja, da so atributi med seboj neodvisni P( r k V ) P( r ) k i P( rk vi ) P( r ) k apriorne verjetnosti izračunamo po Laplaceovem zakonu r 1 p n 2 pogojne verjetnosti računamo z m-oceno izračunane pogojne verjetnosti (model) uporabljamo za: napovedovanje vrednosti novim testnim primerom, interpretacijo modela p r mp n m 0

108 METODE UMETNE INTELIGENCE 8. laboratorijske vaje preiskovanje

109 PROSTOR STANJ Prostor stanj je: formalizem za predstavljanje problemov v obliki grafa, pri čemer vozlišča ustrezajo problemskim situacijam povezave ustrezajo dovoljenim akcijam

110 PREDSTAVITEV PROBLEMA Problem je definiran s: prostorom stanj začetnim stanjem (lahko več) končnim stanjem (lahko več) Reševanje problema zahteva preiskovanje grafa: rešitev problema je pot od začetnega do končnega stanja optimizacijske probleme predstavimo tako, da povezavam v grafu dodamo cene cena rešitve je vsota vseh povezav vzdolž rešitvene poti

111 b faktor vejanja grafa d globina najbližjega končnega stanja m maksimalna globina prostora stanj NEINFORMIRANO PREISKOVANJE Osnovni strategiji za sistematično preiskovanje prostora stanj: iskanje v globino med alternativami izbere tisto, ki je najdlje od začetnega stanja najbolje prilega rekurzivnemu stilu programiranja nevarnost zankanja ni nujno, da najprej najde najkrajšo pot časovna zahtevnost reda O ( b m ), prostorska zahtevnost reda O(bm) iskanje v širino med alternativami izbere tisto najbližjo začetnemu stanju vedno najprej najde najkrajšo pot moramo voditi množico poti-kandidatov d +1 časovna zahtevnost reda O( b ), prostorska zahtevnost reda O( b d +1 )

112 PRIMER - ISKANJE V GLOBINO (1/9) s a b c f g i d e h j k l

113 PRIMER - ISKANJE V GLOBINO (2/9) s a b c f g i d e h j k l Open list: s po vrsti obdelujemo

114 PRIMER - ISKANJE V GLOBINO (3/9) s a b c f g i d e h j k l Open list: a, b, c obdelano vozlišče odstranimo in dodamo njegove naslednike

115 PRIMER - ISKANJE V GLOBINO (4/9) s a b c f g i d e h j k l Open list: d, e, b, c naslednike vozlišča a smo dodali na začetek vrste

116 PRIMER - ISKANJE V GLOBINO (5/9) s a b c f g i d e h j k l Open list: e, b, c

117 PRIMER - ISKANJE V GLOBINO (6/9) s a b c f g i d e h j k l Open list: j, k, b, c

118 PRIMER - ISKANJE V GLOBINO (7/9) s a b c f g i d e h j k l Open list: k, b, c

119 PRIMER - ISKANJE V GLOBINO (8/9) s a b c f g i d e h j k l Open list: b, c

120 PRIMER - ISKANJE V GLOBINO (9/9) s a b c f g i d e h j k l Rešitev: s, a, e, k

121 PRIMER - ISKANJE V ŠIRINO (1/11) s a b c f g i d e h j k l

122 PRIMER - ISKANJE V ŠIRINO (2/11) s a b c f g i d e h j k l Open list: s

123 PRIMER - ISKANJE V ŠIRINO (3/11) s a b c f g i d e h j k l Open list: a, b, c

124 PRIMER - ISKANJE V ŠIRINO (4/11) s a b c f g i d e h j k l Open list: b, c, d, e naslednike vozlišča a smo dodali na konec vrste

125 PRIMER - ISKANJE V ŠIRINO (5/11) s a b c f g i d e h j k l Open list: c, d, e, f, g

126 PRIMER - ISKANJE V ŠIRINO (6/11) s a b c f g i d e h j k l Open list: d, e, f, g, h, i

127 PRIMER - ISKANJE V ŠIRINO (7/11) s a b c f g i d e h j k l Open list: e, f, g, h, i

128 PRIMER - ISKANJE V ŠIRINO (8/11) s a b c f g i d e h j k l Open list: f, g, h, i, j, k, h

129 PRIMER - ISKANJE V ŠIRINO (9/11) s a b c f g i d e h j k l Open list: g, h, i, j, k, h, e

130 PRIMER - ISKANJE V ŠIRINO (10/11) s a b c f g i d e h j k l Open list: h, i, j, k, h, e

131 PRIMER - ISKANJE V ŠIRINO (11/11) s a b c f g i d e h j k l Rešitev: s, b, g

132 NEINFORMIRANO PREISKOVANJE Iterativno poglabljanje iskanje v globino z omejeno globino, ki jo iterativno podaljšujemo kombinira prednosti iskanja v globino in iskanja v širino pomnilniško manj zahtevno vedno najprej najde najkrajšo pot časovna zahtevnost reda O ( b d ), prostorska zahtevnost reda O(bd) b faktor vejanja grafa d globina najbližjega končnega stanja

133 PRIMER ITERATIVNO POGLABLJANJE (1/17) s a b c f g i d e h j k l

134 PRIMER ITERATIVNO POGLABLJANJE (2/17) s Meja 0 a b c f g i d e h j k l

135 PRIMER ITERATIVNO POGLABLJANJE (3/17) s Meja 0 a b c f g i d e h j k l

136 PRIMER ITERATIVNO POGLABLJANJE (4/17) s Meja 1 a b c f g i d e h j k l

137 PRIMER ITERATIVNO POGLABLJANJE (5/17) s Meja 1 a b c f g i d e h j k l

138 PRIMER ITERATIVNO POGLABLJANJE (6/17) s Meja 1 a b c f g i d e h j k l

139 PRIMER ITERATIVNO POGLABLJANJE (7/17) s Meja 1 a b c f g i d e h j k l

140 PRIMER ITERATIVNO POGLABLJANJE (8/17) s Meja 1 a b c f g i d e h j k l

141 PRIMER ITERATIVNO POGLABLJANJE (9/17) s Meja 2 a b c f g i d e h j k l

142 PRIMER ITERATIVNO POGLABLJANJE (10/17) s Meja 2 a b c f g i d e h j k l

143 PRIMER ITERATIVNO POGLABLJANJE (11/17) s Meja 2 a b c f g i d e h j k l

144 PRIMER ITERATIVNO POGLABLJANJE (12/17) s Meja 2 a b c f g i d e h j k l

145 PRIMER ITERATIVNO POGLABLJANJE (13/17) s Meja 2 a b c f g i d e h j k l

146 PRIMER ITERATIVNO POGLABLJANJE (14/17) s Meja 2 a b c f g i d e h j k l

147 PRIMER ITERATIVNO POGLABLJANJE (15/17) s Meja 2 a b c f g i d e h j k l

148 PRIMER ITERATIVNO POGLABLJANJE (16/17) s Meja 2 a b c f g i d e h j k l

149 PRIMER ITERATIVNO POGLABLJANJE (17/17) s Meja 2 a b c f g i d e h j k l Rešitev: s, b, g

150 HEVRISTIČNO PREISKOVANJE Če je prostor stanj velik, nam grozi kombinatorična eksplozija. Moramo se zadovoljiti s preiskovanjem skromne podmnožice celotnega prostora stanj. Uporabljamo hevristične ocene za omejevanje in usmerjanje iskanja v smeri najbolj obetavnega vozlišča. Kot hevristična cenilka služi funkcija f(n), ki ocenjuje težavnost vozlišča n.

151 HEVRISTIČNO PREISKOVANJE Start n Cilj g(n) h(n) g(n) je ocena cene najboljše poti od začetnega vozlišča do vozlišča n h(n) je ocena cene optimalne poti od vozlišča n do končnega vozlišča Požrešno usmerjeno iskanje: (Greedy best-first search) A*: f(n) = h(n) f(n) = g(n) + h(n)

152 DOPUSTNOST algoritem je dopusten (admissable), če vedno najde optimalno rešitev, če ta obstaja predpostavimo, da je za vsako vozlišče n v prostoru stanj h * (n) cena optimalne poti od n do najbližjega končnega vozlišča algoritem A *, ki uporablja hevristično funkcijo h(n), tako da je za vsak n je dopusten. h( n) h * ( n) vsaka hevristična funkcija h(n), ki ne precenjuje razdalje do cilja, je dopustna. trivialna, a neuporabna hevristična funkcija h(n) = 0 spremeni A * v iskanje v širino

153 PRIMER - POŽREŠNO ISKANJE (1/7) 71 O A Z S F N 87 I 92 V T R L P 70 M B 85 U 98 H E D 120 C G h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z 374

154 PRIMER - POŽREŠNO ISKANJE (2/7) h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z 374 A 366

155 PRIMER - POŽREŠNO ISKANJE (3/7) h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z 374 A 366 S T Z

156 PRIMER - POŽREŠNO ISKANJE (4/7) h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z 374 A 366 S T Z A F O R

157 PRIMER - POŽREŠNO ISKANJE (5/7) h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z 374 A 366 S T Z A F O R S 253 B 0

158 PRIMER - POŽREŠNO ISKANJE (6/7) h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z 374 A 366 S T Z A F O R S 253 B 0

159 PRIMER - POŽREŠNO ISKANJE (7/7) h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z 374 A 366 S T Z A F O R S 253 B 0

160 PRIMER A * (1/9) 71 O A Z S F N 87 I 92 V T R L P 70 M B 85 U 98 H E D 120 C G h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z 374

161 PRIMER A* (2/9) h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z 374 A = 366

162 PRIMER A* (3/9) h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z 374 A = = = 447 S T Z = 449

163 PRIMER A* (4/9) h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z 374 A = = = 447 S T Z = = = = 671 A F O R = 413

164 PRIMER A* (5/9) h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z 374 A = = = 447 S T Z = = = = 671 A F O R = = = 417 C P S = 553

165 PRIMER A* (6/9) h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z 374 A = = = 447 S T Z = = = = 671 A F O R = 413 S = 591 B = = = 417 C P S = 553

166 PRIMER A* (7/9) h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z 374 A = = = 447 S T Z = = = = 671 A F O R = 413 S = 591 B = = = 417 C P S = = = 615 B C R = 607

167 PRIMER A* (8/9) h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z 374 A = = = 447 S T Z = = = = 671 A F O R = 413 S = 591 B = = = 417 C P S = = = 615 B C R = 607

168 PRIMER A* (9/9) h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z 374 A = = = 447 S T Z = = = = 671 A F O R = 413 S = 591 B = = = 417 C P S = = = 615 B C R = 607

169 PRIMER DRSEČE PLOŠČICE (1/8) Začetna pozicija: Končna pozicija: Vrstni red premikov: (za enakovredne kandidate) g(n) : število potez od začetka h(n) : vsota razdalj (premikov) do pravega mesta

170 PRIMER DRSEČE PLOŠČICE (2/8) g = 0 h =

171 PRIMER DRSEČE PLOŠČICE (3/8) g = 0 h = g = 1 h = g = 1 h = g = 1 h = 6

172 PRIMER DRSEČE PLOŠČICE (4/8) g = 0 h = g = 1 h = g = 1 h = g = 1 h = g = 2 h = g = 2 h = g = 2 h = g = 2 h = 5

173 PRIMER DRSEČE PLOŠČICE (5/8) g = 0 h = g = 1 h = g = 1 h = g = 1 h = g = 2 h = g = 2 h = g = 2 h = g = 2 h = g = 3 h = g = 3 h = g = 3 h = 4

174 PRIMER DRSEČE PLOŠČICE (6/8) g = 0 h = g = 1 h = g = 1 h = g = 1 h = g = 2 h = g = 2 h = g = 2 h = g = 2 h = g = 3 h = g = 3 h = g = 3 h = g = 4 h = g = 4 h = 1

175 PRIMER DRSEČE PLOŠČICE (7/8) g = 0 h = g = 1 h = g = 1 h = g = 1 h = g = 2 h = g = 2 h = g = 2 h = g = 2 h = g = 3 h = g = 3 h = g = 3 h = g = 4 h = g = 4 h = g = 5 h = g = 5 h = g = 5 h = 2

176 PRIMER DRSEČE PLOŠČICE (8/8) g = 0 h = g = 1 h = g = 1 h = g = 1 h = g = 2 h = g = 2 h = g = 2 h = g = 2 h = g = 3 h = g = 3 h = g = 3 h = g = 4 h = g = 4 h = g = 5 h = g = 5 h = g = 5 h = 2

177 PRIMER POT V LABIRINTU (1/10) Labirint: S C Vrstni red premikov: (za enakovredne kandidate) g(n) : število korakov od začetka h(n) : Manhattanska razdalja do cilja

178 PRIMER POT V LABIRINTU (2/10) R C g = 0 h = h(n)

179 PRIMER POT V LABIRINTU (3/10) R g = 0 h = C R g = 1 h = 3 R g = 1 h = 3 h(n) C C prej generirano

180 PRIMER POT V LABIRINTU (4/10) R g = 0 h = C R g = 1 h = 3 R g = 1 h = 3 h(n) C C R g = 2 h = 4 najbolje ocenjeno C

181 PRIMER POT V LABIRINTU (5/10) R g = 0 h = C R g = 1 h = 3 R g = 1 h = 3 h(n) C C R g = 2 h = 4 R g = 2 h = 2 R g = 2 h = 4 g = 2 h = 2 C C C R C prej generirano

182 PRIMER POT V LABIRINTU (6/10) R g = 0 h = C R g = 1 h = 3 R g = 1 h = 3 h(n) C C R g = 2 h = 4 R g = 2 h = 2 R g = 2 h = 4 g = 2 h = 2 C C C R C R g = 3 h = 1 R g = 3 h = 3 prej generirano C C

183 PRIMER POT V LABIRINTU (7/10) R g = 0 h = C R g = 1 h = 3 R g = 1 h = 3 h(n) C C R g = 2 h = 4 R g = 2 h = 2 R g = 2 h = 4 g = 2 h = 2 C C C R C R g = 3 h = 1 R g = 3 h = 3 g = 3 h = 1 R g = 3 h = 3 C C R C C 2 prej generirano 3 1 4

184 PRIMER POT V LABIRINTU (8/10) R g = 0 h = C R g = 1 h = 3 R g = 1 h = 3 h(n) C C R g = 2 h = 4 R g = 2 h = 2 R g = 2 h = 4 g = 2 h = 2 C C C R C R g = 3 h = 1 R g = 3 h = 3 g = 3 h = 1 R g = 3 h = 3 C C R C C R C g = 4 h = 2 R C g = 4 h = 2 najbolje ocenjeno

185 PRIMER POT V LABIRINTU (9/10) R g = 0 h = C R g = 1 h = 3 R g = 1 h = 3 h(n) C C R g = 2 h = 4 R g = 2 h = 2 R g = 2 h = 4 g = 2 h = 2 C C C R C R g = 3 h = 1 R g = 3 h = 3 g = 3 h = 1 R g = 3 h = 3 C C R C C R C g = 4 h = 2 R C g = 4 h = 2 R g = 4 h = 0 R C g = 4 h = najbolje ocenjeno 4

186 PRIMER POT V LABIRINTU (10/10) R g = 0 h = C R g = 1 h = 3 R g = 1 h = 3 h(n) C C R g = 2 h = 4 R g = 2 h = 2 R g = 2 h = 4 g = 2 h = 2 C C C R C R g = 3 h = 1 R g = 3 h = 3 g = 3 h = 1 R g = 3 h = 3 C C R C C R C g = 4 h = 2 R C g = 4 h = 2 R g = 4 h = 0 R C g = 4 h =

187 PRIMER A * (1/8) 3 s 3 2 a b c f g i d e h 3 j k l s a b c d e f g h i j k l h(n) ali je h(n) dopustna?

188 PRIMER A * (2/8) s 0+6 = 6 s a b c d e f g h i j k l h(n)

189 PRIMER A * (3/8) s = 6 a b c 3+5 = = = 6 2 s a b c d e f g h i j k l h(n)

190 PRIMER A * (4/8) s = 6 a b c 3+5 = = = h 7+1 = 8 2 i 4+12 = 16 s a b c d e f g h i j k l h(n)

191 PRIMER A * (5/8) s = 6 a b c 3+5 = = = i d e h 4+12 = = = = 8 s a b c d e f g h i j k l h(n)

192 PRIMER A * (6/8) s = 6 a b c 3+5 = = = i d e h 4+12 = = = = 8 3 l 10+0 = 10 s a b c d e f g h i j k l h(n)

193 PRIMER A * (7/8) s = 6 a b c 3+5 = = = i d e h 4+12 = = = = 8 3 j k h l 9+12 = = = = 10 s a b c d e f g h i j k l h(n)

194 PRIMER A * (8/8) s = 6 a b c 3+5 = = = i d e h 4+12 = = = = 8 3 j k h l 9+12 = = = = 10 s a b c d e f g h i j k l h(n)

195 IZBOLJŠAVE ALGORITMA A * Težava algoritma A * je prevelika poraba pomnilnika. Izboljšave porabijo manj pomnilnika, a še vedno zagotavljajo optimalnost rešitve. Iterative-deepening A* (IDA*): namesto povečevanja globine iskanja, povečuje vrednost hevristične ocene f(n) Recursive best first search (RBFS): shrani vrednosti vseh otrok na trenutni poti išče do meje sobratov pri vračanju si zapomni f vrednost najboljšega lista na podlagi zapomnjene f vrednosti ve, katere veje so perspektivne

196 PRIMER RBFS (1/13) 71 O A Z S F N 87 I 92 V T R L P 70 M B 85 U 98 H E D 120 C G h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z 374

197 PRIMER RBFS (2/13) h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 A = 366 E 161 L 244 R 193 Z 374

198 PRIMER RBFS (3/13) = 393 A = 366 h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z = 447 S T Z = 449 meja za razvoj poddrevesa najbolje ocenjeno in pod mejo nad A prva naslednja ocena izmed vseh generiranih

199 PRIMER RBFS (4/13) = 393 A = 366 h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z = 447 S T Z = = = = 671 A F O R = 413 prva naslednja ocena izmed vseh generiranih meja za razvoj poddrevesa najbolje ocenjeno in pod mejo nad S

200 PRIMER RBFS (5/13) = 393 A = 366 h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z = 447 S T Z = = = = 671 A F O R = = = 417 C P S = 553 vsi so večji od meje nad R

201 PRIMER RBFS (6/13) = 393 A = 366 h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z = 447 S T Z = = = = 671 A F O R = = = 417 C P S = 553 najboljša ocena poddrevesa

202 PRIMER RBFS (7/13) = 393 A = 366 h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z = 447 S T Z = = = = 671 A F O R 417 meja za razvoj poddrevesa najbolje ocenjeno popravimo oceno vozlišča (najbolj perspektiven list iz poddrevesa)

203 PRIMER RBFS (8/13) = 393 A = 366 h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z = 447 S T Z = = = = 671 A F O R S B = 591 = 450 oba večja od meje nad F

204 PRIMER RBFS (9/13) = 393 A = 366 h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z = 447 S T Z = = = = 671 A F O R S B = 591 = 450 najboljša ocena poddrevesa

205 PRIMER RBFS (10/13) = 393 A = 366 h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z = 447 S T Z = = = 671 A F 450 O R popravimo oceno vozlišča (najbolj perspektiven list iz poddrevesa) meja za razvoj poddrevesa najbolje ocenjeno

206 PRIMER RBFS (11/13) = 393 A = 366 h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z = 447 S T Z = = = 671 A F 450 O R = = 417 C P S = 553 meja za razvoj poddrevesa najbolje ocenjeno in pod mejo nad R

207 PRIMER RBFS (12/13) = 393 A = 366 h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z = 447 S T Z = = = 671 A F 450 O R = = 417 C P S = = = 615 najbolje ocenjeno B C R = 607

208 PRIMER RBFS (13/13) = 393 A = 366 h(n) = Razdalja po zračni liniji do mesta B A 366 F 176 M 241 S 253 B 0 G 77 N 234 T 329 C 160 H 151 O 380 U 80 D 242 I 226 P 100 V 199 E 161 L 244 R 193 Z = 447 S T Z = = = 671 A F 450 O R = = 417 C P S = = = 615 B C R = 607

209 PRIMER IDA * (1/13) 3 s 3 2 a b c f g i d e h 3 j k l s a b c d e f g h i j k l h(n)

210 PRIMER IDA * (2/13) s 0+6 = 6 Meja f(n) = 0 nova meja s a b c d e f g h i j k l h(n)

211 PRIMER IDA * (3/13) s 0+6 = 6 Meja f(n) = 6 s a b c d e f g h i j k l h(n)

212 PRIMER IDA * (4/13) s = 6 a b c 2 Meja f(n) = = = = 6 s a b c d e f g h i j k l h(n)

213 PRIMER IDA * (5/8) s = 6 a b c 3+5 = = = Meja f(n) = 6 2 i nova meja h 7+1 = = 16 s a b c d e f g h i j k l h(n)

214 PRIMER IDA * (6/13) s 0+6 = 6 Meja f(n) = 8 s a b c d e f g h i j k l h(n)

215 PRIMER IDA * (7/13) s = 6 a b c 3+5 = = = Meja f(n) = 8 2 i h 4+12 = = 8 s a b c d e f g h i j k l h(n)

216 PRIMER IDA * (8/13) s = 6 a b c 3+5 = = = Meja f(n) = 8 2 i d e h 4+12 = = = = 8 s a b c d e f g h i j k l h(n)

217 PRIMER IDA * (9/13) s = 6 a b c 3+5 = = = Meja f(n) = 8 2 i d e h 4+12 = = = = 8 3 nova meja l 10+0 = 10 s a b c d e f g h i j k l h(n)

218 PRIMER IDA * (10/13) s 0+6 = 6 Meja f(n) = 9 s a b c d e f g h i j k l h(n)

219 PRIMER IDA * (11/13) s = 6 a b c 3+5 = = = Meja f(n) = 9 2 i d e h 4+12 = = = = 8 3 l 10+0 = 10 s a b c d e f g h i j k l h(n)

220 PRIMER IDA * (12/13) s = 6 a b c 3+5 = = = Meja f(n) = 9 2 i d e h 4+12 = = = = 8 3 j k h l 9+12 = = = = 10 s a b c d e f g h i j k l h(n)

221 PRIMER IDA * (13/13) s = 6 a b c 3+5 = = = Meja f(n) = 9 2 i d e h 4+12 = = = = 8 3 j k h l 9+12 = = = = 10 s a b c d e f g h i j k l h(n)

222 METODE UMETNE INTELIGENCE 9. laboratorijske vaje rudarjenje po besedilih

223 ANALIZA BESEDIL V OKOLJU R Izdelava zbirke besedil zbiranje besedil ustvarjanje zbirke ali korpusa (Corpus - podatkovna struktura za hrambo besedil) Predprocesiranje besedila odstranitev ločil, številk in mašil (in, da, ne,...) pretvorba v male črke korenjenje besed (angl. stemming) Pretvorba v obliko za strojno učenje vsak dokument predstavimo kot učni primer atributi vsakega primeraponazarjajo statistike besed če imamo klasifikacijski problem, razred običajno določa tip dokumenta Strojno učenje klasifikacija razvrščanje druge metode strojnega učenja

224 IZDELAVA ZBIRKE BESEDIL Knjižnica za rudarjenje po besedilih: library(tm) Podajanje vira dokumentov: DataframeSource DirSource ReutersSource URISource VectorSource Podajanje oblike dokumentov: readdoc readpdf readreut21578xml readplain readtabular - vir dokumentov je data.frame - dokumenti so v direktoriju - vir so XML dokument v obliki Reuters - vir je samo en dokument na podani poti - vir dokumentov je vektor - dokumenti so v formatu MS Word - PDF format - XML format oblike Reuters - branje nestrukturirane oblike - branje tabelarične stukture, podamo opis Izdelava zbirke dokumentov: Corpus(vir, readercontrol=list(reader=oblika))

225 IZDELAVA ZBIRKE BESEDIL - PRIMER Primer: library(tm) zbirka <- Corpus(DirSource('D:/mui-dokumenti'), readercontrol=list(reader=readplain)) #pregled vsebine zbirke

226 PREDPROCESIRANJE BESEDILA Operacije za predprocesiranje: removecitation() removenumbers() removepunctuation() removesignature() removewords() replacewords() stemdoc() stripwhitespace() tolower() stopwords() - odstrani citate (iz besedil) - odstrani številke - odstrani ločila - odstrani podpis (v besedilih) - odstrani podan nabor besed - nadomesti podane besede - koreni (stemming) besede - odstrani presledke - pretvori v male črke - seznam mašil (pogostih besed) Predprocesiranje celotne zbirke: tmmap(zbirka, operacija)

227 PREDPROCESIRANJE BESEDILA > dokument <- zbirka[[3]] > dokument The Journals of Economics We examine the principal journals of economics, with particular attention to the communication between journals, as reflected by the network of interjournal citations during , and the changes over the past century in the characteristics of the authors and the techniques they have used. The numerical results, and those of the statistical modeling of these results, reinforce the importance of economic theory as an exporter of intellectual influence to applied economics. The study includes an examination of the degree of specialization among different subfields of economics. A statistical model is presented for measuring the flow of intellectual influence (as measured by citations) in terms of simple univariate scores. > d1 <- removenumbers(dokument) > d1 The Journals of Economics We examine the principal journals of economics, with particular attention to the communication between journals, as reflected by the network of interjournal citations during -, and the changes over the past century in the characteristics of the authors and the techniques they have used. The numerical results, and those of the statistical modeling of these results, reinforce the importance of economic theory as an exporter of intellectual influence to applied economics. The study includes an examination of the degree of specialization among different subfields of economics. A statistical model is presented for measuring the flow of intellectual influence (as measured by citations) in terms of simple univariate scores. > d2 <- removepunctuation(d1) > d2 The Journals of Economics We examine the principal journals of economics with particular attention to the communication between journals as reflected by the network of interjournal citations during and the changes over the past century in the characteristics of the authors and the techniques they have used The numerical results and those of the statistical modeling of these results reinforce the importance of economic theory as an exporter of intellectual influence to applied economics The study includes an examination of the degree of specialization among different subfields of economics A statistical model is presented for measuring the flow of intellectual influence as measured by citations in terms of simple univariate scores

228 PREDPROCESIRANJE BESEDILA > d3 <- tolower(d2) > d3 the journals of economics we examine the principal journals of economics with particular attention to the communication between journals as reflected by the network of interjournal citations during and the changes over the past century in the characteristics of the authors and the techniques they have used the numerical results and those of the statistical modeling of these results reinforce the importance of economic theory as an exporter of intellectual influence to applied economics the study includes an examination of the degree of specialization among different subfields of economics a statistical model is presented for measuring the flow of intellectual influence as measured by citations in terms of simple univariate scores > d4 <- removewords(d3, stopwords()) > d4 journals economics examine principal journals economics particular attention communication journals reflected network interjournal citations changes past century characteristics authors techniques numerical results statistical modeling results reinforce importance economic theory exporter intellectual influence applied economics study includes examination degree specialization subfields economics statistical model measuring flow intellectual influence measured citations terms simple univariate scores > d5 <- stemdocument(d4) > d5 journal econom examin princip journal econom particular attent communic journal reflect network interjourn citat chang past centuri characterist author techniqu numer result statist model result reinforc import econom theori export intellectu influenc appli econom studi includ examin degre special subfield econom statist model measur flow intellectu influenc measur citat term simpl univari score > d6 <- stripwhitespace(d7) > d6 journal econom examin princip journal econom particular attent communic journal reflect network interjourn citat chang past centuri characterist author techniqu numer result statist model result reinforc import econom theori export intellectu influenc appli econom studi includ examin degre special subfield econom statist model measur flow intellectu influenc measur citat term simpl univari score

229 PREDPROCESIRANJE BESEDILA Predprocesiranje cele zbirke: > nova.zbirka <- tmmap( tmmap( tmmap( tmmap( tmmap( tmmap(zbirka, removenumbers), removepunctuation), tmtolower), removewords, stopwords()), stemdocument), stripwhitespace) A corpus with 1015 text documents

230 PRETVORBA V OBLIKO ZA STROJNO UČENJE Učna množica: - primeri predstavljajo posamezne dokumente - atributi predstavljajo lastnosti dokumenta (besede) - dodamo razred, če ga potrebujemo (nadzorovano učenje) Predstavitev besed z atributi: - besede običajno utežimo: beseda je bolj pomembna, če se pojavi v določenem dokumentu večkrat in če se v vseh dokumentih v zbirki pojavlja manjkrat (torej je specifična za izbrani dokument). To imenujemo TFIDF uteževanje (Term-Frequency Inverse Document Frequency): TFIDF ( beseda, dok) frekv( beseda, dok) log N frekv( beseda, zbirka) Sintaksa v R: DocumentTermMatrix(nova.zbirka, control = list(weighting=weighttfidf))

231 PRETVORBA V OBLIKO ZA STROJNO UČENJE Primer: #preštejemo besede v prvih petih dokumentih, izpišemo del matrike frekvenc > inspect(documenttermmatrix(nova.zbirka [1:5]))[,100:110] Terms Docs make market match mathemat measur methodolog model nation natur network numer #pretvorimo celo zbirko v TFIDF predstavitev > ucna.tfidf <- DocumentTermMatrix(nova.zbirka, control = list(weighting = weighttfidf)) #preberemo še razrede dokumentov (splošno/trženje) > razredi <- read.table("d:/razredi.mui.txt") #združimo množico atributov in razrede > ucna.mnozica <- cbind(inspect(ucna.tfidf), razredi) > names(ucna.mnozica)[ncol(ucna.mnozica)] <- "razred"