Learning Decision Trees

Size: px

Start display at page:

Download "Learning Decision Trees"

Phillip Sanders
5 years ago
Views:

1 Outline Learning Decision Trees 1. Decision trees 2. Learning decision trees 3. Various problems and their solutions Antoine Cornuéjols AgroParisTech INRA MIA The learning task Task Learning a classification function Protocole Supervised learning using greedy iterative approximation Performance measure Decision trees Prediction error rate Inputs Vectorial Hypothesis space Decision trees 3 4

2 The structure of decision trees Data sets The internal nodes test attribute values A branch for each possible value of the tested attribute Leaves correspond to classes (labels) A training data set Cough Fever Weight Pain Diagnostic Marie no yes normal throat cold Fred no yes normal abdomen appendicitis Julie yes yes skinny no flu Elvis yes no overweight chest coronary thrombosis pain? abdomen throat chest nothing appendicitis! flu! yes fever? no Sore Throat! Coronary! thrombosis! no nothing! cough? yes fever? yes no How to learn a decision tree? cold! flu! 5 A Real Decision Tree Expressiveness of decision trees Decision Tree Trained on 1000 Patients: (tree) fetal_presentation = 1: (tree) previous_csection = 0: (tree) primiparous = 0: (tree) primiparous = 1: (tree) fetal_distress = 0: (tree) birth_weight < 3349: (tree) birth_weight >= 3349: (tree) fetal_distress = 1: 3421 (tree) previous_csection = 1: 5535 (tree) fetal_presentation = 2: 329 (tree) fetal_presentation = 3: 822 (tree) Any boolean function can be represented by a decision tree Reminder: with 6 boolean attributes, there exists approximately boolean functions Some functions can require very large decision trees E.g. The parity function and the majority function may require exponentially large trees Other functions can be represented with one node Limited to propositional logic. No relational representation A tree corresponds to a disjunction of rules DT = (if feather = no then label = not bird) or (if feather = yes & color = brown then label = not bird) or (if feather = yes & color = B&W then label = bird) or (if feather = yes & color = yellow then label = bird) 8

Arbre de décision : exemple Exemple : arbre de décision Détection du spam Étude sur la différence d appréciation des risques d intoxication des deux côtés de l Atlantique.

Cornuéjols) 10 Which tree to select from H?

3 Arbre de décision : exemple Exemple : arbre de décision Détection du spam Étude sur la différence d appréciation des risques d intoxication des deux côtés de l Atlantique. (ANR Holyrisk ( )) On cherche à distinguer deux classes de textes AgroParisTech 1A MI9 Arbres de décision and Co. 9 (7 / 12 / 2018) «Une introduction à l apprentissage automatique» (A. Cornuéjols) 10 Which tree to select from H? L espace de recherche Color Wings Feathers Sonar Concept x23 yellow yes yes no bird x24 B&W yes yes no bird x25 brown yes no yes Not bird There exist four trees consistant with the data set DT1 DT2 bird yes yes Not bird feather? no Sonar? Not bird no bird DT3 Color? DT4 feathers? brown yellow yes no B&W Not bird bird Color? Not bird bird brown yellow B&W Not bird bird bird Toutes les séquences possibles de tous les tests (éventuellement répétés) Arbre de recherche GIGANTESQUE Nombre de Catalan (n nœuds d au plus deux descendants) n = 10 => C n = arbres binaires n = 20 => 6.56 x 10 9 arbres binaires ( ) 1 2n n 1 n AgroParisTech 1A MI9 Arbres de décision and Co. 12

4 The search space Number of trees = Catalan s number Huge search space! How to explore it? n attributes of branching factor = 2 Learning decision trees A greedy iterative topdown strategy Illustration [Quinlan, 1986] Principle Attributs Pif Temp Humid Vent Valeurs possibles soleil,couvert,pluie chaud,bon,frais normale,haute vrai,fau 1. Select the best attribute 2. Grow the tree according to the choice 3. Now there are subsets of the data set at the leaves 4. Return to 1 until stopping criterion N Pif Temp Humid Vent Golf 1 soleil chaud haute faux NePasJouer 2 soleil chaud haute vrai NePasJouer 3 couvert chaud haute faux Jouer 4 pluie bon haute faux Jouer 5 pluie frais normale faux Jouer 6 pluie frais normale vrai NePasJouer 7 couvert frais normale vrai Jouer 8 soleil bon haute faux NePasJouer 9 soleil frais normale faux Jouer 10 pluie bon normale faux Jouer 11 soleil bon normale vrai Jouer 12 couvert bon haute vrai Jouer 13 couvert chaud normale faux Jouer 14 pluie bon haute vrai NePasJouer la classe 15

5 Illustration [Quinlan, 1986] Illustration [Quinlan, 1986] If we select Temp?... J3,J13 J1,J2 J3,J4,J5,J7,J9,J10,J11,J12,J13 J1,J2, J6,J8,J14 Temp? chaud bon frais J4,J10,J11,J13 J8,J14 N Pif Temp Humid Vent Golf 1 soleil chaud haute faux NePasJouer 2 soleil chaud haute vrai NePasJouer 3 couvert chaud haute faux Jouer 4 pluie bon haute faux Jouer 5 pluie frais normale faux Jouer 6 pluie frais normale vrai NePasJouer 7 couvert frais normale vrai Jouer 8 soleil bon haute faux NePasJouer 9 soleil frais normale faux Jouer 10 pluie bon normale faux Jouer 11 soleil bon normale vrai Jouer 12 couvert bon haute vrai Jouer 13 couvert chaud normale faux Jouer 14 pluie bon haute vrai NePasJouer J5,J7,J9 J6 J7,J11,J1 2 J2,J6,J14 J3,J13,J7,J1 2 J3,J4,J5,J7,J9,J10,J11,J12,J13 J1,J2, J6,J8,J14 vrai Vent? faux J3,J4,J5,J7,J9,J10,J11,J12,J 13 J1,J2, J6,J8,J14 Pif? couver t plui e J4,J5,J1 0 J6,J14 solei l J3,J4,J5,J9,10,J13 J1,J8 J9,J11 J1,J8,J 2 Impurity measure: the Gini criterion Impurity measure: the entropy criterion Ideally: The measure should be zero if the subpopulations are homogeneous (only one class) The measure should be maximal if the classes are maximally mixed in the subpopulations Index Gini [Breiman et al.,84] Boltzmann entropy used by Shannon In 1949 Shannon proposed an entropy measure valid for discrete probability. It expresses the quantity of information, that is the number of bits required to specify the distribution The information entropy is: I = p i log 2(pi) i=1..k where p i is the probability of class C i.

Tree outputs and objective functions Trees can be trained for classification, regression, or clustering Change the object function information gain for classification: measure of distribution purity

classification tree S 1 S 2 Zero if only one class Increasing as the classes are more equi likely Equals log 2 (k) when the k classes are equiprobables Unit: bit of information The entropy criterion

6 Tree outputs and objective functions Trees can be trained for classification, regression, or clustering Change the object function information gain for classification: measure of distribution purity Impurity measure: the entropy criterion Information entropy of S (with C classes) : C I(S) = p(c i ) log p(c i ) i =1 class p(c i ): probability of the class c i class S class data class class classification tree S 1 S 2 Zero if only one class Increasing as the classes are more equi likely Equals log 2 (k) when the k classes are equiprobables Unit: bit of information The entropy criterion for 2 classes Entropy gain for one attribute 1,00 0,90 For C=2 : I(S) = p x log 2 (p ) p x log 2 (p ) p = p/ (pn) and p = n/ (pn) d où I(S) = p log ( p ) n log( n ) (pn) (pn) (pn) (pn) log(1p) I(S) and I(S) = P log P (1P) Gain(S, A) = I(S) S v I(S S v ) v valeurs( A) 0,80 0,70 0,60 S v : size of the subpopulation in the branch v of A 0,50 0,40 0,30 0,20 0,10 0,00 0 0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,90 1,00 P P=p/(pn)=n/(np)=0.5 equiprobable Measures to what extent the knowledge of the value of attribute A Brings information about the class of an example

7 Entropy of the initial data set Illustration I(p,n) = 9/14 log 2 (9/14) 5/14 log 2 (5/14) I(S) N objects np=n Attribute A Illustration Entropy of the subtrees associated to test Pif? p 1 = 4 n 1 = 0 : I(p 1,n 1 ) = 0 p 2 = 2 n 2 = 3 : I(p 2,n 2 ) = p 3 = 3 n 3 = 2 : I(p 3,n 3 ) = Entropy of the subtrees associated to test Temp? p 1 = 2 n 1 = 2 : I(p 1,n 1 ) = 1 p 2 = 4 n 2 = 2 : I(p 2,n 2 ) = p 3 = 3 n 3 = 1 : I(p 3,n 3 ) = N1 objects n1p1=n1 val1 val2 val3 N2 objects n2p2=n2 E(N,A)= N1/N x I(p1,n1) N2/N xi(p2,n2) N3/N x I(p3,n3) The entropy gain for attribute A is: N3 objects n3p3=n3 GAIN(A)= I(S)E(N,A) N1N2N3=N Illustration Illustration For the initial data set I(S) = 9/14 log 2 (9/14) 5/14 log 2 (5/14) Entropy associated with the attribute Pif? Final tree: Pif E(Pif) = 4/14 I(p 1,n 1 ) 5/14 I(p 2,n 2 ) 5/14 I(p 3,n 3 ) couvert soleil pluie Gain(Pif) = = bits Gain(Temp) = bits jouer! Humid normal haute non Vent oui Gain(Humid) = bits jouer! ne pas jouer! jouer! ne pas jouer! Gain(Vent) = bits Choice of the attribute Pif for the first test

Discretizing continuous attributes Some problems And their solutions 6 C 8 C 14 C 18 C 20 C 28 C 32 C No No No Yes Yes Yes No Here, two candidate thresholds: 16 C and 30 C Temp.

8 Discretizing continuous attributes Some problems And their solutions 6 C 8 C 14 C 18 C 20 C 28 C 32 C No No No Yes Yes Yes No Here, two candidate thresholds: 16 C and 30 C Temp. Play golf The attribute Temp >16 C is the most informative, it is chosen 29 Problem: Entropy gain unduly favors the attributes with high branching factors Two solutions: Binarize all attributes Different branching factors But the resulting tree lose interpretability Introduce a normalizing factor to correct the bias Missing values Given example x, c(x) with missing values for attribute A How can we compute gain(s,a)? 1. Take the most frequent value for A in S 2. Take the most frequent value for A in the node 3. Distribute the example into fictive examples with the possible values of A weighted by their respective frequencies Gain _ norm(s, A) = nb valeurs de A i =1 Gain(S, A) S i S log S i S E.g. if 6 examples in this node take the value A=a 1 and 4 examples the value A=a 2 A(x) = a 1 with prob=0.6 and A(x) = a 2 with prob=0.4 When predicting, give the label corresponding to the most likely leave

9 Le problème de la généralisation Overfitting Aton appris un bon arbre de décision? Ensemble d apprentissage. Ensemble test. Courbe d apprentissage Méthodes d évaluation de la généralisation Sur un ensemble test Validation croisée Leaveoneout Tom Mitchell, McGraw Hill, 1997 Surapprentissage Pre and post pruning Types de bruits Erreurs de description Erreurs de classification clashes valeurs manquantes Effet Arbre trop développé : «touffus», trop profond 36

2 c2 c1 Conclusions Good if Vectorial input space The target concept corresponds to recursive boxes with borders

10 Oblique trees Oblique trees x1 < 0.70 x2 x2 < 0.88 x2 < 0.30 x1 < 0.17 x1 c2 c1 x2 < 0.62 c2 c2 c1 c1 1.1x1 x2 < 0.2 c2 c1 Conclusions Good if Vectorial input space The target concept corresponds to recursive boxes with borders parallel to the axes Conclusions Very simple Computational complexity of learning in O(A2. m) A attributes m examples «Introduction to Machine Learning» (A. Cornuéjols) 39 «Introduction to Machine Learning» (A. Cornuéjols) 40

Limites des méthodes classiques de régression Y comme fonction linéaire d une variable à valeur réelle Y = 0 1 X " Arbres de régression Régression multiple : Y fonction linéaire d un ensemble de

11 Limites des méthodes classiques de régression Y comme fonction linéaire d une variable à valeur réelle Y = 0 1 X " Arbres de régression Régression multiple : Y fonction linéaire d un ensemble de variables indépendantes Y = 0 1 X " Régression non linéaire Y = 0 1 X 2 XX > " Immensité de l espace de recherche si on cherche à prendre en compte toutes les combinaisons des attributs 42 Régression linéaire vs. arbres de régression Arbre de régression vs. régression linéaire Modèle global défini sur l ensemble de l espace de description Partition de l espace avec des modèles locaux Régression linéaire Arbre de régression 43 44

Particularités des arbres de régression Induction des arbres de régression Les attributs et la classe sont à valeur continue On associe à chaque région R i de X une valeur

On cherche en général à minimiser l erreur quadratique : Choix de l attribut et du point de division minimisant la somme des écarts quadratique à la moyenne dans chacune des

AgroParisTech 1A MI9 Arbres de décision and Co. 45 AgroParisTech 1A MI9 Arbres de décision and Co.

12 Particularités des arbres de régression Induction des arbres de régression Les attributs et la classe sont à valeur continue On associe à chaque région R i de X une valeur constante c i. On cherche en général à minimiser l erreur quadratique : Choix de l attribut et du point de division minimisant la somme des écarts quadratique à la moyenne dans chacune des régions de l espace créées MSE = m K I(R k )(y i c k ) 2 i=1 k=1 Arrêt lorsque Plus assez de points par région Différence des moyennes entre régions sous un seuil fixé AgroParisTech 1A MI9 Arbres de décision and Co. 45 AgroParisTech 1A MI9 Arbres de décision and Co. 46 Regression trees (model trees) Arbres de régression : exemple y S S 1 S 2 data x regression tree Realvalued output y Object function: maximize measure of fit of model e.g. linear model y = axb, Or just constant model Tiré de [AnneEmmanuelle BADEL*, Olivier MICHEL* et Alfred HERO, «Arbres de régression modélisation non paramétrique et analyse des séries temporelles», 1996] AgroParisTech 1A MI9 Arbres de décision and Co. 48

[AnneEmmanuelle BADEL*, Olivier MICHEL* et Alfred HERO, «Arbres de régression modélisation non paramétrique et

13 Arbres de régression : exemple Quand utiliser des arbres de régression La régression classique ne marche pas L interprétabilité du modèle est importante Le problème se prête bien à une division selon les axes Tiré de [AnneEmmanuelle BADEL*, Olivier MICHEL* et Alfred HERO, «Arbres de régression modélisation non paramétrique et analyse des séries temporelles», 1996] AgroParisTech 1A MI9 Arbres de décision and Co. 49 AgroParisTech 1A MI9 Arbres de décision and Co. 50

Decision Tree Learning

0. Decision Tree Learning Based on Machine Learning, T. Mitchell, McGRAW Hill, 1997, ch. 3 Acknowledgement: The present slides are an adaptation of slides drawn by T. Mitchell PLAN 1. Concept learning: