LES MODELES A VARIABLES LATENTES

Transcription

1 LES MODELES A VARIABLES LATENTES Les modèles à variables latentes (ou facteurs) postulent l existence de variables inobservables directement telles l intelligence, l engagement religieux, etc. mais dont on peut mesurer ou observer les effets, comme la fréquentation des lieux de culte, la réussite à certains tests G.Saporta, CNAM,

2 Si chaque variable manifeste est causée par une ou plusieurs variables latentes, les covariations entre variables manifestes s'expliquent par la relation de chacune avec les variables latentes Hypothèse fondamentale: les variables manifestes sont indépendantes conditionnellement aux variables latentes G.Saporta, CNAM,

3 Variables latentes Variables observées qualitatives quantitatives qualitatives Analyse des classes latentes Analyse des traits latents quantitatives Analyse des profils latents Analyse factorielle Traits latents : en psychométrie Item Response Theory cas particulier : modèles de Rasch Profils latents : modèles de mélange particuliers G.Saporta, CNAM,

4 Bibliographie Bartholomew, et D.J.& Knott, M. Latent Variable Models and Factor Analysis, 2 nd edition, Arnold, Everitt, B.S., An Introduction to Latent Variable Models, Chapman & Hall, London, Hagenaars J.A., McCutcheon A.L. (eds.), Applied latent class analysis, Cambridge University Press, Lazarsfeld, P.F. et Henri, N.W., Latent Structure Analysis, Houghton Mifflin, Boston, McCutcheon, A.L, Latent Class Analysis, (Sage University Paper Series on Quantitative Applications in the Social Sciences n 64), SAGE publications, G.Saporta, CNAM,

5 Logiciels et sites Web: logiciel gratuit " lvmfa2 " (cf.bartholomew & Knott) : logiciel gratuit LEM par J.K.Vermunt de l'université de Tilburg logiciel " Latent Gold " distribué par Statistical Innovations: gold_v4.html " Latent Class Analysis Website ", par John Uebersax : sax/ G.Saporta, CNAM,

6 A. L analyse factorielle «Factor analysis» ou analyse en facteurs communs et spécifiques Charles Spearman (1901) : modèle unifactoriel x = λ f + u i = 1,... p i i i f facteur commun, u i facteur spécifique, λ i saturation ou «factor loading» G.Saporta, CNAM,

7 Exemple Corrélation entre résultats scolaires Classics, english, french x = f + u R = x = f + u x = f + u G.Saporta, CNAM,

8 Thurstone: modèle plurifactoriel, k facteurs i i j j i j= 1 Modèle de régression multiple multilinéaire sur variables inobservables Hypothèses : x i centrés (réduits) k x = λ f + u i = 1,... p f j centrés réduits indépendants entre eux u i centrés indépendants entre eux V(u i )=ψ i u i indépendants des f j G.Saporta, CNAM,

9 Formulation matricielle x = Λf + u Décomposition de la variance V( x ) k i = i = ij + i = hi + i j= 1 σ λ ψ ψ Communauté + spécificité ' Σ = ΛΛ + Ψ G.Saporta, CNAM,

10 Indépendance conditionnelle Matrice de variance des manifestes et des facteurs Σ Λ' Λ I Σ Σ Σ Σ ( ) 1 Σ = Σ Σ Σ Σ 11/ Σx/f = Σ ΛΛ' = Ψ Matrice diagonale: l AF explique les corrélations G.Saporta, CNAM,

11 Indétermination des facteurs Modèle surparamétré Invariance par transformation orthogonale x = Λf + u= ΛGG'f + u ' ' Σ = ΛΛ + Ψ = ΛGG'Λ + Ψ Contrainte mathématique: -1 Λ'Ψ Λ diagonale G.Saporta, CNAM,

12 Degré de liberté Nombre d équations p(p+1)/2 Nombre de contraintes k(k-1)/2 Nombre d inconnues pk+p S=0 solution unique mais.. S<0 indétermination ' Σ = ΛΛ + Ψ -1 Λ'Ψ Λ λij et ψ i p( p+ 1) k( k 1) 1 2 s = + pk ( + 1) = p k p+ k ( ) ( ) S>0 plus d équations que d inconnues: le cas utile! Représentation parcimonieuse G.Saporta, CNAM,

13 S=0 solution artificielle, Ψ i peut être négatif Cas exacts: P=3 k=1 P=6 k=3 P=10 k=6 P=15 k=10 P=21 k=15 G.Saporta, CNAM,

14 Estimation Méthode des facteurs principaux 1ère estimation des 2 2 par R x; x1,.., x 1, x + 1,.. R x; f1,.., f D où estimation de Ψ Diagonalisation de R- Ψ Matrice de corrélation «réduite» Rééstimation de Ψ etc. h = 1 ψ = λ 2 2 i i ij j ( ) ( ) i i i i k R-Ψ ΛΛ' G.Saporta, CNAM,

15 Estimation (2) Maximum de vraisemblance -2ln(L)~χ 2 s G.Saporta, CNAM,

16 Rotation des facteurs Indétermination: GG =I Δ=ΛG Recherche de «structures simples» Chaque variable corrélée avec peu de facteurs Chaque facteur avec peu de variables Rotation «varimax» Maximise la somme des variances des carrés des saturations intra-colonnes, normalisée par la communauté p i= 1 V j h δ 2 ij 2 i G.Saporta, CNAM,

17 Nombreuses autres méthodes Orthogonales: quartimax, orthomax, parsimax Obliques: biquartimin, oblimin, quartimin fournit des facteurs corrélés après rotation. «Oblique rotations often produce more useful patterns than do orthogonal rotations. However, a consequence of correlated factors is that there is no single unambiguous measure of the importance of a factor in explaining a variable» G.Saporta, CNAM,

18 Estimation des scores x=λf +u f coefficients d un modèle linéaire! Scores de Bartlett Moindres carrés généralisés -1 ˆ -1-1 f= Λ'Ψ Λ Λ'Ψ x ( ) Scores de Thompson (approche bayesienne) Loi conditionnelle de x/f: N p (Λf,ψ) Loi a priori de f: N k (0;I) Espérance de f a posteriori -1 ˆ -1-1 f= I+Λ'Ψ Λ Λ'Ψ x ( ) G.Saporta, CNAM,

19 proc factor data=bagnole method=principal nfactors=2 priors=smc preplot rotate=varimax reorder plot ; var CYL PUIS LON LAR POIDS VITESSE; run; G.Saporta, CNAM,

20 G.Saporta, CNAM,

21 G.Saporta, CNAM,

22 G.Saporta, CNAM,

23 B. Les classes latentes Lazarsfeld (1950): équivalent de l analyse factorielle dans le cas entièrement qualitatif : les p variables observées sont qualitatives (souvent dichotomiques) et on postule l existence d une variable latente également qualitative à k modalités (les classes latentes). G.Saporta, CNAM,

24 Une méthode de classification où les classes sont telles que les variables observées sont indépendantes dans chaque classe Un modèle particulier de mélange de distributions. G.Saporta, CNAM,

25 I. le modèle théorique dans le cas dichotomique p variables observées dichotomiques X 1, X 2,..,X p prenant des valeurs 0 ou 1 Y variable latente à k classes, p ij la probabilité que X i =1 pour un individu de la classe latente j. π j probabilité a priori d appartenir à la classe latente j G.Saporta, CNAM,

26 Hypothèse d indépendance conditionnelle: k f( x) = π p i(1 p ) j= 1 i= 1 p x j ij ij 1 x probabilité a posteriori qu un individu de vecteur x appartienne à la classe latente j p ( /x) xi 1 xi π j ij (1 ij) / (x) h j = p p f i= 1 i G.Saporta, CNAM,

27 II L estimation des paramètres maximum de vraisemblance avec EM: n k l = ln π p xih (1 p ) j ij ij h= 1 j= 1 i= 1 p 1 x ih G.Saporta, CNAM,

28 k j= i π j = 1 φ = l + λ π j k j= i n p n φ x 1 (x h / ) ih x g j ih = pij (1 pij ) / f(x h ) + λ = + λ π j f (x h ) h= i= h= φ = p ij n h= 1 π j g (x h / j) / f (x h ) pij g(x h / j) p = exp( ( xih ln( pij ) + (1 xih)ln(1 pij )) = p ij ij i= 1 p xih 1 x ih g(x h / j) = ( xih pij ) g(x h / j)/ pij (1 pij ) pij 1 pij G.Saporta, CNAM,

29 D où: ij n φ = ( π j / pij(1 p )) ij ( xih pij) g(x h / j)/ f(x h) p h= 1 en introduisant les probabilités a posteriori : h( j/x ) = π g(x / j)/ f(x ) h j h h en annulant les dérivées : n h= 1 h( j/x ) n h= 1 h = λπ j ( x p ) h(x / j)/ p (1 p ) = 0 ih ij h ij ij G.Saporta, CNAM,

30 πˆ ˆ = ( /x )/ n j ( /x )/ n j π n = n h j h h j h= 1 h hn= 1 h pˆ ( /x )/ ˆ ij = xhj nπ ih j h= 1 p ( /x) xi 1 xi π j ij (1 ij) / (x) h j = p p f i= 1 G.Saporta, CNAM,

31 III Ajustement et choix de modèles Le test du G 2 2 n(x) G = 2 n(x)ln( ) nfˆ(x) x nombre de paramètres à estimer: k 1 probabilités π j et kp probabilités conditionnelles p ij = k(p+1) 1 paramètres. G.Saporta, CNAM,

32 G 2 est à comparer à un khi-deux à ν=2 p k(p+1) + 1 degrés de liberté Tests d hypothèses emboîtées sur k En général si p est grand, les 2 p réponses possibles ont des effectifs insuffisants voire nuls: loi du khi-deux inappliquable. Simulations, ou bootstrap pour la loi de G 2 G.Saporta, CNAM,

33 Critères AIC d Akaïké, ou BIC de Schwartz : AIC= - 2ln(L) + 2(k(p+1) 1) BIC= - 2ln(L) + ln(n).(k(p+1) 1) vraisemblance pénalisée recherche de modèles parcimonieux, minimisant AIC ou BIC G.Saporta, CNAM,

34 IV Exemple (Bartholomew et Knott) enquête sur les Attitudes Sociales Britanniques faite en 1990, concernant 1077 répondants avec 10 questions binaires d opinions sur les attitudes sexuelles. Sur les 1024 possibilités de réponse, seules 147 ont été observées: G.Saporta, CNAM,

35 X1 Devrait-on rendre le divorce plus facile? X2 Est ce que vous soutenez les lois contre la discrimination sexuelle? X3 Opinion sur le sexe prénuptial : pas du tout opposé toujours opposé. X4 Opinion sur le sexe extra- marital X5 Opinion sur les relations sexuelles entre personnes de même sexe. X6 Doit-on permettre aux homosexuels d enseigner dans les écoles? X7 Doit-on permettre aux homosexuels d enseigner dans l enseignement supérieur? X8 Doit -on permettre aux homosexuels d occuper des fonctions officielles? X9 Un couple de lesbiennes devrait il avoir le droit d adopter des enfants? X10 Un couple d homosexuels mâles devrait il avoir le droit d adopter des enfants? G.Saporta, CNAM,

36 Nb. de classes AIC BIC ˆπ 1 = ˆπ 2 = ˆπ 3 = ˆπ 4 = G.Saporta, CNAM,

37 estimations des probabilités de donner la réponse oui(1) à chacune des 10 questions, conditionnellement aux classes latentes. classe 1 classe 2 classe 3 classe 4 X X X X X X X X X X la classe 1 est non-permissive, la classe 2 (de très faible effectif) se distingue par une grande permissivité pour l adoption par des homosexuels mais est très négative sur les items 6, 7 et 8. La classe 3 est permissive sur tout sauf l adoption, la classe 4 est permissive à peu près sur tous les items. G.Saporta, CNAM,

38 OBS.FREQ. E(FREQ) LAT. CLASS RESPONSE VECTOR G.Saporta, CNAM,

39 Comparaison avec une classification classique G.Saporta, CNAM,

40 Comparaison avec une classification classique ACM, classification hiérarchique (Ward), coupure en 4 classes et nuées dynamiques CLASSE HIER. 1 CLASSE HIER. 2 CLASSE HIER. 3 CLASSE HIER. 4 ENSEMBLE CLASSE LAT CLASSE LAT CLASSE LAT CLASSE LAT ENSEMBLE G.Saporta, CNAM,

41 C. Traits latents Latent trait models, item response theory Recherche de variables latentes continues conditionnellement à un vecteur y de q variables latentes, les p variables manifestes (en général dichotomiques) sont des Bernoulli indépendantes. π i (y) Px ( i = 1) = π i(y) ln( ) = α (y) i ij j π i j= 1 q α y G.Saporta, CNAM,

42 modèle logit-probit si la distribution a priori de y est multinormale centrée réduite Le modèle de Rasch est celui où q=1 (une seule variable latente) avec des pentes α ij toutes égales. Les α ij s interpretent comme des scores pour les catégories des variables manifestes. Bartholomew a montré que les scores obtenus par l ACM sont une approximation au premier ordre des α ij. Voir Aitkin et al. (RSA 1987,3,53-82) G.Saporta, CNAM,

43 Sortie partielle du modèle à deux facteurs POSTERIOR ANALYSIS: OBS EXPECT E(Z1/X) SD1 E(Z2/X) SD2 +RESP RESPONSE PATTERN G.Saporta, CNAM,

44 ACM HISTOGRAMME DES 10 PREMIERES VALEURS PROPRES NUMERO VALEUR POURCENT. POURCENT. PROPRE CUMULE ******************************************************************************** ********************************** ************************** ************************ ********************* ******************* *************** ********* ******* **** G.Saporta, CNAM,

45 Corrélation de entre E(Z1/X) et le premier facteur de l ACM. 1.5 FACTEUR E(Z1/X) G.Saporta, CNAM,

46 Conclusion Peu enseignés en France, les modèles à variables latentes méritent une attention particulière et peuvent être des compléments à des analyses plus classiques. Optique exploratoire ou confirmatoire. Les résultats d ACM ou de classification peuvent servir d initialisation aux modèles à variables latentes, Mêmes critiques que celles adressées à l analyse factorielle vis à vis des méthodes de type ACP : problèmes d identification, d existence des variables latentes, de convergence des algorithmes... G.Saporta, CNAM,