Un résultat de consistance pour des SVM fonctionnels par interpolation spline. A consistency result for functional SVM by spline interpolation

Transcription

1 Un résultat e consistance pour es SVM fonctionnels par interpolation spline A consistency result for functional SVM by spline interpolation Natalie Villa a Fabrice Rossi b a Équipe GRIMM, Université Toulouse Le Mirail, 5 allées Antonio Macao, Toulouse ceex 9, France. b Projet AxIS, INRIA-Rocquencourt, Domaine e Voluceau, Rocquencourt, BP 105, Le Cesnay ceex, France. Abstract Tis note proposes a new metoology for function classification wit Support Vector Macine (SVM). Rater tan relying on projection on a truncate Hilbert basis as in our previous work, we use an implicit spline interpolation tat allows us to compute SVM on te erivatives of te stuie functions. To tat en, we propose a kernel efine irectly on te iscretizations of te observe functions. We sow tat tis meto is universally consistent. Résumé Nous proposons ans cette note une nouvelle métoe e iscrimination e onnées fonctionnelles par Support Vector Macine (SVM). Dans nos travaux antérieurs, nous nous appuyions sur une projection sur une base ilbertienne tronquée ; nous proposons ici utiliser une interpolation spline implicite, afin e pouvoir construire un SVM sur les érivées es fonctions initiales. Pour cela, nous construisons un noyau qui s applique irectement sur les iscrétisations es observations. Nous montrons la consistance universelle une telle approce. Abrige Englis version We empasize in [6] te interest of using classical SVM [9] on te erivatives of te original functions for some kin of ata sets (near infra-re spectrometric curves for example). We propose ere a practical an consistent metoology for using SVM for binary classifications wen te regressor is a smoot function. Let (X, Y ) be a pair of ranom variables were X takes its values in te Sobolev space H m ([0, 1]) = { L 2 ([0, 1]) : j = 1,..., m, D j exists (in a weak sense) an D j L 2 ([0, 1]) } an Y { 1, 1}. aresses: villa@univ-tlse2.fr (Natalie Villa), Fabrice.Rossi@inria.fr (Fabrice Rossi). Preprint submitte to Elsevier Science 14t April 2006

2 We are given n observations of tis ranom pair, (x 1, y 1 ),..., (x n, y n ); furtermore, te x i (i = 1,..., n) are not completly known as we are only given a iscretization of tem: x i = (x i (t 1 ),..., x i (t )) T. Te main point of tis note is to represent te observations of X by a L-spline interpolation for wic te erivatives are implicitly calculate troug te iscretization. Tis L-spline interpolation minimizes a penalty efine by a ifferential operator L = D m + m 1 j=0 a jd j. Tis operator allows us to ecompose te space H m as H m = H 0 H 1 were H 0 = KerL is a m-imensional Hilbert space an H 1 is a reproucing kernel Hilbert space (RKHS) wit kernel K. H 1 is efine by m bounary conitions (for all H 1 an all j = 1,..., m, B j = 0) an te inner prouct: for all u, v H 1, u, v 1 = [0,1] Lu(t)Lv(t)t (see [2] or [1] for furter informations about RKHS). On te space H 1, te L-spline representation of a iscretization is given by te following teorem: Teorem 1 ([2]) Let x H 1 be a function known at t 1,..., t. We assume tat te matrix K = (K(t i, t j )) i,j is positive efinite. Ten, tere exists a unique interpolation function H 1 at t 1,..., t, suc tat 1 u 1 for any interpolation function u H 1. is given by: = c i K(t i,.), were c = K 1 x an x = (x(t 1),..., x(t )) T. Moreover, if 1 an 2 are te respective interpolation functions of x 1 an x 2 H 1 efine as above ten 1, 2 1 = x T 1 K 1 x 2 = x 1, x 2 (R,K 1 ) were (R, K 1 ) is R wit te inner prouct inuce by te matrix K 1. Let ten, for all i = 1,..., n, i be te L-spline interpolating te observation x i at t 1,..., t. Provie tat K = (K(t i, t j )) i,j=1,..., is positive efinite, we can construct a SVM on ( i ),...,n troug te iscretizations (x i ),...,n : Teorem 2 Let G γ be te gaussian kernel wit parameter γ on R an G γ te gaussian kernel wit parameter γ on L 2 ([0, 1]) (G γ (u, v) = e γ u v 2 R or L 2 ). Ten, a SVM on te erivatives of 1,..., n (enote φ n, ) efine by max i i j G γ (L i, L j ) i,j=1 wit i y i = 0, 0 i C, 1 i n, is equivalent to a SVM on te iscretizations x 1,..., x n (enote φ n, x ) : max i i j G γ K 1/2 (x i, x j ) i,j=1 wit i y i = 0, 0 i C, 1 i n. Finally, we obtain a consistency result for tis moel: Teorem 3 Uner te assumptions (A1) X is a boune ranom variable taking its values in H 1, (A2) (τ ) is a sequence of iscretization points in [0, 1] suc tat, for all 1, τ = {t k } k=1,...,, te matrix K is efinite positive an Span{K(t,.), t 1 τ } is ense in H 1, (A3) (C n) n is a regularization sequence suc tat C n = O(n 1 β ) for a 0 < β < 1/, 2

3 Te sequence of SVM classifiers φ n, wit te regularization sequence (Cn ) n is universally consistant in R, tat is: lim lim = L n + + Lφn, were L is te Bayes error, inf φ:h1 { 1,1} P(φ(X) Y ), an Lφ is te error of a classifier φ, P(φ(X) Y ). 1. Introuction Nous nous intéressons ici à l utilisation es SVM pour le traitement e onnées fonctionnelles. De manière plus précise, il s agit e résoure es problèmes e iscrimination binaire pour lesquels la variable explicative est fonctionnelle. Nous montrons ans [6] l intérêt pratique, pour certains types e onnées, utiliser es SVM (Support Vector Macine, voir [9]) sur les érivées es fonctions initiales ; nous proposons, ans cette note, une métoologie permettant e mettre en œuvre un tel traitement et émontrons un résultat e consistance universel associé à celle-ci. Pour cela, nous étuions un couple e variables aléatoires (X, Y ) où X est supposée «régulière» et pren ses valeurs ans l espace e Sobolev H m ([0, 1]) = { L 2 ([0, 1]) : j = 1,..., m, D j existe (au sens faible) et D j L 2 ([0, 1]) } et Y { 1, 1}. Ce couple est connu grâce à n observations, (x 1, y 1 ),..., (x n, y n ) ; en fait, les x i (i = 1,..., n) ne sont pas connues e manière exacte mais simplement au travers une iscrétisation x i = (x i (t 1 ),..., x i (t )) T (les points e iscrétisation sont les mêmes pour tous les x i et sont éterministes). Le problème est alors e construire, à partir e ces onnées, un classifieur capable e préire Y connaissant X. En tirant partie e la structure espace e Hilbert à noyau reprouisant (RKHS) e H m ([0, 1]), les observations e X seront représentées par une interpolation spline sur laquelle les érivées s expriment e manière naturelle en fonction e la iscrétisation. 2. Interpolation L-Spline On coisit e représenter les observations e H m ([0, 1]) à travers une interpolation L-spline : celle-ci interpole exactement la fonction aux points e iscrétisation tout en minimisant une pénalité éfinie à partir un opérateur ifférentiel L = D m + m 1 j=0 a jd j. On peut montrer que, si le noyau e cet opérateur, KerL = H 0 est un sous-espace e imension m e H m, on peut écrire H m = H 0 H 1 où H 1 est un sous-espace vectoriel e H m éfini par m conitions aux bornes, H 1 et j = 1,..., m, B j = 0, et muni u prouit scalaire u, v H 1, u, v 1 = Lu, Lv L 2 = Lu(t)Lv(t) t (voir, par [0,1] exemple, [2] ou [1]). H 0 et H 1 sont eux espaces e Hilbert à noyau reprouisant et on note K le noyau reprouisant e H 1 ; on onne, ans [10], es exemples e écompositions e H m et on explique, sur ces exemples, comment calculer K. Cette écomposition permet e éfinir simplement le prouit scalaire entre les représentations es fonctions à partir es iscrétisations initiales : Téorème 2.1 ([2]) Soit x H 1 une fonction connue aux points e iscrétisation t 1,..., t. Supposons, en outre, que la matrice K = (K(t i, t j )) i,j soit éfinie positive. Alors, il existe une unique fonction interpolation H 1 aux points t 1,..., t telle que 1 u 1 pour toute fonction interpolation u H 1. est onnée par : = c i K(t i,.) 3

4 où c = K 1 x avec x = (x(t 1),..., x(t )) T. De plus, si 1 et 2 sont les eux fonctions interpolation e x 1 et x 2 H 1 comme éfinies ci-essus, alors 1, 2 1 = x T 1 K 1 x 2 = x 1, x 2 (R,K 1 ) (1) où (R, K 1 ) est l espace R muni u prouit scalaire inuit par la matrice K 1. La fonction interpolation spline est onc simplement = P Vect{K(tk,.), k=1,...,}(x), où P V est l opérateur e projection ortogonale sur V, ce qui rapproce la métoologie proposée ici e celle éveloppée ans [6] et inspirée es travaux e [3]. Ceci permet e éterminer la perte information inuite par l interpolation, notamment en terme e perturbation e l erreur e Bayes, comme le montre le résultat suivant : Lemme 2.2 Soient (H1) X une variable aléatoire à valeurs ans H 1 ; (H2) (τ ) 1 une suite e points e iscrétisation e [0, 1] telle que 1, τ = {t k } k=1,...,, la matrice K = (K(t i, t j )) i,j=1,..., est inversible et Vect {K(t,.), t 1 τ } est ense ans H 1. On note V = Vect {K(t,.), t τ } et P (x) = P V (x). On a alors lim + L = L (2) avec L = inf φ:v { 1,1} P(φ(P (X)) Y ) (erreur e Bayes e la représentation L-spline), et L est l erreur e Bayes onnée par : inf φ:h1 { 1,1} P(φ(X) Y ). Démonstration : Les Vect {K(t,.), t τ } ( 1) sont es ensembles emboîtés et, par ensité, x H 1, lim + P (x) = x. Par ailleurs, les σ-algèbres σ(p (X)) = σ(k 1 (X(t 1),..., X(t )) T ) forment clairement une filtration. Comme E( Y ) 1, E(Y P (X)) est une martingale uniformément intégrable pour cette filtration (cf [5] lemme 35 page 154), cette martingale converge en norme L 1 vers E(Y σ( σ(p (X)))) (cf téorème 36 page 154 e [5]), ont la valeur est E(Y X), par convergence e P (X) vers X. Nous concluons en utilisant l inégalité classique L L 2E E(Y P (X)) E(Y X) (cf e.g. [4], téorème 2.2). 3. SVM sur érivées Notons, i = 1,..., n, i la spline interpolation e l observation x i aux points e iscrétisation t 1,..., t éfinie comme ans le Téorème 2.1. Alors, si la matrice K = (K(t i, t j )) i,j=1,..., est inversible, on peut éfinir un SVM sur les érivées es L-splines interpolation par le téorème suivant : Téorème 3.1 Soit G γ le noyau gaussien e paramètre γ sur R et G γ le noyau gaussien e paramètre γ sur L 2 ([0, 1]) (G γ (u, v) = e γ u v 2 R ou L 2 ). Alors, le SVM sur les érivées es fonctions 1,..., n (noté φ n, ) éfini par max i i j G γ (L i, L j ) avec i,j=1 i y i = 0, 0 i C, 1 i n, est équivalent au SVM sur les iscrétisations x 1,..., x n (noté φ n, x ) : 4

5 max i avec i,j=1 i j G γ K 1/2 (x i, x j ) i y i = 0, 0 i C, 1 i n. Démonstration : Il suffit e constater, après (1), que i, j = 1,..., n, G γ (L i, L j ) = e γ Li Lj 2 L 2 = e γ xi xj 2 (R,K 1 ) = e γ K 1/2 x i K 1/2 x j 2 R. Or, [8] émontre la consistance universelle es SVM -imensionnels. Ainsi, à suite e iscrétisation fixée t 1,..., t, on peut émontrer la consistance universelle es SVM φ n, vers l erreur e Bayes e la représentation L-spline ; ainsi, à iscrétisation fixée, φ n, est asymptotiquement optimal : Lemme 3.2 Soit t 1,..., t es points e iscrétisation tels que K = (K(t i, t j )) i,j=1,..., est inversible. Supposons que (H3) (C n ) n est une suite e régularisation telle que C n = O(n1 β ) pour 0 < β < 1/ ; (H4) X est une variable aléatoire bornée ans H 1. Alors, le SVM φ n, éfini comme ans le Téorème 3.1 avec la suite e régularisation (Cn ) n est universellement consistant ans R : lim n + Lφn, = L (3) pour Lφ = P(φ(X) Y ). Démonstration : On note X = (X(t 1 ),..., X(t )) T. Par le Téorème 3.1, Lφ n, = Lφ n, x et, puisque K est inversible, inf φ:r { 1,1} P(φ(X) Y ) = inf φ:v { 1,1} P(φ(P (X)) Y ) = L. Or, après [8], les SVM ans R sont universellement consistants ; pour cela, on oit vérifier : 1. la variable aléatoire explicative pren ses valeurs ans un compact e R : comme X pren ses valeurs ans un borné e H 1, X pren ses valeurs ans un borné e R, c est-à-ire, un compact e R, noté U ; 2. le noyau utilisé oit être universel : Steinwart montre ans [7] que le noyau gaussien -imensionnel est universel. Il montre aussi que tout noyau obtenu en composant une fonction continue et injective avec un noyau universel est lui aussi universel. Or, K 1/2 est continue et injective, et onc le noyau G γ K 1/2 est universel : l ensemble es fonctions e la forme Φ K 1/2 (.), w X (w X ) est ense ans l ensemble es fonctions continues sur un compact e R (où X ésigne le RKHS associé au noyau G γ K 1/2 ) ; 3. on oit contrôler le nombre e couverture N (G γ K 1/2, ɛ), c est-à-ire le nombre minimal e boules e rayon ɛ (au sens e la métrique e R éfinie par le noyau G γ K 1/2 ) nécessaires pour recouvrir U le support compact e X. Or, on montre aisément que N (G γ K 1/2, ɛ) N (G γ, ɛ), puis on utilise [8] pour obtenir N (G γ, ɛ) = O n(ɛ ) et onc N (G γ K 1/2, ɛ) = O n (ɛ ) ; 4. la suite (C n ) n est bien e la forme requise (O(n 1 β ) avec 0 < β < 1/). On conclut onc, par le Téorème 2 e [8], que Lφ n, L. = Lφ n, x n + inf φ:r { 1,1} P(φ(X) Y ) = 5

6 4. Consistance L utilisation e noyaux éfinis comme ans le Téorème 3.1 sous les ypotèses formulées ans les lemmes 2.2 et 3.2 conuit à es SVM universellement consistants (ouble limite lorsque le nombre e points e iscrétisation ten vers l infini et le nombre observations ten vers l infini) : Téorème 4.1 Sous les ypotèses (H1)-(H4), le SVM éfini comme ans le Téorème 3.1, φ n, pour les points interpolation (τ ) 1 et la suite e régularisation (Cn) n est universellement consistant ans H 1 : lim lim = L. n + + Lφn, Démonstration : On écrit Lφ n, L = (Lφ n, L ) + (L L ). Soit alors ɛ > 0. Par le Lemme 2.2, il existe D 0 > 0 : D 0, L L ɛ. Soit alors D 0 ; par le Lemme 3.2, N 0 > 0 : n N 0, (Lφ n, L ) ɛ, ce qui conclut la preuve. Remarque 1 La iscrétisation es fonctions est en général inuite par le problème. Si τ est une iscrétisation onnée, on peut supposer, quitte à retirer quelques points, que la matrice (K(t, t )) t,t τ est inversible. Il existe alors une suite e points e iscrétisation telle que τ = τ 1 et qui vérifie l ypotèse (H2) : Proposition 4.2 Si τ est un ensemble fini e points e [0, 1] tels que (K(t, t )) t,t τ est inversible alors, il existe un ensemble énombrable D 0 = (t k ) k 1 [0, 1] tel que τ D 0 ; Vect {K(t,.), t D 0 } est ense ans H 1 ; pour tout 1, la matrice (K(t i, t j )) i,j=1,..., est inversible. Démonstration : Par le Téorème 15 e [1], l espace e Hilbert H 1 est séparable (comme ensemble e fonctions continues) ès que m 1. Or, (K(t, t )) t,t τ est inversible est équivalent au fait que {K(t,.), t τ} est une famille e fonctions linéairement inépenantes. Ainsi, par le Téorème 8 e [1], il existe un support énombrable e H contenant τ, c est-à-ire, un ensemble énombrable D 0 tel que τ D 0, les {K(t,.), t D 0 } sont linéairement inépenants et Vect {K(t,.), t D 0 } est ense ans H 1. Références [1] Berlinet A., Tomas-Agnan C., Reproucing kernel Hilbert spaces in probability an statistics, Kluwer Acaemic Publiser (2004). [2] Besse P., Ramsay J., Principal component analysis of sample curves, Psycometrica, 51 (1986) [3] Biau G., Bunea F., Wegkamp M., Functional classification in ilbert spaces, IEEE Transactions on Information Teory, 51 (2005) [4] Devroye L., Györfi L., Lugosi G., A probabilistic teory for pattern recognition, Springer-Verlag, New York (1996). [5] Pollar D., A User s Guie to Measure Teoretic Probability, Cambrige University Press, Cambrige (2002). [6] Rossi F., Villa N., Support vector macine for functional ata classification, Neurocomputing, 69(7-9) (2006) [7] Steinwart I., On te influence of te kernel on te consistency of support vector macines, Journal of Macine Learning Researc, 2 (2001) [8] Steinwart I., Support vector macines are universally consistent, Journal of Complexity, 18 (2002) [9] Vapnik V., Statistical Learning Teory, Wiley, New York (1998). [10] Villa N., Rossi F., SVM fonctionnels par interpolation spline, In proceeings of 38ièmes Journées e Statistique, Clamart, France, À paraître. 6