(Generalized) Polynomial Chaos representation

Transcription

1 (Generalized) Polynomial Chaos representation Didier Lucor Laboratoire de Modélisation en Mécanique UPMC Paris VI

2 Outline Context & Motivation Polynomial Chaos and generalized Polynomial Chaos Expansions Limitations & Difficulties of the method Possible applications

3 Interaction of model and data Roger Ghanem (University of Southern California, USA)

4 Interaction of model and data Roger Ghanem (University of Southern California, USA)

5 Interaction of model and data Roger Ghanem (University of Southern California, USA)

6 Interaction of model and data Roger Ghanem (University of Southern California, USA)

7 Interaction of model and data Roger Ghanem (University of Southern California, USA)

8 Uncertainty Quantification (UQ) Modeling errors/uncertainties, numerical errors and data errors/uncertainties can interact. This brings the need for uncertainty quantification. Need to access the impact of uncertain data on simulation outputs. In case of the lack of a reference solution, the validity of the model can be established only if uncertainty in numerical predictions due to uncertain input parameters can be quantified. Difficulty: instead of looking for the unique solution of a single deterministic problem, one is now interested in finding and parameterizing the space of all possible solutions spanned by the uncertain parameters.

9 Sources d incertitudes Ecoulement au bord incertain (processus stochastique) paramètres/constantes de simulation, conditions d'opération paramètres structure incertains coefficients de transport, propriétés physiques géométrie conditions aux bords, conditions initiales conditions aux limites incertaines lois de comportement, schéma numériques

10 Représentation des Processus Aléatoires Méthodes statistiques (non déterministes) Monte-Carlo: convergence en 1/ N, taux de convergence ne depends pas du nombre de variables aleatoires. Monte-Carlo et ses variantes: tirages descriptifs, hypercube, optimal Latin hypercube (Latin Hypercube Sampling, Quasi-Monte Carlo [QMC] method, Markov Chain Monte Carlo method [MCMC], importance sampling, correlated sampling, conditional sampling, Variance reduction technique, Response Surface Method [RSM]). Méthodes non-statistiques (directes) Développement en séries de Taylor ou méthode des perturbations (1 er ou 2 nd ordre). Méthode itérative ou séries de Neumann et méthode d intégrale pondérée. Méthode spectrale et méthode de développements orthogonaux: Polynômes de Chaos (PC-Chaos Homogène-Chaos Hermite, Generalized Polynomial Chaos [gpc]-chaos Askey), expansion de Karhunen Loève. Wiener, The homogeneous chaos, Amer. J. Math., 60 (1938). Ghanem & Spanos, Stochastic Finite Elements: a Spectral Approach, Springer-Verlag, (1991). Loève, Probability Theory, Fourth edition, Springer-Verlag, (1977).

11 Modélisation spectrale de l incertitude Concept: Approche probabiliste qui considère que l incertitude génère de nouvelles dimensions et que la solution dépend de ces dimensions. Représentation de la solution sous forme d expansion convergente construite grâce à une projection sur une base spectrale; les coefficients sont calculés par le biais de projections. Avantages: Mesure efficace de la sensibilité de la solution aux paramètres d'entrée incertains Obtention d une forme explicite de la solution + moments + PDF Applications: Mécanique des structures élastiques stochastiques, écoulement en milieu poreux, équations de Navier-Stokes, problèmes thermiques, combustion et fluides réactifs, séismologie, micro-fluides et électrochimie.

12 Polynômes de Chaos (Wiener 1938) Soit l espace probabilisé: (Ω, A, P) Event space asure. σ-algebra of Ω Probability measure polyno X(ω) he eve X : Ω V peut s exprimer en fonction de Theoreme de Cameron & Martin (1947): PC-homogène converge pour toute fonctionnelle de L2 E X 2 = E(X, X) < EY = Y (ω)dp (ω). ω Ω Processus stochastique du second ordre si: nd-order sto rametri X(ω) = a 0 Φ i 1 =1 i 1 =1 +, {ξ j (ω)} N j=1 i 1 i 2 =1 i 1 i 2 =1 Y L 1 (Ω, R) i 1 =1 avec a i1 Φ 1 (ξ i1 (ω)) a i1 i 2 Φ 2 (ξ i1 (ω), ξ i2 (ω)) i 2 i 3 =1 ω Ω: et chas- N a i1 i 2 i 3 Φ 3 (ξ i1 (ω), ξ i2 (ω), ξ i3 (ω)) tic N,

13 Polynômes de Chaos (continued) X(ω) = a k Φ k (ξ(ω)) k=0 Spectral expansion on orthogonal (in the mean sense <Φi,Φj >=0 if i j) Hermite polynomial basis Φk. ξ is here a random array of independent Gaussian random variables of the random event ω. Once computed, the knowledge of the coefficients ak fully determines the random process X(ω). This concept can be generalized to other non-normal measures.

14 Polynômes de Chaos (truncated form) M X(x, t, ξ) = X(x, t, ξ 1, ξ 2,... ξ N ) X j (x, t)φ j (ξ) j=0 (M + 1) = (N + P )!/(N!P!) ν = {Φ j, j = 0,..., M} is the set of vectors spanning the process and the orthogonal basis Φj is a set of polynomials with degree at most equal to P. The orthogonality relation gives: < Φ i (ξ), Φ j (ξ) >= with the inner product f(ξ)g(ξ) = defined as: Φ i (ξ)φ j (ξ)dξ = 0 if i j ω Ω f(ξ)g(ξ)dp (ω) = f(ξ)g(ξ)w(ξ)dξ

15 N Example of multi-dimensional homogeneous PC expansion ond-order stochases {ξ j (ω)} N j=1, N here N =2 Here {Φ j (ξ(ω))} are orthog ξ := {ξ j (ω)} N j=1, = satisfying {ξ 1, ξ 2 } The weight function is: w(ξ 1, ξ 2 ) = 1 2 2π exp ξ 1 /2 exp ξ2 2 /2 Zero & 1 st order Hermite polynomials (2.1) Ψ ean random vector ξ ξ Ψ 1-3 where δ ij is the Kronecker d Ψ of random variables N N ξ ξ ξ however, we need to ξ 2 retain N <, and a finite-term t 2 nd order Hermite polynomials 8 (2.2) ξ rage. The number 3-3 (2.1). In practice, Ψ ξ Ψ 4-3 The inner product in (2 Ψ the random variables ξ ξ ξ ξ 2 f(ξ)g(ξ) =

16 Example of multi-dimensional homogeneous PC expansion 3 rd order Hermite polynomials Ψ Ψ ξ ξ ξ ξ 2 Ψ 8 Ψ ξ ξ ξ ξ 2

17 Hermite-Chaos Expansion of Beta Distribution Uniform distribution : Exact PDF and PDF of 1 st, 3 rd, 5 th -order Hermite-Chaos Expansions

18 Hermite-Chaos Expansion of Gamma Distribution : exponential distribution PDF of exponential distribution and 1 st, 3 rd and 5 th -order Hermite-Chaos

19 Exponential Input: Laguerre (optimal) vs. Hermite Convergence w.r.t. number of expansion terms

20 Polynômes de Chaos (Généralisés) Représentation spectrale d un processus stochastique du second ordre: X(ω) = k=0 a k Φ k (ξ(ω)) { } ξ := {ξ j (ω)} N j=1 n est pas limité à une distribution gaussienne! Φ i Φ j = Φ 2 i δ ij produit interne: f(ξ)g(ξ) = ω Ω f(ξ)g(ξ)dp (ω) = f(ξ)g(ξ)w(ξ)dξ f(ξ)g(ξ) = ξ f(ξ)g(ξ)w(ξ)

21 Polynômes de Chaos (Généralisés) Coefficients spectraux déterministes à calculer et qui déterminent complètement le processus X(ω) = k=0 a k Φ k (ξ(ω)) { } ξ := {ξ j (ω)} N j=1 n est pas limité à une distribution gaussienne! Φ i Φ j = Φ 2 i δ ij produit interne: f(ξ)g(ξ) = ω Ω f(ξ)g(ξ)dp (ω) = f(ξ)g(ξ)w(ξ)dξ f(ξ)g(ξ) = ξ f(ξ)g(ξ)w(ξ)

22 Polynômes de Chaos (Généralisés) { } ξ := {ξ j (ω)} N j=1 X(ω) = k=0 a k Φ k (ξ(ω)) Fonctions orthogonales (trigonométriques, wavelets,... polynômes) n est pas limité à une distribution gaussienne! Φ i Φ j = Φ 2 i δ ij produit interne: f(ξ)g(ξ) = ω Ω f(ξ)g(ξ)dp (ω) = f(ξ)g(ξ)w(ξ)dξ f(ξ)g(ξ) = ξ f(ξ)g(ξ)w(ξ)

23 Polynômes de Chaos (Généralisés) Variables aléatoires indépendantes (distribution statistiques prescrites) { } ξ := {ξ j (ω)} N j=1 X(ω) = a k Φ k (ξ(ω)) k=0 n est pas limité à une distribution gaussienne! Φ i Φ j = Φ 2 i δ ij produit interne: f(ξ)g(ξ) = ω Ω f(ξ)g(ξ)dp (ω) = f(ξ)g(ξ)w(ξ)dξ f(ξ)g(ξ) = ξ f(ξ)g(ξ)w(ξ)

24 Polynômes de Chaos (Généralisés) X(ω) = k=0 a k Φ k (ξ(ω)) { } ξ := {ξ j (ω)} N j=1 n est pas limité à une distribution gaussienne! produit interne: f(ξ)g(ξ) = f(ξ)g(ξ)dp (ω) = ω Ω Etroite correspondance entre la fonction de poids du polynôme choisi et la densité de probabilité de l incertitude f(ξ)g(ξ)w(ξ)dξ f(ξ)g(ξ) = ξ f(ξ)g(ξ)w(ξ)

25 Hypergeometric Orthogonal Polynomials Generalized hypergeometric series: Pochhammer symbol: Infinite series converge under certain conditions: Examples: 0 F 0 is exponential series; 1 F 0 is binomial series. If one of the a i s is a negative integer (-n), the series terminate at n th- term and become hypergeometric orthogonal polynomials: Limit relations: e.g.

26 The Askey scheme of Hypergeometric Polynomials Askey-scheme

27 Hypergeometric Orthogonal Polynomials Orthogonal polynomials Three-term recurrence: Favard s inverse theorem Orthogonality: Weighting functions and PDFs: Continuous: Discrete:

28 Orthogonal Polynomials and Probability Distributions Continuous Cases: Hermite Polynomials Laguerre Polynomials Jacobi Polynomials Legendre Polynomials Gaussian Distribution Gamma Distribution (special case: exponential distribution) Beta Distribution Uniform Distribution Gaussian distribution Gamma distribution Beta distribution

29 Orthogonal Polynomials and Probability Distributions Discrete Cases : Charlier Polynomials Krawtchouk Polynomials Hahn Polynomials Meixner Polynomials Poisson Distribution Binomial Distribution Hypergeometric Distribution Pascal Distribution Poisson distribution Binomial distribution Hypergeometric distribution

30 Polynômes de Chaos (Résumé) X(x, t, ξ) = X(x, t, ξ 1, ξ 2,... ξ N ) M X j (x, t)φ j (ξ) j=0 (M + 1) = (N + P )!/(N!P!) avec ξ = (ξ 1,, ξ N ) T n est pas limité à une distribution gaussienne! all 1. N : dimension de l espace probabiliste de : ordre le plus élevé du polynôme P Exemple: (ξ( Moyenne: Variance: : distribution gaussienne Φ j : Polynômes d Hermite N=2; P=2 X(ω) =< X(ω) >= a 0 var(x(ω)) =< ( X(ω) X(ω) ) 2 >= P Φ 0 (ξ) = 1.0 Φ 1 (ξ) = ξ 1 Φ 2 (ξ) = ξ 2 Φ 3 (ξ) = ξ1 2 1 Φ 4 (ξ) = ξ Φ 5 (ξ) = ξ 1 ξ 2 j=1 a 2 j < Φ 2 j >

31 Technique d utilisation du PC pour la résolution d équation différentielle stochastique Approche INTRUSIVE (method of weighted residuals) L(x, t, ω; u) = f(x, t; ω), x D(Λ), t (0, T ), ω Ω, a differential operator, (Λ) R ( = 1 2 3) a bounded 1/ Discrétiser le processus aléatoire à l aide de variables Express the rand aléatoires (indépendantes). ξ(ω) = {ξ 1 (ω),, ξ N (ω)} L(x, t, ξ; u(x, t; ξ)) = f(x, t; ξ) when the random inputs already 2/ Ecrire la solution et les paramètres d entrée incertains sous forme de sommes finies de PC et substituer dans l équation. L ( ( x, t, ξ(ω); M i=0 u i Φ i (ξ(ω) ) ) = f(x, t; ξ(ω)) alerkin projection onto each of the polynomial b ) ( ) M L x, t, ξ; u i Φ i (ξ), Φ k (ξ) = f, Φ k (ξ), k = 0, 1,, M 3/ Projeter (type Galerkin) sur la base des polynômes orthogonaux considérés. Obtention d un système linéaire. i=0 - les modes PC sont couplés de façon implicite - nécessite l adaptation du solver déterministe as

32 Technique d utilisation du PC pour la résolution d équation différentielle stochastique Approche NON-INTRUSIVE (collocation method) L(x, t, ω; u) = f(x, t; ω), x D(Λ), t (0, T ), ω Ω, a differential operator, (Λ) R ( = 1 2 3) a bounded 1/ Discrétiser le processus aléatoire à l aide de variables Express the rand aléatoires (indépendantes). ξ(ω) = {ξ 1 (ω),, ξ N (ω)} L(x, t, ξ; u(x, t; ξ)) = f(x, t; ξ) when the random inputs already 2/ Obtenir les coefficients PC en projetant la solution sur la base polynomiale. as ( k {0,..., P }) J = < J(ω) Φ k(ξ(ω)) > u k < Φ 2 k (ξ(ω)) >. Finalement on a: u = ; M i=0 u u i Φ i (ξ(ω) on onto each of - revient au calcul de nombreuses quadratures numériques - risque d aliasing - simplicité d utilisation ne nécessite pas l adaptation du solver déterministe (boite noire)

33 Example: 1 st order linear ODE dy dt (t, ω) = k(ω)y, y(0) = ŷ, t (0, T ) y(t, ω) = ŷe k(ω)t Galerkin projection: y(t, ω) = dy l dt = 1 < Φ 2 l > M i=0 M i=0 M j=0 y i (t)φ i (ξ(ω)), k(ω) = k = k + σ k ξ 2 M i=0 k i Φ i (ξ(ω)). < Φ i Φ j Φ l > k i y j for l = 0, 1,..., M &"# f(k; α, β) = (1 k) α (1 + k) β 2 α+β+1, 1 < k < 1, α, β > 1 B(α + 1, β + 1)!"( &! '&!") &! '* Solution! Error &! '$ '!") '!"( y 0 (mean) y 1 y 2 y 3 y 4 Deterministic!!"#$!"$!"%$ & Time &! '% &! '+ Mean (!=0, "=0) Variance (!=0, "=0) Mean (!=1, "=3) Variance (!=1, "=3) &! '&&! & # * ) $ P

34 Avantages des méthodes gpc Méthode efficace qui fournit une estimation quantitative de la sensibilité de la solution aux incertitudes des parametres d entrée Convergence spectrale et représentation optimale (compacité et précision) de l incertitude grâce à un choix de polynômes appropriés. Possibilité de représentation non-intrusive par projection de la solution sur la base du chaos polynomial. Non limitée aux distributions gaussiennes d incertitude ou à des incertitudes faibles. Tous les moments + pdf de la solution sont disponibles. Coût de calcul en général très inférieur aux méthodes de type Monte-Carlo (distribution gaussienne: 1 à 2 ordres de grandeur, distribution uniforme: 3 à 4 ordres de grandeur).

35 Difficulty of the method dy (t, ω) = k(ω)y, y(0) = ŷ, t (0, T ) dt y(t, ω) = ŷe k(ω)t f(k; α, β) = y(t, ω) = M i=0 y i (t)φ i (ξ(ω)), k(ω) = k = k + σ k ξ 2 M i=0 (1 k) α (1 + k) β 2 α+β+1, 1 < k < 1, α, β > 1 B(α + 1, β + 1) k i Φ i (ξ(ω)). &"# &! '&!"(!") &! '* Solution! Error &! '$ '!") '!"( y 0 (mean) y 1 y 2 y 3 y 4 Deterministic!!"#$!"$!"%$ & Time &! '% &! '+ Mean (!=0, "=0) Variance (!=0, "=0) Mean (!=1, "=3) Variance (!=1, "=3) &! '&&! & # * ) $ P

36 Effect of GPC variable order P on the convergence rate in time k is a random variable with zero mean and constant variance and a certain probability distribution f(k) : Uniform distribution (Legendre) Mean solution: Variance solution:

37 Difficulty of the method distributions. T ɛ P = (y(t) llowing results y P (t)) 2 / y 2 (t) have been obtai ɛ P Gaussian/Hermite +1) (σt)2(p e (σt)2 1 [ (P + 1)! [ ( )] 1 (1 (σt)2 P + 1 exponential random variable with zero mean an *! )! (! '! &! !7829:;<=>9?5?,@2A+B@:,6@C4,@9? D56E@,5!7829:;F24::@2?+B@:,6@C4,@9? 1535?B65!7829:;G?@H96E+B@:,6@C4,@9? "/"0!+!+"!!( Exponential/Laguerre -." %! ɛ P = ( σt ) 2P 1 + σt $! #! "!!! " # $ % & ' ( ) * "!!+,

38 Problems and possible remedies... Spectral estimation of non-linear terms when no closed-forms are available use pseudo-spectral approximation. Low convergence for non-gaussian process: use the appropriate measure with Generalized PC. Convergence failure for discontinuous or non-smooth processes (stochastic bifurcation) develop adapted (non-smooth or local) bases: multi-wavelets or multi-elements gpc. CPU cost for large scale problems design new solvers, use different types of (sparse) numerical quadratures, sparse tensor products. Challenge: development of bases and techniques to improve convergence and robustness of spectral expansions for processes with steep/discontinuous dependences to uncertain parameters or processes depending on a large number of random variables.

39 Possible applications so far... Solid mechanics (Ghanem & Spanos ). Flow through porous media (Ghanem & Dham 1998, Zhang & Lu 2004). Heat diffusion in stochastic media (Hien & Kleiber , Xiu & Karniadakis 2003). Incompressible flows (Le Maître et al, Karniadakis et al, Hou et al). Fluid-Structure interaction (Karniadakis et al). Micro-fluid systems (Debusschere et al 2001). Reacting flows & combustion (Reagan et al 2001). 0-Mach flows & thermo-fluid problems (Le Maître et al 2003).