Bayesian inversion (I): Advanced topics Wojciech Dȩbski Instytut Geofizyki PAN debski@igf.edu.pl Wydział Fizyki UW, 13.10.2004
Wydział Fizyki UW Warszawa, 13.10.2004 (1) Plan of the talk I. INTRODUCTION forward/inverse problems inversion as a parameter estimation task direct/indirect measurements II. PROBABILISTIC APPROACH inversion as an inference process description of information - probability experimental, theoretical, and apriori information Building A posteriori pdf Bayesian rule - a posteriori probability Tarantola s (probabilistic) approach A posteriori pdf - examples II. GEOPHYSICAL EXAMPLES
Forward and inverse problems forward modelling Wydział Fizyki UW Warszawa, 13.10.2004 (2)
Forward and inverse problems inversion Wydział Fizyki UW Warszawa, 13.10.2004 (3)
Forward and inverse problems parameter estimation Wydział Fizyki UW Warszawa, 13.10.2004 (4)
Wydział Fizyki UW Warszawa, 13.10.2004 (5) Model and Data Parameters Physical System: Model parameters: p 1, p 2, p K Predicted (Observed) data: m = (m 1, m 2, m M ) d = (d 1, d 2, d N ) Forward modelling: d = f(m)
Wydział Fizyki UW Warszawa, 13.10.2004 (6) Linear Inverse Problem Algebraic approach d = G m Naive inversion: m est = G 1 d Algebraic method: G T d = G T G m G T G = G T G + λi m est = (G T G + λi) 1 d
Wydział Fizyki UW Warszawa, 13.10.2004 (7) Inverse Problem Optimization approach Searching the model space for the model which best fits the data Least squares method: (d obs f(m)) T (d obs f(m)) = min More generally: (d obs f(m)) D + m m apr M = min
Wydział Fizyki UW Warszawa, 13.10.2004 (8) Direct / Indirect measurements Counts: events No. of particles quantified parameters Counts in a scale unit: mass luminosity temperature Quantities unmeasureable directly: mas of a earth, star, galaxy temperature distribution in the Earth, the sun, etc. mass of elementary particles...
Direct & Indirect measurements Wydział Fizyki UW Warszawa, 13.10.2004 (9)
Direct & Indirect measurements Wydział Fizyki UW Warszawa, 13.10.2004 (10)
Indirect measurement - Example Wydział Fizyki UW Warszawa, 13.10.2004 (11)
Inversion Back projection Wydział Fizyki UW Warszawa, 13.10.2004 (12)
Wydział Fizyki UW Warszawa, 13.10.2004 (13) Inversion optimization S(ρ) = V obs V (ρ) = min
Inversion as Joining Information (Inference) Wydział Fizyki UW Warszawa, 13.10.2004 (14)
Description of information (a) (data) Wydział Fizyki UW Warszawa, 13.10.2004 (15)
Description of information (a) (probability) Wydział Fizyki UW Warszawa, 13.10.2004 (16)
Description of information (b) (data) Wydział Fizyki UW Warszawa, 13.10.2004 (17)
Description of information (b) (probability) Wydział Fizyki UW Warszawa, 13.10.2004 (18)
Description of information (b) (data) Wydział Fizyki UW Warszawa, 13.10.2004 (19)
Description of information (b) (probability) Wydział Fizyki UW Warszawa, 13.10.2004 (20)
Frequentists interpretation of probability Wydział Fizyki UW Warszawa, 13.10.2004 (21)
Bayesian interpretation of probability Wydział Fizyki UW Warszawa, 13.10.2004 (22)
Joining Information (Inference) Wydział Fizyki UW Warszawa, 13.10.2004 (23)
Wydział Fizyki UW Warszawa, 13.10.2004 (24) Experimental information Experimental uncertainties: ɛ: random = p(ɛ) d obs = d true + ɛ P ([ɛ δ/2, ɛ + δ/2]) P(d = d true ) = p ɛ (d d obs ) But how to find p(ɛ)???
Wydział Fizyki UW Warszawa, 13.10.2004 (25) Experimental information Experimental uncertainties statistic: postulate: p(ɛ) = k e ɛ2 2σ 2 estimated by repeating measurement P ([x δ/2, x + δ/2]) = N i N
A priori information Wydział Fizyki UW Warszawa, 13.10.2004 (26)
Wydział Fizyki UW Warszawa, 13.10.2004 (27) Theoretical information Theoretical information: correlation d = G(m) = p(d = G(m) m) G may be known approximatelly: G(m) = G o m + G 1 m 2 +... Exact theory: p(d m) = δ(d G(m))
Theoretical information Wydział Fizyki UW Warszawa, 13.10.2004 (28)
Theoretical information Wydział Fizyki UW Warszawa, 13.10.2004 (29)
Theoretical information Wydział Fizyki UW Warszawa, 13.10.2004 (30)
Wydział Fizyki UW Warszawa, 13.10.2004 (31) Multi-dimensional pdf p(x, y) marginal pdf p x (x) = Y marginal pdf p y (y) = X p(x, y)dy p(x, y)dx conditional pdf: p x y (x y) = p(x, y)/p y (y) conditional pdf: p y x (y x) = p(x, y)/p x (x)
Wydział Fizyki UW Warszawa, 13.10.2004 (32) Multi-dimensional pdf p(x, y) = p x y (x y)p y (y) p(x, y) = p y x (y x)p x (x) p x y (x y)p y (y) = p y x (y x)p x (x)
Wydział Fizyki UW Warszawa, 13.10.2004 (33) Multi-dimensional pdf p m (m d) = p d m(d m)p m (m) p d (d)
Wydział Fizyki UW Warszawa, 13.10.2004 (34) Joining information 1. observation: p(d) 2. theory: q(m, d) 3. a priori f(m, d) p q(x) = p(x) q(x) µ(x)
Conditional vs. joint pdf Wydział Fizyki UW Warszawa, 13.10.2004 (35)
Wydział Fizyki UW Warszawa, 13.10.2004 (36) A posteriori pdf A posteriori pdf: σ(m, d) p(d) q(m, d) f M (m)f D (m) describes all information on d, m. σ m (m) = σ(m, d)dd σ d (d) = D σ(m, d)dm M
Wydział Fizyki UW Warszawa, 13.10.2004 (37) A posteriori pdf σ m (m) = f M (m) L(m, d obs )
Wydział Fizyki UW Warszawa, 13.10.2004 (38) A posteriori pdf A posteriori pdf σ(m, d): always exists is unique describes all information is the solution of an inverse problem
Wydział Fizyki UW Warszawa, 13.10.2004 (39) Exact theory σ(m) = f M (m) D p(d)q(m, d)dd q(d, m) = δ(d G(m)) σ(m) = f M (m) p(d G(m)) σ(m) = f M (m) exp ( (d G(m)) T C 1 (d G(m)) )
Exact theory: linear case Wydział Fizyki UW Warszawa, 13.10.2004 (40)
Exact theory: non-linear case Wydział Fizyki UW Warszawa, 13.10.2004 (41)
Exact data: uncertain theory Wydział Fizyki UW Warszawa, 13.10.2004 (42)
Non-resolved parameters Wydział Fizyki UW Warszawa, 13.10.2004 (43)
Wydział Fizyki UW Warszawa, 13.10.2004 (44) Summary Parameter estimation Error analysis Resolution analysis Experimental planning Model discrimination Others (non-parametric) inference
Wydział Fizyki UW Warszawa, 13.10.2004 (45) Inversion Algorithms- Summary Method Advantages Limitations Algebraic (LSQR) - Simplicity - Only linear problems m ml = (G T G + γi) 1 G T d obs - Large scale problems - Lack of robustness Optimization - Simplicity - Difficult error estimation G(m) d obs + λ m) m a = min - Fully nonlinear Bayesian - Fully nonlinear - More complex theory σ(m) = f(m)l(m, d obs ) - Full error handling - Requires efficient sampler