Appendix. Title. Petr Lachout MFF UK, ÚTIA AV ČR

Transcription

1 Title ROBUST - Kráĺıky - únor, 2010

2 Definice Budeme se zabývat optimalizačními úlohami. Uvažujme metrický prostor X a funkci f : X R = [, + ]. Zajímá nás minimální hodnota funkce f na X ϕ (f ) = inf {f (x) x X }. (1)

3 Definice Hodnota + vznikne přepisem podmínek A X, za nichž minimalizujeme funkci g : A R. Tedy úlohu přepisujeme na tvar kde inf {g(x) x A} inf {f (x) x X }, f (x) = g(x) pro x A, = + pro x A.

4 Definice Funkce, které nabývají pouze hodnoty + nebo jejichž minimální hodnota je, nejsou z hlediska optimalizace příliš zajímavé. V dalším se proto omezíme pouze na funkce, které jsou vlastní, tj. pro něž ϕ (f ) R.

5 Definice Definujeme množinu všech minimálních řešení množiny všech ε-minimálních řešení a úrovňové množiny Φ (f ) = {x X f (x) = ϕ (f )}, (2) Ψ (f ; ε) = {x X f (x) ϕ (f ) + ε} ε R, (3) lev (f ) = {x X f (x) } R. (4) Potřebujeme také vhodnou míru vzdálenosti mezi dvěmi množinami. Takovou vhodnou mírou je excess z množiny A X do množiny B X kde d je metrika na X. excess (A, B) = sup inf d (a, b), (5) a A b B

6 Definice Aproximativním řešením minimalizace funkce f na množině X budeme rozumět θ X, které splňuje bud nebo pro předem zadané ε či. θ Ψ (f ; ε) θ lev (f ),

7 Definice Zajímáme se o posloupnost minimalizačních úloh minimalizovat funkci f t na množině X pro t N. Zajímá nás asymptotické chování příslušných aproximativních řešení. Jejich konvergence a řád konvergence.

8 Definice-posloupnost Posloupností aproximativních řešení chápeme posloupnost θ t X, t N, která splňuje bud, pro předem zadaná ε t, t N splňují θ t Ψ (f t ; ε t ), nebo pro předem zadaná t, t N splňují θ t lev t (f t ).

9 Náhodnost Nyní přidejme závislost sledovaných úloh na náhodě. Budeme uvažovat pravděpodobnostní prostor (Ω, A, Prob) a pro t N Případně f t : X Ω R, ϕ (f t (, ω)) R ω Ω, ε t : Ω R. t : Ω R.

10 Náhodnost Nyní musíme zobecnit, vysvětlit pojem posloupnosti aproximativních řešení pro případ, kdy úlohy závisí na náhodě. Budeme uvažovat posloupnost zobrazení ˆθ t : Ω X, t N. Máme několik možností, jaké vlastnosti, kvalitu od ní vyžadovat.

11 Náhodnost-1 Posloupnost ˆθ t : Ω X, t N nazveme náhodná ε-minimální řešení, pokud ˆθ t (ω) Ψ (f t (, ω); ε t (ω)) ω Ω t N, náhodná úrovňově-minimální řešení, pokud ˆθ t (ω) lev t(ω) (f t (, ω)) ω Ω t N.

12 Náhodnost-2 Posloupnost ˆθ t : Ω X, t N nazveme skoro jistě ε-minimální řešení, pokud existuje Ω 0 Ω takové, že Prob (Ω 0 ) = 1 a ˆθ t (ω) Ψ (f t (, ω); ε t (ω)) ω Ω 0 t N, skoro jistě úrovňově-minimální řešení, pokud existuje Ω 0 Ω takové, že Prob (Ω 0 ) = 1 a ˆθ t (ω) lev t(ω) (f t (, ω)) ω Ω 0 t N.

13 Náhodnost-3 Posloupnost ˆθ t : Ω X, t N nazveme striktně asymptotická ε-minimální řešení, pokud existuje Ω 0 Ω takové, že Prob (Ω 0 ) = 1 a ω Ω 0 ˆθ t (ω) Ψ (f t (, ω); ε t (ω)) t N dostatečně velká, striktně asymptotická úrovňově-minimální řešení, pokud existuje Ω 0 Ω takové, že Prob (Ω 0 ) = 1 a ω Ω 0 ˆθ t (ω) lev t(ω) (f t (, ω)) t N dostatečně velká.

14 Náhodnost-4 Posloupnost ˆθ t : Ω X, t N nazveme slabě asymptotická ε-minimální řešení, pokud lim t + Prob ( ω Ω : ˆθt (ω) Ψ (f t (, ω); ε t (ω)) slabě asymptotická úrovňově-minimální řešení, pokud ( ) lim Prob ω Ω : ˆθt (ω) lev t(ω) (f t (, ω)) t + ) = 1, = 1.

15 Konvergence Cílem je ukázat asymptotické chování náhodných aproximativních řešení. Jelikož však nepředpokládáme měřitelnost, je teorie konvergncí trochu složitější. Budeme uvažovat čtyři typy konvergence: as, as, v Prob. a v distribuci. Definice těchto konvergencí, jejich vlastnosti a vztahy jsou uvedeny v [VaartWellner(1996)]. Definition of convergences

16 Konvergence Je třeba si uvědomit, že stačí vyšetřovat pouze náhodná ε-minimální řešení. Všechny ostatní typy lze na ně převést.

17 Převod Nejdříve si povšimněme přímého vztahu mezi ε-optimálním řešením a level-optimálním řešením. Ψ (h; ε) = lev ϕ(h)+ε (h), (6) lev (h) = Ψ (h; ϕ (h)). (7)

18 Konstrukce Uvažujme posloupnost zobrazení ˆθ t : Ω X, t N a ε t : Ω R +,0, t N. Zvolme libovolně, ale pevně, α t : Ω R + s vlastností lim t + α t (ω) = 0 pro každé ω Ω. Nyní dokážeme vybrat ξ t : Ω X, t N tak, že Položme dále ξ t (ω) Ψ (f t (, ω); ε t (ω) + α t (ω)) ω Ω, t N. η t (ω) = ˆθ t (ω) když ˆθ t (ω) Ψ (f t (, ω); ε t (ω)) = ξ t (ω) jinak. Konstrukce dává posloupnost η t, t N, která splňuje η t (ω) Ψ (f t (, ω); ε t (ω) + α t (ω)) ω Ω, t N. Nyní porovnáme asymptotické vlastnosti ˆθ t, t N a η t, t N.

19 Konstrukce-vztahy Lemma Necht ˆθt : Ω X jsou skoro jistě ε-minimální řešení nebo striktně asymptotická ε-minimální řešení. Pak, existuje Ω 0 Ω, Prob (Ω 0 ) = 1 tak, že pro každé ω Ω 0 ˆθ t (ω) = η t (ω) t N dostatečně velká. Následně pro každé ω Ω 0, ) Ls (ˆθt (ω), t N = Ls (η t (ω), t N).

20 Konstrukce-vztahy Označme ε(ω) = lim sup t + ε t (ω). Když vezmeme náhodná zobrazení τ t : Ω R, pak pro každé ω Ω 0 [ ] lim τ t(ω) f t (ˆθ t (ω), ω) f t (η t (ω), ω) = 0, t + [ ( ) lim τ t(ω) excess {ˆθ t (ω)}, Ψ (f t (, ω); ε(ω)) t + excess ({η t (ω)}, Ψ (f t (, ω); ε(ω))) ] = 0.

21 Konstrukce-vztahy Lemma Necht ˆθt : Ω X jsou slabě asymptotická ε-minimální řešení. Pak, ) lim Prob (ˆθt = η t = 1. t +

22 Konstrukce-vztahy Označme ε(ω) = lim sup t + ε t (ω). Následně, když vezmeme náhodná zobrazení τ t : Ω R, pak ] Prob τ t [f t (ˆθ t ) f t (η t ) 0, t + ( ) τ t [excess {ˆθ t }, Ψ (f t ; ε) excess ({η t }, Ψ (f t ; ε)) ] Prob t + 0.

23 Appendix-Topology We have to recall a few from topological terminology. Definition For a sequence η n, n N in a metric space W, we denote the set of its cluster points by Ls (η n, n N), i.e. Ls (η n, n N) = { ψ W subsequence s.t. lim } η n k = ψ. k + Back

24 Appendix-Topology Definition For a sequence A n, n N subsets of a metric space W, we denote the set of its cluster points by Ls (A n, n N), i.e. Ls (A n, n N) = { ψ W } subsequence A nk and a sequence η k A nk s.t. lim η k = ψ. k +

25 Appendix-Topology Definition We say that a sequence η n, n N in a metric space W is compact if each its subsequence possesses at least one cluster point. Compact sequence in metric space possesses an equivalent description. Lemma Let η n, n N be a sequence in a metric space W. Then, the following statements are equivalent: 1. The sequence is compact. 2. There is a compact L W tak, že η n L for all n N. 3. The set {η n n N} Ls (η n, n N) is compact.

26 Appendix-Topology Lemma Let η n, n N be a sequence in a metric space W and K W be a compact. If for every open set G K there is an n G N tak, že η n G for all n N, n n G. Then the sequence is compact and Ls (η n, n N) K.

27 Appendix-Nonmeasurable mappings This auxiliary section contains all necessary theory na nonmeasurable mappings. Definitions and relations are taken from [VaartWellner(1996)], chapter 1.9., p All proofs can be found in [VaartWellner(1996)], also. Definition For a set B Ω its outer probability is defined as Prob (B) = inf {Prob (A) B A, A A} and the inner probability is Prob (B) = Prob (Ω \ B).

28 Appendix-Nonmeasurable mappings Definition For a mapping T : Ω R the outer integral is defined as E [T ] = inf { E [U] U T, U : Ω R measurable and E [U] exists } and the inner integral is E [T ] = E [ T ].

29 Appendix-Nonmeasurable mappings Lemma For any mapping T : Ω R there exists a measurable funkce T : Ω R with 1. T T ; 2. T U a.s. for every measurable U : Ω R with U T. The funkce T is called a minimal measurable majorant of T and is not uniquely defined. The funkce T = ( T ) is called a maximal measurable minorant of T.

30 Appendix-Nonmeasurable mappings Lemma For any T : Ω R 1. E [T ] = E [T ] if one of these integral exists; 2. E [T ] = E [T ] if one of these integral exists.

31 Definition Let X be a metric space with metric d and X n, X : Ω X, n N be arbitrary maps. X n, n N converges almost surely to X if ( ) Prob lim d (X n, X ) = 0 = 1. n + We use notation X n as n + X. X n, n N converges almost uniformly to X if for every ε > 0 there exists a measurable set A ε Ω with Prob (A ε ) 1 ε and d (X n, X ) 0 uniformly na A ε, i.e. sup ω Aε d (X n (ω), X (ω)) 0. We use notation X n au n + X.

32 Definition X n, n N converges outer almost surely to X if d (X n, X ) We use notation X n as n + 0 for some versions of d (X n, X ). as n + X. X n, n N converges in outer probability to X if for every ε > 0 Prob (d (X n, X ) > ε) 0. We use notation X n Prob n + X. Random approximate solutions

33 Appendix-Nonmeasurable mappings There are known relations between all of these notions of convergences. Lemma Let X be a metric space, X : Ω X be Borel measurable and X n : Ω X, n N be a sequence of arbitrary maps. Then, X n X n as n + X implies X n as n + X if and only if X n Prob n + X and X n au n + X. as n + X ;

34 Definition Let X be a metric space. The sequence X n : Ω X, n N of arbitrary maps is called asymptotically measurable if E [f (X n )] E [f (X n )] n + 0 for every bounded continuous funkce f : X R.

35 Definition Let X be a metric space. The sequence X n : Ω X, n N of arbitrary maps is called strongly asymptotically measurable if f (X n ) f (X n ) as n + 0 for every bounded continuous funkce f : X R.

36 Appendix-Nonmeasurable mappings Definition Let X be a metric space, X n : Ω X, n N be an asymptotically measurable sequence and X : Ω X be random variable. We say that X n, n N converges in distribution to X if E [f (X n )] E [f (X )] n + for every bounded continuous funkce f : X R. D We use notation X n X. n +

37 Appendix-Nonmeasurable mappings Lemma Let X be a metric space, X : Ω X be Borel measurable and separable, and X n : Ω X, n N be a sequence of arbitrary maps. Then, as X if and only if X n n + asymptotically measurable. X n as n + X and X n, n N is strongly

38 Appendix-Nonmeasurable mappings Lemma Let X be a metric space, X : Ω X be Borel measurable and separable, and X n : Ω X, n N be a sequence of arbitrary maps, which is asymptotically measurable. Then, X n as n + X implies X n Prob n + X.

39 Appendix-Nonmeasurable mappings Lemma Let X be a metric space, X n : Ω X, n N be an asymptotically measurable sequence and X : Ω X. Then If X n X n X n If X n D n + X then X is measurable, i.e. it is a random variable. as n + X implies X n Prob n + X implies X n D n + X. D n + X. D n + X and X c is nonrandom then X n Prob n + X.

40 Portmanteau lemma Lemma Let X be a metric space, X n : Ω X, n N be an asymptotically measurable sequence and X : Ω X be random variable. Then the following is equivalent: X n D n + X. E [f (X n )] n + E [f (X )] f C b (X ). E [f (X n )] n + E [f (X )] f C b (X ).

41 Portmanteau lemma lim inf Prob (X n G) Prob (X G) G G (X ). n + lim sup Prob (X n F ) Prob (X F ) F F (X ). n + Random approximate solutions

42 References Hoffmann-Jørgensen, J.: Probability with a View Towards to Statistics I, II. Chapman and Hall, New York, Kelley, J.L.: General Topology. D. van Nostrand Comp., New York, Lachout, P.: Stability of stochastic optimization problem - nonmeasurable case. Kybernetika 44,2(2008), Lachout, P.: Stochastic optimization sensitivity without measurability. In: Proceedings of MMEI held in Herĺany (2007), Lachout, P.; Liebscher, E.; Vogel, S.: Strong convergence of estimators as ε n -minimizers of optimization problems. Ann. Inst. Statist. Math. 57,2(2005),

43 References Lachout, P.; Vogel, S.: On Continuous Convergence and Epi-convergence of Random Functions. Part I: Theory and Relations. Kybernetika 39,1(2003), Robinson, S.M.: Analysis of sample-path optimization. Math. Oper. Res. 21,3(1996), Rockafellar, T.; Wets, R.J.-B.: Variational Analysis. Springer-Verlag, Berlin, Vajda, I.; Janžura, M.: On asymptotically optimal estimates for general observations. Stochastic Processes and their Applications 72,1(1997), van der Vaart, A.W.; Wellner, J.A.: Weak Convergence and Empirical Processes Springer, New York, 1996.