11/13 Diagonalization. Theorem: The set R of all real numbers is not enumerable. 12/13. 0.a k1 a k2 a k3... where a ij {0, 1,...

Transcription

1 対角線論法 可算無限集合 : 自然数全体の集合との間に 対 対応がある集合のこと. 可算集合 : 有限または可算無限である集合のこと. つまり, つずつ要素を取り出してきて, もれなく書き並べられるもの 例. 正の偶数全体の集合 E は可算無限である. 自然数全体の集合 N の要素 と,E の要素 2 を対とする 対 対応がある. 例 2. 整数全体の集合 Z は可算無限である. 対 対応がある. または,Z={,, -, 2, -2, 3, -3,...} と列挙できる. 例 3. 有理数全体の集合は可算無限である.( なぜか? 定理 : 実数全体の集合 R は非可算である. /3 Dagonalzaton Enumerable nfnte set: a set wth one-to-one correspondence wth the set of all natural numbers Enumerable set: fnte or enumerable nfnte set. that s, a set whose elements are enumerable one by one. Ex..The set E of all even postve ntegers s enumerable nfnte. one-to-one correspondence between an element of the set of all natural numbers and an element 2 of the set E Ex.2.The set Z of all ntegers s enumerable nfnte. We can enumerate them as Z={,, -, 2, -2, 3, -3,...}. Ex.3.The set R of all ratonal numbers s enumerable nfnte.(why? /3 Theorem: The set R of all real numbers s not enumerable. 2/3 定理 : 実数全体の集合 Rは非可算である. 以上 未満の実数全体の集合 Sが非可算であることを対角線論法で証明する. 可算であると仮定すると, すべての要素を書き並べることができる :.a k a k2 a k3... ただし,a j {,,..., 9} 上の並びで対角線上にある数に注目し, 新たな無限小数 x =.b b 2 b 3... を作る. ここで, f a kk = then b k = 2 else b k = として b k を定める. このように作られた無限小数は明らかに と の間の実数である. しかし, 作り方から, 上に列挙したどの要素とも等しくない ( 対角線の所で必ず異なる. つまり,x は S に属さないことになり, 矛盾である. したがって,S が可算であるという仮定に誤りがある..a k a k2 a k3... a kk Theorem: The set R of all real numbers s not enumerable. Usng the dagonalzaton we prove that the set S of all real numbers between and s not enumerable. By contradcton, we assume that t s enumerable:.a.a k a k2 a k3... where a j {,,..., 9} k a k2 a k3... a kk Defne a new real number x by collectng those dgts n the dagonal x =.b b 2 b 3... where b k s defned by f a kk = then b k = 2 else b k = The number x defned above s obvously between and, but t s dfferent from any number lsted above snce t s dfferent at ts dagonal poston. That s, x does not belong to S, whch s a contradcton. Therefore, our assumpton that S s enumerable s wrong. 2/3 例 2.7 Haltの計算不可能性の証明の中で用いたプログラムX prog X(nput w: Σ : Σ ; label LOOP; f Halt (w, w then LOOP: goto LOOP else halt( end-f f_x: プログラムXが計算する関数 f_ a( a = のとき, Halt( a, a f_x( a = f_ a( a のとき, Halt( a, a f_x( a = つまり,f_X=f_a となる f_a は計算可能な関数の集合 F の中に存在しない. プログラムの個数は可算無限だが 関数の個数は非可算無限 3/3 Ex.2.7 Program X used n the proof of ncomputablty of Halt prog X(nput w: Σ : Σ ; label LOOP; f Halt (w, w then LOOP: goto LOOP else halt( end-f f_x: functon computed by the program X f f _ a( a = then Halt( a, a f _ X( a = f f _ a( a then, Halt( a, a f_x( a = That s, there s no functon f_a n the set F of functons such that f_x=f_a. The number of programs s enumerable, whle the number of functons s not. 3/3

2 第 4 章計算の複雑さ入門 4.. 計算の複雑さの理論概観 計算可能か? どの程度の計算コストで計算可能か? 計算の複雑さの理論 (Computatonal Complexty Theory ( 計算量の上限に関する研究 (2 計算量の下限に関する研究 (3 計算の難しさについての構造的研究 ( 計算量の上限に関する研究効率のよいアルゴリズムの設計 ( アルゴリズム理論 ある問題 X に対して, それを解くアルゴリズム A があり, サイズ n のどんな問題例に対しても A の時間計算量が T(n 以内であるとき, アルゴリズム A の時間計算量の上限は T(n ( 最悪時の漸近的時間計算量 /8 Chap.4 Computatonal Complexty 4.. Survey on Theory of Computatonal Complexty Computable? How much cost s requred for computaton? Computatonal Complexty Theory ( Studes on upper bound of computatonal cost (2 Studes on lower bound of computatonal cost (3 Structural studes on hardness of computaton ( Studes on upper bound of computatonal cost Algorthm Theory: desgn of effcent algorthms Suppose we have an algorthm A whch solves a problem X n at most tme T(n for any nput of sze n. Then, an upper bound on the tme complexty of the algorthm A s T(n. (asymptotc worst case tme complexty /8 2/8 (2 計算量の下限に関する研究問題 X に対するどんなアルゴリズムも最悪の場合には T(n 時間だけ必ずかかってしまうとき, 問題 X の時間計算量の下限は T(n. P NP 予想 暗号システムの強さ (3 計算の難しさについての構造的研究 xx 程度の難しさ がもつ特徴について調べること. 難しさの程度による階層構造. 2/8 (2Studes on lower bound of computatonal cost If any algorthm for a problem X takes tme T(n n the worst case, a lower bound on the tme complexty of the problem X s T(n. P NPconjecture Robustness of crypto system (3 Structural studes on hardness of computaton Studes to characterze hardness n the level of xx-hardness herarchcal structure dependng on the hardness 4.2. 計算時間の計り方 標準形プログラム再考 定義 4.. ( 計算時間の定義 A: k 入力標準形プログラム x, x 2,..., x k : A への入力 A の whle ループ 回り分の実行を A での ステップという. 入力 x, x 2,..., x k に対して A が停止するまでに回る whle ループの回数を A の x, x 2,..., x k に対する計算時間 ( 略して A(x, x 2,..., x k の計算時間 という. ただし, 停止しないとき, 計算時間は無限大. tme_a(x, x 2,..., x k A(x, x 2,..., x k の計算時間 3/8 全体は whle ループ 各行は つの f 文 +pc への代入 基本命令 つ +pc への代入 tme _ A( l max{ tme _ A( x, x,..., x : x l} 2 k k 4.2 Measurng Computaton Tme 4.2. Revstng Programs n the Standard form It conssts of one whle loop of one f + substtute to pc one basc states + sub. to pc n each lne Defnton 4. (Computaton tme A: program wth k nputs n the standard form x, x 2,..., x k : nputs to A Sngle executon of whle loop n A s one step n A. The number of teratons of the whle loop requred before A halts s called the computaton tme of A for nputs x, x 2,..., x k (n short, computaton tme of A(x, x 2,..., x k. If A does not halt, ts computaton tme s nfnte. tme_a(x, x 2,..., x k computaton tme of A(x, x 2,..., x k tme _ A( l max{ tme _ A( x, x,..., x : x l} 2 k k 3/8 2

3 4/8 標準形プログラム prog プログラム名 (nput...; var pc: Σ ;... ; Σ;... ; Σ ; pc:=; whle pc do case pc of : ( 文 ; 各 ( 文 の形は 2: ( 文 ; -f 比較文 then pc:=k else pc:=k 2 end-f 3: ( 文 ; - 代入文 ; pc:=k;... k: ( 文 ; のいずれか. end-case end-whle; halt(σ 型の変数 ; Programs n the standard form prog program name (nput...; var pc: Σ ;... ; Σ;... ; Σ ; pc:=; whle pc do case pc of : (statement; 2: (statement; 3: (statement;... k: (statement; end-case end-whle; halt(varable of type Σ ; Each statement must be ether f comparson then pc:=k else pc:=k 2 end-f or substtuton; pc:=k; 4/8 各文が高々定数時間で実行できるための制約 u, u : Σ 型の変数, v, v : Σ 型の変数 c: Σ 型の定数, s: Σ 型の定数 ( 代入文 ( u := c; (2 u := u ; (3 u := head(v; (4 u := tal(v; (5 v := s; (6 v := v ;?? (7 v := rght(v; (8 v := left(v; (9 v := u # v; ( v := v # u; ( 比較文 ( u = c (2 v = s v = v の形の比較は禁止されている. 5/8 Constrants to execute each statement n constant tme u, u : varable of type Σ, v, v : varable of type Σ c: constant of type Σ, s: constant of type Σ (Substtuton ( u := c; (2 u := u ; (3 u : = head(v; (4 u := tal(v; (5 v := s; (6 v := v ;?? (7 v := rght(v; (8 v := left(v; (9 v := u # v; ( v := v # u; (Comparson ( u = c (2 v = s comparson of the form v = v s forbdden 5/ プログラムの時間計算量 6/ Tme complexty of a program 6/8 プログラムの時間計算量を入力サイズの関数として表現 ( 入力文字列の長さ 妥当なコード化 : 元の対象のサイズに定数倍の範囲内で忠実なコード化 例 4.5: 進表記と 2 進表記 数のサイズはその桁数 との立場では 2 進表記は妥当なコード化であるが, 進表記は冗長なコード化 The tme complexty of a program s represented as a functon of nput sze (length of an nput strng Vald Encodng: Encodng nto at most constant tmes larger than the orgnal. Ex.4.5: Unary and bnary representatons Bnary representaton s a vald encodng n the standpont of sze of a number s ts number of bts,but unary one s redundant. 3

4 7/8 7/8 定義 4.3: 自然数上の関数 f, g に対し, ヨ c,d >, n [f(n c g(n + d] となるとき,f はオーダー g であるといい,f =O(g と記述する. 定数 c, d は n と無関係に定まることが必要. 定理 4.: 自然数上の任意の関数 f, g, h に対し次の関係が成立 ( n[f(n g(n] f = O(g (2 ヨc >, n[f(n cg(n] f = O(g (3 [ f = O(g かつ g = O(h] f = O(h Defnton 4.3: For functons f and g on natural numbers, f ヨ c,d >, n [f(n c g(n + d] then we say f s n the order of g and denote t by f = O(g. Remark: the constants c and d must be determned ndependently of n. Theorem 4.: The followngs hold for any functons f, g and h on natural numbers:. n[f(n g(n] f = O(g 2. ヨc >, n[f(n cg(n] f = O(g 3. [ f = O(g and g = O(h] f = O(h 8/ 問題の時間計算量定義 4.4. Φ を計算問題とし,t を自然数上の関数とする. いま Φ を計算するプログラム A と定数 c, d >が存在して, l [tme_a(l ct(l + d] ならば, ΦはO(t 時間計算可能, あるいはΦの時間計算量は O(t であるという. 注意 : ここでは計算問題として, 集合の認識問題を想定している. 直観的には 問題 Φ は t 時間以下で計算可能 という意味 ( 注 A の時間計算量は t より低いかもしれない. ( 注 2 A よりも速く Φ を計算するプログラムがあるかもしれない. 8/ Tme complexty of a problem Def.4.4. Let Φ be a computng problem and t be a functon over natural numbers. If we have a program A to compute Φ and some constants c and d > such that l [tme_a(l ct(l + d] then we say that Φ s computable n O(t tme, or tme complexty of Φ s O(t. Notce: We assume here that a computng problem s that of recognzng a set. Intutvely problem Φ s computable wthn tme t tme complexty of A may be less than t. there may be a faster program to compute Φ than A does. 例 4.7. 素数判定問題の時間計算量素数判定問題 (PRIME 入力 : 自然数 n( ただし,2 進表記 質問 :n は素数か? PRIME { n : nは素数 } 9/8 スターリングの公式 : n! n n 2π n e 9/8 Ex.4.7. Tme complexty of the problem determnng prmes Prme-determnng problem(prime Input:a natural number n (bnary representaton Strlng s Formula: n Queston: Is n prme? n n! 2π n PRIME { n : n s prme} e prog Nave(nput n; 2 ~ n-の数で割ってみる for each := < < n do f n mod = then reject end-f end-for; accept log n log 時間 tme _ Nave( n ( clogn log + d < < 2 = c log n log n! + dn = O( n(log n 余談 : 22 年に O( l 6 のアルゴリズムが考案された!! n の長さを l とすると,l はほぼ log n だから,tme_Nave=O(l 2 2 l 故に, 素数判定問題の時間計算量は ( 高々 O(l 2 2 l prog Nave(nput n; try to dvde by numbers between 2 n- for each := < < n do f n mod = then reject end-f end-for; O( l 6 tme algorthm has accept log n log tme been proposed n 22!! tme _ Nave( n ( clogn log + d < < n 2 = c log n log n! + dn = O( n(log n When the length of n s l, l s approxmately log n. So, tme_nave =O(l 2 2 l. Thus, tme complexty of PRIME s O(l 2 2 l. 4

5 /8 /8 定義 4.5. 自然数上の関数 t に対し, 時間計算量が O(t となる集合 (.e., 認識問題 の全体を O(t 時間計算量クラスといい, そのクラスをTIME(t と表す. また,t のような関数を制限時間と呼ぶ. たとえば, O(l 2 2 l 時間で認識可能な集合を集めたクラスが TIME(l 2 2 l であり, 集合 PRIME はその一要素. PRIME TIME(l 2 2 l Def.4.5. For a functon t over natural numbers,the set of all sets (.e. recognton problems wth tme complextes O(t s called O(t-tme complexty class, and t s denoted by TIME(t. And such a functon t s called a tme lmt. For example, a class of sets recognzable n tme O(l 2 2 l s TIME(l 2 2 l, and the set PRIME s one element. PRIME TIME(l 2 2 l 指数関数 l 2 2 l 2 l Exponental l 2 2 l 2 l 今では PRIME TIME ( l 6 多項式 l 2 l 6 l Now, PRIME TIME ( l 6 Polynomal l 2 l 6 l 第 5 章代表的な計算量クラス 5.. 代表的な時間計算量クラス P TIME(p(l E p: 多項式 c> TIME(2 cl EXP TIME(2 p(l p: 多項式 /8 Chapter 5 Representatve Complexty Classes 5.. Representatve tme complexty classes P TIME(p(l E p:polynomal c> TIME(2 cl /8 C 集合 : 計算量クラス C に入る集合. C 問題 : C 集合の認識問題 ある問題が P に入っていないなら 現実的には手に負えない EXP TIME(2 p(l p:polynomal C set: set n the complexty class C. C problem: problem of recognzng a C set. Problems not n P are ntractable from the practcal vewpont 2/8 例 5.: クラスP, E, EXPでは, 多項式時間程度の違いは問題ではない. P: 多項式 多項式 多項式 E: 2の線形乗 多項式 2の線形乗 EXP: 2の多項式乗 多項式 2の多項式乗例 5.2: PRIMEの計算量クラス余談 : 22 年に O( l 6 例 4.7 PRIME TIME(2 l のアルゴリズムが考案故に, PRIME E されたので 今ではP 定義 5.. T: 制限時間の集合 TIME(t: T 時間計算量クラス t T これをTIME(T と表す. 定理 5.: ( P = TIME(l c, (2 EXP = TIME(2 l c c> c> Ex.5.: Polynomal makes no serous dfference n the classes P, E, EXP. P: polynomal polynomal polynomal E: lnear power of 2 polynomal lnear power of 2 EXP: poly. power of 2 poly. poly. power of 2 Ex.5.2: Complexty class of PRIME Ex.4.7 PRIME TIME(2 l Thus, PRIME E O( l 6 tme algorthm put t n P!! Def.5.: T: set of tme lmts TIME(t: T tme complexty class t T It s denoted by TIME(T. Theorem5. ( P = U TIME(l c, (2 EXP = U TIME(2 l c c> c> 2/8 5

6 3/8 3/8 定理 5.: ( P = TIME(l c, (2 EXP = TIME(2 l c c> c> 証明 : (2 の証明は省略. T: l c という形の多項式の集合. T 2 : 多項式の全体 T T 2 なので,TIME(T TIME(T 2 p: 任意の多項式 (p は T 2 の任意の要素 多項式 p の最大次数を k とすると,p(l = O(l k 定理 4.3 より, TIME(p(l TIME(l k TIME(T したがって,TIME(T = TIME(T 2 証明終 定理 4.3: すべての制限時間 t,t 2 に対し t =O(t 2 ならば TIME(t TIME(t 2 Theorem 5.: ( P = TIME(l c, (2 EXP = TIME(2 l c c> c> Proof: The proof of (2 s omtted. T : set of polynomals of the form of l c. T 2 : set of all polynomals snce T T 2,TIME(T TIME(T 2 p: arbtrary polynomal (p s any element of T 2 f the maxmum degree of a polynomal p s k,p(l = O(l k From Theorem 4.3, TIME(p(l TIME(l k TIME(T Therefore,TIME(T = TIME(T 2 Q.E.D. Theorem 4.3: For any tmes t,t 2, t =O(t 2 mples TIME(t TIME(t 2 4/8 4/8 例 5.3. 命題論理式評価問題 (PROP-EVAL 入力 :<F, < a, a 2,, a n >> Fは拡張命題論理式 (a, a 2,, a n は F に対する真理値割り当て質問 : F(a, a 2,, a n =? Ex.5.3. Problem of evaluatng propostonal expresson(prop-eval Input:<F, < a, a 2,, a n >> F s an extended prop. expresson (a, a 2,, a n s a truth assgnment to F Queston: F(a, a 2,, a n =? (x,y (, (, (, (, x y ( x y x y ((x y (y x x y (x,y ( x y (, (, (, (, x y ((x y (y x 例 5.3. 命題論理式評価問題 (PROP-EVAL 入力 :<F, < a, a 2,, a n >> Fは拡張命題論理式 (a, a 2,, a n はFに対する真理値割り当て質問 : F(a, a 2,, a n =? 5/8 5/8 Ex.5.3. Problem of evaluatng propostonal expresson(prop-eval Input:<F, < a, a 2,, a n >> F s an extended prop. expresson (a, a 2,, a n s a truth assgnment to F Queston: F(a, a 2,, a n =? 拡張命題論理式 F がコード化されたもの F から計算木を作る. 計算木はO( F 3 時間で構成できる. 計算木が得られていれば, ボトムアップ式で F(a, a 2,, a n の値は容易に計算可能. 例 : F(x, x 2, x 3 = [x x 2 ] [x x 3 ] 計算木 F(,,= F(,,= よって PROP-EVAL P x x 2 x 3 Construct a computaton tree from a code F of ext. prop. expresson It s bult n tme O( F 3. If computaton tree s avalable, we can easly obtan the value F(a, a 2,, a n n a bottom-up fashon. computaton Ex.: F(x, x 2, x 3 = [x x 2 ] [x x 3 ] tree F(,,= F(,,= Hence PROP-EVAL P x x 2 x 3 6

7 例 5.3. 命題論理式充足性問題 :2 和積形 (2SAT 6/8 Ex Satsfablty (2SAT 6/8 入力 :<F> F は 2 和積形命題論理式 Input:<F> F s 2-conjunctve normal form 質問 : F(a, a 2,, a n = を満たす割り当てがあるか? 和積形 : F = ( ( ( - リテラルの論理和の論理積で表現されたものちょうど / たかだか k 和積形 (k SAT - 和積形の各論理和が k 個のリテラルを含む -3SAT, 4SAT も同様に定義できる -SAT: 各論理和のリテラルの個数に制限がないもの -ExSAT: 入力が拡張命題論理式 ( や も許す Queston: Is there any assgnment such that F(a, a 2,, a n =? Conjunctve Normal Form (CNF F = ( ( ( - descrbed by of of lterals. k SAT - Each closure contans k lterals exactly/at most - We can defne 3SAT, 4SAT smlarly. - SAT conssts of any CNF. - ExSAT conssts of any extended propostonal expresson. 例 5.4: 到達可能性問題 (ST-CON 入力 :<G,s,t> : 無向グラフ G, s,t n(= G 質問 : G 上で s から t への道があるか? 7/8 Ex. 5.4: Graph reachablty problem (ST-CON Input:<G,s,t> : an undrectd graph G, s,t n(= G Queston: Does G have a path from s to t? 7/8 閉路とは 始点と終点が同じである路 オイラー閉路とは すべての辺を一度づつ通る閉路 ハミルトン閉路とは すべての頂点を一度づつ通る閉路 Cycle s a path that shares two endponts. Euler cycle s a cycle that vsts all edges once. Hamltonan cycle s a cycle that vsts all vertces once. 例 5.4: 一筆書き閉路問題 (DEULER 入力 :<G>: 有向グラフ G 質問 : G はオイラー閉路をもつか? Ex. 5.4: Euler cycle problem (DEULER Input:<G>: a drected graph G Queston: Does G have an Euler cycle? 例 5.5: ハミルトン閉路問題 (DHAM 入力 :<G>: 有向グラフ G 質問 : G はハミルトン閉路をもつか? Ex. 5.5 Hamltonan cycle problem (DHAM Input:<G>: a drected graph G Queston: Does G have a Hamltonan cycle? 以下の事実が知られている : 8/8 It s known that: 8/8 以下の問題は P に属する : PROP-EVAL, 2SAT, ST-CON, DEULER The followng problems are n P: PROP-EVAL, 2SAT, ST-CON, DEULER 以下の問題は E に属する が 3SAT, DHAM The followng problems are n E, but 3SAT, DHAM P と E の間 (? のクラス NP The class NP between P and E? 7