Game-theoretic approaches to randomness: unpredictability and stochasticity.

Transcription

1 Game-theoretic approaches to randomness: unpredictability and stochasticity. Laurent Bienvenu To cite this version: Laurent Bienvenu. Game-theoretic approaches to randomness: unpredictability and stochasticity.. Other [cs.oh]. Université de Provence - Aix-Marseille I, English. <tel v1> HAL Id: tel Submitted on 21 Oct 2008 (v1), last revised 23 Mar 2009 (v2) HAL is a multi-disciplinary open access archive for the deposit and dissemination of scientific research documents, whether they are published or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers. L archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

2 UNIVERSITÉ DE PROVENCE U.F.R. M.I.M. ÉCOLE DOCTORALE DE MATHÉMATIQUES ET INFORMATIQUE E.D. 184 THÈSE présentée pour obtenir le grade de Docteur de l Université de Provence Spécialité : Informatique par Laurent BIENVENU sous la direction de Bruno DURAND et Alexander SHEN Titre : CARACTÉRISATIONS DE L ALÉATOIRE PAR LES JEUX : IMPREDICTIBILITÉ ET STOCHASTICITÉ soutenue publiquement le 4 avril 2008 JURY M. Eugène ASARIN Université de Paris 7 Rapporteur M. Bruno DURAND Université de Provence Directeur de thèse M. Peter GACS Boston University Rapporteur M. Serge GRIGORIEFF Université de Paris 7 Examinateur M. Alexander SHEN CNRS & LIF, Marseille Directeur de thèse M. Vladimir VOVK Royal Holloway College, London Examinateur

3

4 Contents Remerciements Résumé de la thèse Introduction iii v xiii 1 Randomness notions Notation and basic definitions The Cantor space: probability, topology and computability The topology Effectivizing the topology Lebesgue measure The typicalness paradigm Martin-Löf tests Schnorr randomness Weak randomness Effective Hausdorff dimension The unpredictability paradigm Stochasticity Computable randomness Stochasticity via martingales Typicalness vs unpredictability When typicalness implies unpredictability When unpredictability implies typicalness Schnorr randomness and normal numbers Non-monotonicity for selection rules and martingales Randomness and Baire category Relations between randomness notions Randomness and Kolmogorov complexity Kolmogorov complexity Plain Kolmogorov complexity Prefix-free Kolmogorov complexity i

5 ii Contents 2.2 Infinite random sequences via Kolmogorov complexity Martin-Löf randomness vs Kolmogorov complexity Computable randomness and Schnorr randomness vs Kolmogorov complexity Effective Hausdorff dimension vs Kolmogorov complexity Stochasticity vs Kolmogorov complexity Computable upper bounds of Kolmogorov complexity Motivation, definitions Some particular computable upper bounds Randomness via computable upper bounds Randomness for computable measures Extending notions of randomness to computable measures Generalized Bernoulli measures Definition Kakutani s theorem Constructive versions of Kakutani s theorem Applications to stochasticity Equivalence and consistency for arbitrary measures Consistency A classification of equivalence relations Counter-examples Bibliography 137 Index 142

6 Remerciements Je tiens avant toute chose à remercier mes directeurs de thèse, Bruno Durand et Alexander (Sasha) Shen. Bruno le premier m a fait confiance en acceptant de me prendre comme stagiaire de Master avant même de m avoir rencontré. De lui j ai appris énormément de choses, et même si nos domaines d intérêt ont un peu divergé au cours de ma thèse, il a toujours veillé à ce que cette dernière se passe dans les meilleures conditions; de cela je lui suis infiniment reconnaissant. Sasha, par son enthousiasme, sa gentillesse, sa patience et son intelligence, a fait de mes années de thèse une période captivante, en partageant sans cesse ses nombreuses idées et questions. Je souhaite de tout coeur que notre collaboration et surtout notre amitié se prolonge bien au-delà de ces trois ans passés ensemble à Marseille. Je tiens ensuite à remercier Serge Grigorieff. Le remercier d abord pour ses cours passionnés et passionnants (pour lesquels j ai traversé la moitié de Paris en courant un jour de grève de la RATP!) qui m ont fait découvrir les splendeurs de la complexité de Kolmogorov. Le remercier également pour son oreille attentive et son soutien indéfectible lors des périodes de doute que j ai pu rencontrer au cours de ma thèse. Le retrouver trois ans après mon Master dans mon jury de soutenance est pour moi un honneur et une grande joie. Depuis que j ai eu la chance de le rencontrer à la conférence STACS 2006, Wolfgang Merkle a été un collaborateur exceptionnel, tant par ses qualités humaines que scientifiques. De nombreux résultats de cette thèse sont issus de cette collaboration qui j espère n en est qu à ses débuts. Je remercie vivement les autres membres de mon jury: Eugène Asarin et Peter Gacs, qui ont généreusement accepté d être les rapporteurs du manuscrit, ainsi que Vladimir Vovk. Merci à eux d avoir pu se libérer pour assister à la soutenance malgré un emploi du temps que je sais chargé. En espérant n oublier personne, je remercie aussi: les excellents professeurs que j ai pu avoir tout au long de mon cursus et qui m ont donné le goût de la science et de la recherche (un grand merci notamment à Jacques Mazoyer et Marianne Delorme); mes co-auteurs: David Doty, Andrei A. Muchnik, Mathieu Sablik, Frank Stephan, Nicolay Vereshchagin; tous les membres de l équipe Escape pour les discussions iii

7 iv Remerciements animées du coin café; Martine, Sylvie et Nathalie, qui m ont tant de fois sorti de situations délicates, toujours avec patience et bonne humeur; Audrey Romano et tous les participants de Vitascience pour le projet que nous avons mené, adoucissant grandement cette pénible exprérience que constitue le CIES; Rod Downey et Denis Hirschfeldt pour avoir mis leur excellent livre en libre accès, ce dont j ai grandement profité; merci également à l Association for Symbolic Logic pour son soutien financier, qui m a permis de me rendre à la conférence Logic Complexity and Randomness à Buenos Aires en janvier Enfin, je remercie par dessus tout mes amis, ma famille et ma belle-famille, pour ces innombrables bons moments que nous avons partagés et qui font que la vie vaut la peine d être vécue. J ai aujourd hui une pensée toute particulière pour ma femme Meghyn et mon frère Thomas, qui ont eux aussi débuté une thèse peu après moi. Je leur souhaite tout le bonheur possible dans cette belle aventure.

8 Résumé de la thèse Théorie effective de l aléatoire: motivations Cette thèse est une contribution à la théorie effective de l aléatoire, également connue sous le nom de théorie algorithmique de l aléatoire. Le but de cette théorie est de donner un sens à l idée intuitive d objet aléatoire. Commençons par illustrer les motivations de cette théorie par un exemple tiré de la vie courante. Imaginons une entreprise commercialisant des suites de bits aléatoires (par exemple des suites de bits gravées sur DVD). Cette entreprise promeut ses DVD comme contenant des suites de bits aléatoires, générés par un processus véritablement aléatoire (comme par exemple la désintégration d éléments radioactifs). Nous sommes intéressés par de telles suites, que nous souhaitons utiliser comme source de hasard pour un algorithme probabiliste (par exemple pour un test de primalité). Nous commandons donc à cette entreprise une suite de 10 10, et nous reçevons un DVD contenant la suite (01 répété 5 milliards de fois) Le moins que l on puisse dire est que nous ne sommes pas satisfaits par cette suite. Nous écrivons donc une lettre de réclamation, dans laquelle nous nous plaignons que la suite que nous avons reçue n est absolument pas aléatoire, et demandons à être remboursés. Nous reçevons alors la réponse suivante: Madame, Monsieur. Nous avons bien reçu votre lettre au sujet de la suite de bits aléatoires que vous nous avez achetée. Nous sommes navrés qu elle ne vous ait pas donné satisfaction. Cependant, nous ne comprenons pas votre affirmation que cette suite n est pas aléatoire. En effet, cette suite a la même probabilité d occurence que n importe quelle autre suite de longueur En conséquence, toute propriété de cette suite qui vous fait douter de sa nature aléatoire n est que pure coïncidence. On en conviendra, cette réponse n est pas satisfaisante. L argument employé comme quoi cette suite a la même probabilité d occurence que toute autre suite est tout-à-fait correct mais malgré cela, notre intuition persiste à dire que cette suite n est pas aléatoire. Comment pouvons-nous l expliquer rigoureusement? Et cette question en amène une autre: quel type de garantie l entreprise peut-elle offrir sur les suites de bits qu elle vend afin de gagner la confiance de ses clients? v

9 vi Résumé de la thèse Ces questions sont de nature philosophique, et n admettent donc pas de réponse unique. La théorie effective de l aléatoire ne constitue qu une tentative parmi d autres de répondre à ces questions. En fait, au sein même de cette théorie, diverses réponses sont envisagées. Cependant, elles partagent toutes le même leitmotiv: Un objet individuel est aléatoire s il n existe aucune façon calculable de prouver qu il n est pas aléatoire. Ceci veut dire que toutes les définitions effectives d objet aléatoire sont des définitions négatives: on donne d abord une définition effective (calculable) d objet non-aléatoire, puis on définit un objet aléatoire comme étant un objet qui n est pas non-aléatoire. Il reste à préciser ce que l on entend par calculable. La thèse de Church- Turing, presque universellement acceptée aujourd hui, affirme que calculable doit être compris comme calculable par machine de Turing (ou tout autre modèle de calcul équivalent). Ainsi, toute la théorie effective de l aléatoire se base sur la théorie de la calculabilité. Structure de cette thèse Dans cette thèse on étudie la théorie effective de l aléatoire pour les suites binaires, finies ou infinies. Le premier chapitre présente diverses défintions de suite binaire aléatoire. On peut classer ces dernières en deux grandes catégories: les notions de typicalité et les notions d imprédictibilité. Les notions de typicalité basées sur la théorie de la mesure formalisent l idée intuitive qu une suite binaire infinie satisfait toutes les propriétés de probabilité 1 pouvant être testées de façon effective. Les deux principales notions de cette catégorie sont l aléatoire au sens de Martin-Löf et l aléatoire au sens de Schnorr. On présente également le concept de dimension de Hausdorff effective. Bien qu un peu trop faible pour définir le concept de suite aléatoire, la dimension de Hausdorff effective permet d associer à toute suite binaire infinie un réel entre 0 et 1 mesurant son degré d aléatoire (0 signifiant pas du tout aléatoire, et 1 signifiant assez aléatoire ). Comme on peut s en douter, les notions d imprédictibilité expriment le fait qu une suite binaire infinie est aléatoire s il n existe aucune façon effective d en prédire les bits. Historiquement, le premier modèle formalisant cette intuition fut le modèle de règle de sélection, introduit par von Mises. Une règle de sélection est un procédé qui, étant donnée une suite binaire infinie, en sélectionne une sous-suite (qui peut être finie ou infinie). Un point important est qu une règle de sélection ne doit pas pouvoir connaître la valeur d un bit avant de prendre la décision de le sélectionner ou non. Von Mises souscrivait à l idée que la probabilité d un évènement est la fréquence asymptotique d occurence de cet évènement lorsque l on repète une expérience une infinité de fois. Il définit donc une suite binaire in-

10 finie aléatoire comme étant une suites dont toutes les sous-suites infinies obtenues par une règle de sélection effective (la notion de calculabilité n étant pas connue du temps des travaux de von Mises) satisfont la Loi des Grands Nombres (i.e. comprennent asymptotiquement autant de zéros que de uns). Ville montra par la suite que cette définition est en réalité trop faible, certaines suites aléatoires au sens de von Mises ayant des propriétés clairement non-aléatoires (comme par exemple des suites dont tous les préfixes contiennent plus de zéros que de uns). Plutôt qu aléatoire, nous utilisons un autre terme, celui de suites stochastiques, pour désigner de telles suites. Nous présenterons deux classes de suites stochastiques: les suites Church-stochastiques (pour lesquelles on considère des règles de sélection monotones, sélectionnant les bits de gauche à droite), et les suites Kolmogorov- Loveland-stochastiques (pour lesquelles on considère des règles de sélection qui peuvent sélectionner les bits dans un ordre quelconque). Afin d affiner le modèle de von Mises et le concept d imprédictibilité, Schnorr (dans la continuité des idées de Ville) proposa un modèle plus général, dans lequel un joueur tente de prédire les bits d une suite binaire infinie en pariant de l argent sur leurs valeurs, doublant sa mise quand il a raison, la perdant quand il a tort. Le joueur gagne si son capital tend vers l infini au cours de la partie. La suite binaire infinie est dite imprédictible si aucune stratégie calculable ne permet au joueur de gagner contre cette suite. Comme pour la stochasticité, deux classes de suites imprédictibles sont présentées: les suites récursivement aléatoires (en anglais computably random ) pour lesquelles le joueur parie sur les bits de gauche à droite, et les suites Kolmogorov-Loveland aléatoires, pour lesquelles le joueur peut parier sur les bits dans un ordre quelconque. Bien que toutes les notions d aléatoires mentionnées ci-dessus soient distinctes (ceci est déjà connu et sera expliqué au fur et à mesure de cette thèse), elles peuvent toutes être caractérisées en termes de jeux, sur le modèle des suites récursivement aléatoires. Ceci montre que typicalité et imprédictibilité sont intrinsèquement liées, et permet de donner une classification précise des différentes notions d aléatoire. En particulier, on montrera qu une suite infinie est non-stochastique s il existe une stratégie calculable permettant de gagner de l argent exponentiellement vite (par rapport au nombre de coups où le joueur mise un montant d argent strictement positif). Ce résultat avait été obtenu auparavant par Schnorr, mais nous donnerons un résultat quantitatif, reliant précisément la vitesse des stratégies gagnantes au biais des sous-suites sélectionnées. Un autre concept relié à la Loi des Grands Nombres est celui de normalité. Un nombre réel est dit normal dans une certaine base si la suites de ses décimales dans cette base a la propriété que tous les motifs (i.e. suites finies de chiffres) apparaissent avec la même fréquence (asymptotiquement). Un nombre est dit absolument normal s il est normal dans toute base entière. Becher et Figueira ont prouvé qu il existait un nombre absolument normal calculable. Nous donnons une preuve alternative de ce résultat comme illustration des concepts et résultats présentés dans ce premier chapitre. Le chapitre se termine par une brève discussion portant sur les liens entre aléatoire et théorie des catégories de Baire. Bien qu elles aient pour mesure 1, toutes les classes raisonnables de suites aléatoires sont maigres au sens de Baire. vii

11 viii Résumé de la thèse Dans le second chapitre, nous revenons à la question de l aléatoire pour les suites binaire finies. Nous commençons par introduire la notion fondamentale de complexité de Kolmogorov, introduite indépendamment et presque simultanément par Solomonoff, Kolmogorov et Chaitin. La complexité de Kolmogorov d une suite binaire finie est définie comme étant la taille du plus court programme qui la génère. Il est facile de voir que la complexité de Kolmogorov d une suite est comprise entre 0 et (en gros) sa longueur. Intuitivement, une suite finie aléatoire doit être difficile à décrire, tandis qu une suite non-aléatoire présente une certaine régularité (sinon, sur quel critère pourrait-on la juger non-aléatoire?) et donc admet une description plus courte qu elle-même. Cette intuition montre que la complexité de Kolmogorov est une bonne mesure du caractère aléatoire d une suite binaire finie. On présente deux variantes de la complexité de Kolmogorov: la complexité de Kolmogorov dite pleine et la complexité de Kolmogorov préfixe. Nous en donnons les principales propriétés, notamment le fait que la majorité des suites finies ont une complexité quasi-maximale (i.e. proche de leur longueur), ce qui est bien sûr le moins que l on puisse attendre d une mesure d aléatoire. Nous expliquons également pourquoi aucune de ces deux complexités n est calculable. La seconde partie du chapitre étudie les liens entre la complexité de Kolmogorov et les notions d aléatoire introduites au chapitre précédent. Nous commençons par les suites aléatoires de Martin-Löf, pour lesquelles la situation est bien comprise. En effet, le théorème fondamental de Levin et Schnorr fournit un critère précis (c est-à-dire une condition nécessaire et suffisante) pour cette notion: une suite binaire infinie est aléatoire au sens de Martin-Löf si tous ses segments initiaux ont une complexité préfixe plus grande que leur longueur, à une constante additive près. Nous présentons également le théorème de Miller et Yu, qui donne une caractérisation similaire en termes de complexité de Kolmogorov pleine. Le rapport à la complexité de Kolmogorov est moins limpide pour les autres notions d aléatoire. En particulier, les notions de suite récursivement aléatoire, de suite Schnorr aléatoire, et de suite Church stochastique sont en quelque sorte orthogonales à la complexité de Kolmogorov. En effet, il existe des suites qui sont Schnorr aléatoires, récursivement aléatoires et Church stochastiques et dont les segments initiaux ont une complexité de Kolmogorov très faible; et inversement, ils existe des suites dont les segments initiaux ont une complexité élevée et qui ne sont ni Schnorr aléatoires, ni récursivement aléatoires, ni Church stochastiques. Nous donnons cependant une condition suffisante pour les suites Schnorr aléatoires en termes de complexité préfixe, et nous montrons que cette condition n est suffisante ni pour les suites récursivement aléatoires ni pour les suites Church stochastiques. Le cas des suites Kolmogorov-Loveland stochastiques est également intéressant. Un résultat récent de Merkle, Miller, Nies, Reimann et Stephan montre qu une suite Kolmogorov-Loveland stochastique doit avoir une forte complexité de Kolmogorov. Plus précisément, le rapport complexité sur longueur de ses segments initiaux doit tendre vers 1. Nous étudions la stochasticité de Kolmogorov-Loveland du point de vue inverse: si le rapport complexité sur longueur d une suite ne tend pas vers 1, il est possible d en sélectionner (de façon non-monotone) une sous-suite biaisée; quel lien y-a-t il entre le biais des sous-suites sélectionnées et la limite

12 ix inférieure du rapport complexité sur longueur? Cette question fut étudiée par Asarin, Durand et Vereshchagin dans le cas des suites binaires finies, mais leurs résultats ne sont pas directement applicables aux suites infinies. En combinant les techniques de Merkle et al. avec la caractérisation de la stochasticité par les jeux (prouvée au Chapitre 1), nous donnons une borne inférieure précise pour le biais maximal des sous-suites sélectionnées (borne dont nous prouvons l optimalité au Chapitre 3). Nous discutons également les interprétations de ces résultats en termes de dimension de Hausdorff effective. La complexité de Kolmogorov n étant pas calculable, on est en droit de se demander en quoi il est légitime d en faire la notion centrale de la théorie effective de l aléatoire. De plus, ceci donne peu d espoir de lui trouver une quelconque application pratique. Une façon de contourner le problème est de considérer des approximations calculables de la complexité de Kolmogorov. La complexité d une suite finie est définie comme étant la longueur de sa plus courte description, qui peut également être vue comme étant sa plus courte forme compressée. Il n y a pas en général de méthode effective pour trouver cette meilleure compression, mais il est possible d en trouver une raisonnable en compressant la suite par un algorithme classique de compression (par exemple Lempel-Ziv ou Burrows-Wheeler). La longueur de la suite compressée ainsi obtenue est alors une approximation de la complexité de Kolmogorov de la suite initiale. Plus précisément, elle en est une borne supérieure. Cette approche fut utilisée par Cilibrasi et Vitanyi pour des applications pratiques (classification de données notamment). La dernière partie de ce chapitre reprend cette approche, d un point de vue assez théorique toutefois. Nous réexaminons les liens entre l aléatoire et la complexité lorsque l on remplace la complexité de Kolmogorov par ses bornes supérieures calculables. De façon surprenante, toutes les caractérisations des suites aléatoires de Martin-Löf restent vraies dans ce contexte. En particulier, le théorème de Levin-Schnorr reste vrai si l on remplace la complexité de Kolmogorov par ine borne supérieure calculable bien choisie. Ceci permet même de donner une preuve simple du théorème de Miller et Yu. Mieux encore, certaines classes de suites d a léatoire, comme par exemple les suites Schnorr aléatoires, qui semblaient présenter peu de liens avec la complexité de Kolmogorov (comme expliqué plus haut), se caractérisent de façon fort naturelle en termes de bornes supérieures calculables. Les deux premiers chapitres traitent de la théorie effective de l aléatoire pour la mesure uniforme (de Lebesgue), pour lesquels les bits sont choisis indépendamment les uns des autres, et où chaque bit a exactement une chance sur deux d être 0. Le troisième et dernier chapitre généralise l étude de la théorie effective de l aléatoire à toutes les mesures de probabilité calculables. Hormis la stochasticité, toutes les notions d aléatoire discutées plus haut peuvent être adaptées à des mesures calculables quelconques. Informellement, la question principale étudiée dans ce chapitre est la suivante: Jusqu à quel point peut-on changer la mesure de probabilité sans affecter les notions d aléatoire? Par exemple, quelles sont les mesures de probabilité dont les suites Martin-Löf aléatoires sont les mêmes que les suites Martin-Löf aléatoires pour la mesure uniforme? Cette question est liée à la notion d équivalence entre mesures. En théorie classique des probabilités, deux mesures sont équivalentes si

13 x Résumé de la thèse elles ont les mêmes ensembles de mesure 0 (intuitivement, tout évènement improbable pour l une est improbable pour l autre). On peut donner une version effective de cette notion, en disant que deux mesures sont effectivement équivalentes si elles admettent les mêmes suites aléatoires. Bien sûr, avec ce schéma, différentes notions d aléatoires induisent (a priori) différentes relations d équivalence. La première partie du chapitre est consacrée aux relations d équivalence pour une classe de mesures particulière: les mesures de Bernoulli généralisées. Elles correspondent à la situation où les bits d une suite binaire infinie sont choisis indépendamment les uns des autres, mais la distribution de probabilité entre 0 et 1 dépend de la position du bit dans la suite. En théorie classique des probabilités, il existe un critère bien connu pour déterminer si deux mesures de Bernoulli gńéralisées sont équivalentes: le théorème de Kakutani. Nous étendons les travaux de Muchnik, Semenov, Uspenski, et Vovk, pour montrer que le critère de Kakutani est également valide pour toutes les relations d équivalence effectives que nous considérons. Pour prouver ce résultat, nous utilisons un argument basé sur la théorie des jeux: si deux mesures de Bernoulli généralisées satisfont le critère de Kakutani, il est possible de transformer de façon effective une stratégie gagnante par rapport `la première mesure en une stratégie gagnante pour la seconde mesure. Des applications de cette classe de mesures sont également présentées: nous montrons comment elles peuvent être utilisées pour prouver que la classe des suites Kolmogorov-Loveland stochastiques est strictement plus grande que la classe des suites Martin-Löf aléatoires (un résultat de van Lambalgen et Shen). Nous les utilisons aussi pour prouver l optimalité des bornes (présentées au Chapitre 2) reliant le défaut d léatoire d une suite au biais de ses sous-suites sélectionnées. Bien que toutes les relations d équivalences effectives que nous étudions coïncident sur la classe des mesures de Bernoulli généralisées calculables, ce n est plus vrai dans le cas général (avec des mesures calculables quelconques). Dans le reste du chapitre, nous donnons une classification complète des relations d équivalence effectives. Pour cela, nous utilisons diverses notions de calculabilité pure, comme les degrés de Turing hauts et l hyperimmunité. Un résultat important de cette classification est que deux mesures calculables ayant les mêmes suites Martin-Löf aléatoires sont nécessairement équivalentes, mais la réciproque n est pas vraie. Autre résultat remarquable: alors que deux mesures sur l espace de Cantor sont classiquement équivalentes si elles ont les mêmes fermés de mesure nulle, ceci n est plus vrai quand on passe au point de vue constructif. Précisément, il n est pas vrai que deux mesures calculables ayant les mêmes fermés effectifs de mesure nulle sont nécessairement équivalentes. Enfin, on remarquera le fait que les implications entre les différentes relations d équivalence effectives ne sont aucunement liées aux notions d aléatoire sous-jacentes. Principales contributions Pour résumer ce qui précède, les principaux résultats originaux de cette thèse sont les suivants: Nous donnons une analyse quantitative du résultat de Schnorr affirmant

14 xi qu une stratégie gagnant exponentiellement vite peut être transformée en règle de sélection qui sélectionne une sous-suite infinie biaisée (Théorème ). Nous utilisons ce résultat pour donner des bornes précises reliant le défaut d aléatoire des suites binaires infinies au biais maximal des sous-suites sélectionnées (Théorème ). Ce travail a été publié dans [8]. Nous donnons une preuve originale du fait que les suites aléatoires de Schnorr ne sont pas toutes Church-stochastiques: nous donnons pour cela une condition sur la complexité de Kolmogorov des segments initiaux qui est suffisante pour les suites Schnorr aléatoires, et insuffisante pour les suites Church stochastiques (Proposition et Théorème ). Le cas particulier des suites approchables par le bas est également traité (Proposition ). Nous présentons une nouvelle approche de la théorie effective de l aléatoire basée sur les bornes supérieures calculables de la complexité de Kolmogorov (Section 2.3), et on montre qu elles fournissent un cadre unifié dans lequel on peut exprimer de nombreuses notions d aléatoire. Ce travail a fait l objet de la publication [10]. Nous prouvons une version constructive du théorème de Kakutani (Théorème3.2.5) en utilisant des arguments de théorie des jeux. Ce théorème généralise des résultats antérieurs, et peut être utilisé pour prouver le théorème de Kakutani classique. Ce résultat figure dans l article [7]. Nous donnons une classification complète des relations d équivalence effectives induites par les différentes notions d aléatoire sur l espace des mesures de probabilité calculables (Sous-section 3.3.2). Ce travail a été publié dans [9].

15 xii Résumé de la thèse

16 Introduction Effective randomness This thesis is a contribution to the field of effective randomness, also known as algorithmic randomness. The purpose of this theory is to give a mathematical meaning to the idea of a random object. To understand the motivation of this theory, let us start with a real-life example. Imagine a company whose business is to sell sequences of random bits (say, sequences of bits burnt on a DVD), which they advertise as Genuine random bits, generated by some truly random process (radioactive decay for example). We are interested in buying such a sequence, which we want to use as a source of randomness for a probabilistic algorithm (e.g. primality testing). We order a sequence from this company, and we receive a DVD containing the sequence (repeated five billion times) Needless to say that we are particularly unsatisfied by this sequence, so we write the company a letter in which we complain that the sequence they sent is not random at all, asking for our money back. Their answer is the following: Dear sir or madam. We received your letter about the sequence of random bits you have purchased. We are sorry that it did not give you full satisfaction. However, we do not understand your claim that this sequence is not random. Indeed, this sequence has the same probability of occurrence as any other sequence of length 10 10, so whatever property this sequence has that makes you question its random nature is just a coincidence. Somehow, we are still not satisfied. Their argument that this sequence has the same probability of occurence as any other one is correct, but we still think that our sequence is not random. How can we explain this formally? A related question is: if a company wants to sell sequences of random bits, what kind of guarantee can they offer to earn trust from their potential customers? These questions are somewhat philosophical, hence there is no unique way to answer them. Effective randomness is only one possible attempt to get a decent answer. Actually, even within effective randomness, there are different answers to xiii

17 xiv Introduction these questions. However, they all have the same leitmotiv: An individual object is random if there is no computable way to prove its non-randomness This means that all the effective definitions of randomness are negative definitions: one first gives a definition of (computable) non-randomness for individual objects, and then defines a random object to be an object that is not non-random. It remains to explain what we mean by computable. The Church-Turing thesis, which is almost universally accepted nowadays, tells us that computable should be understood as computable by a Turing machine (or any equivalent model of computation). Thus, the whole field of effective randomness relies on classical computability theory. Structure of this thesis This thesis is concerned with the algorithmic randomness of binary sequences, finite or infinite. The first chapter presents several possible definitions of random binary sequences. They can be classified into two categories: notions of typicalness and notions of unpredictability. Typicalness notions of randomness rely on the intuition based on measure theory that a random infinite sequence should satisfy all the properties of probability 1 that can be effectively tested. The two main definitions in this category are Martin-Löf randomness and Schnorr randomness. We also present the concept of effective Hausdorff dimension. Although it is a little too weak to fully define what a random sequence is, effective Hausdorff dimension allows us to assign to every infinite sequence a real number between 0 and 1 measuring the degree of randomness of the sequence (0 meaning not random at all and 1 meaning quite random ). As one can guess, unpredictability notions express the fact that an infinite binary sequence is random if there is no effective way to predict its bits. The first model to support this intuition is the model of selection rules introduced by von Mises. A selection rule is a process which, given an infinite binary sequence, selects from it a subsequence (which can be finite or infinite). An important restriction is that the selection rule should not be able to look at a bit before making the decision to select it or not. Von Mises, who was motivated by the frequency approach to randomness, defined an infinite sequence to be random if all the infinite subsequences selected from it by an effective selection rule satisfy the Law of Large Numbers. As shown by Ville, this model is too weak; some sequences have this property and yet can hardly be called random. Hence, instead of random, we will use another term, stochastic, for sequences having this property. Two variations of stochasticity will be presented: Church stochasticity, where the selection rules select bits in order (from left to right), and Kolomogorov-Loveland stochasticity, where the selection rules can select the bits in any order. To refine the concept

18 xv of unpredictability, Schnorr (elaborating on the ideas of Ville) proposed a more general model. He considered an infinite gambling game, where a player bets money on the bits of an infinite sequence, losing his stake when he is wrong, doubling its stake when he is right. The player wins if his capital grows unboundedly during the game. A sequence is unpredictable if no computable betting strategy allows the player to win. Similarly to stochasticity, two notions of unpredictability are defined: computable randomness, for which we consider the betting strategies which bets on all the bits in order, and Kolmogorov-Loveland randomness, for which we consider betting strategies that can be on the bits in any order. Although all the notions of randomness we just mentioned are different (which will be explained throughout this thesis), they can all be characterized in terms of betting strategies. This proves that typicalness and unpredictability are closely related, and yields a classification of randomness notions. In particular, we show that a random sequence is not stochastic if and only if there exists a computable betting strategy which, betting on this sequence, has a capital which increases exponentially in the number of non-zero bets made. This fact was proven earlier by Schnorr, but we provide a careful analysis (based on a compactness argument) of the relation between the maximal rate of success of betting strategies and the maximal bias of the infinite selected subsequences. Another concept related to the Law of Large Numbers is normality. A real number is said to be normal in a certain base if its expansion in this base forms a sequence of digits in which all patterns of a given length appear with the same frequency. A number is absolutely normal if it is normal in all bases. Becher and Figueira proved that there exists a computable normal number. We provide an alternative proof of this fact as an illustration of the concepts presented earlier. The first chapter ends with a brief discussion of effective randomness from the point of view of Baire category. Although they have measure 1, all reasonable classes of random sequences turn out to be meager. In the second chapter, we return to effective randomness for finite binary sequence. We start by introducing the fundamental notion of Kolmogorov complexity, defined independently and almost simultaneously by Solomonoff, Kolmogorov and Chaitin. The Kolmogorov complexity of a finite binary sequence is defined as the length of the shortest program which outputs this sequence. It is easy to see that the Kolmogorov complexity of a finite sequence is roughly between 0 and its length. Intuitively, a random finite sequence should be hard to describe while a non-random one should contain some kind of pattern or regularity (otherwise, what could possibly make us think that it is not random?) hence should have a description shorter than itself. This makes Kolmogorov a powerful tool to measure the degree of randomness of a finite binary sequence. We present two versions of Kolmogorov complexity: the plain version and the prefix version. We discuss their basic properties, among which the fact that most strings have maximal complexity (i.e. close to their length), which is the least we can ask from a measure of randomness. We also explain why neither version of Kolmogorov complexity is computable. The second part of the chapter studies the interaction between Kolmogorov

19 xvi Introduction complexity and the notions of randomness for infinite sequences. We start with Martin-Löf randomness, for which the situation is well understood. Indeed, the celebrated Levin-Schnorr theorem provides a precise criterion (i.e. a necessary and sufficient condition) for this notion: an infinite binary sequence is Martin-Löf random if and only if all its initial segments have prefix complexity greater than their length, up to an additive constant. We also present the recent Miller-Yu theorem, which provides a similar characterization in terms of plain complexity (stonger versions of Martin-Löf randomness are also discussed). The situation regarding Kolmogorov complexity is not so simple for other notions of randomness. In particular, computable randomness, Schnorr randomness and Church stochasticity are in some sense orthogonal to Kolmogorov complexity. Indeed, there exist Schnorr random, computably random, and Church stochastic sequences of very low Kolmogorov complexity, and there exist sequences of very high complexity which are not computably random, not Schnorr random and not Church stochastic. We can nonetheless give a sufficient condition for Schnorr randomness in terms of prefix complexity, and we show that this condition is not sufficient for computable randomness nor for Church stochasticity, obtaining a new proof of the separation of these concepts (originally obtained by Wang). The case of Kolmogorov-Loveland stochasticity is also interesting. A recent result of Merkle, Miller, Nies, Reimann and Stephan states that a Kolmogorov-Loveland sequence must have high Kolmogorov complexity. More precisely, the ratio complexity over length of its initial segments must tend to 1. We investigate the reverse direction of this fact: if the ratio does not tend to 1, i.e. its limit inferior is smaller than 1, then it is possible to select (non-monotonically) an infinite biased subsequence. How does the bias of the selected subsequences relate to the inferior limit of the ratio complexity over length? The same question was previously studied by Asarin, Durand and Vereshchagin for finite strings, but their work could not be directly applied to infinite ones. Combining the techinques of Merkle et al. with the characterization of stochasticity via betting strategies proven in Chapter 1, we provide a precise lower bound for this maximal bias (which we prove to be optimal in Chapter 3). An interpretation of this result in terms of effective Hausdorff dimension is also given. As Kolmogorov complexity is not computable, one can question its legitimity as the central notion of effective randomness. Also, this non-computability a priori rules out any hope of practical applications. A way to avoid this problem is to consider computable approximations of Kolmogorov complexity. The complexity of a finite string is the length of its shortest description, which can also be seen as the shortest compressed form of the string. In general, there is no way to find this best compression, but we can try to get a reasonable one by running our favorite lossless compression algorithm (e.g. Lempel-Ziv, Burrows-Wheeler...) on the sequence. The length of the compressed string is then an approximation of the Kolmogorov complexity of the original string. More precisely, it is an upper bound, because a better way to compress it might very well exist. This approach was for example followed by Cilibrasi and Vitanyi for practical purposes. The last part of the chapter studies this approach but still from a rather theoretical viewpoint. We reexamine the interaction between randomness and Kolmogorov complexity when Kolmogorov complexity is replaced by its computable upper bounds. Perhaps sur-

20 xvii prisingly, all the characterizations of Martin-Löf randomness remain true in this setting. In particular, the Levin-Schnorr criterion for Martin-Löf randomness remains true if one replaces the prefix Kolmogorov complexity by a well-chosen upper bound. This even allows us to give a simple proof of the Miller-Yu criterion. Even better, some notions of randomness, like Schnorr randomness, that seem unrelated to Kolmogorov complexity (as explained above) admit very natural characterizations in terms of computable upper bounds. The first two chapters focus on randomness with respect to the uniform measure for which the bits are chosen independently and both values 0 and 1 have probability 1/2. The last chapter extends the study of effective randomness to all computable probability measures. Stochasticity aside, all notions of randomness can be adapted to any such measure. Informally, the main question studied in the chapter is how much can we modify the measure without changing the notions of randomness? For example, what are the measures whose Martin-Löf random sequences are the same as the Martin-Löf sequences for the uniform measure? This question is related to that of equivalence of measures. In classical probability theory, two measures are said to be equivalent if they have the same sets of measure 0 (informally, every unlikely event for one measure is unlikely for the other). We can define effective versions of this equivalence relation, by saying that two measures are effectively equivalent if they have the same random elements. Of course, different notions of randomness induce different equivalence relations. The first part of the chapter studies equivalence relations for a particular class of measures: generalized Bernoulli measures. They correspond to the situation where the bits are chosen independently but where the probability distribution of a bit depends on its position in the sequence. In classical probability theory, there exists a well-known criterion for the equivalence of two generalized Bernoulli measures: Kakutani s theorem. Extending the work of Muchnik, Semenov and Uspenski, and of Vovk, we prove that Kakutani s criterion holds for all the effective equivalence relations we consider. To prove this, we use a game-theoretic argument: if two measures satisfy Kakutani s criterion, we show that every winning betting strategy for a measure can be transformed into a winning betting strategy for the second measure. Applications of generalized Bernoulli measures to stochasticity are presented. We show how they can be used to prove that Kolmogorov-Loveland stochasticity is weaker than Martin-Löf randomness (a result of van Lambalgen and Shen). We also use them to prove the optimality of the bounds (given in Chapter 2) relating randomness deficiency to the biases of selected subsequences. While all the effective equivalence relations we consider coincide when restricted to generalized Bernoulli measures, this is no longer the case for arbitrary computable measures. The rest of the chapter provides a complete classification of the equivalence relations, whose proof involves various notions of computability theory, like hyperimmunity or highness. An interesting result in this classification is that two computable measures which have the same class of Martin-Löf random elements are equivalent in the classical sense, but the converse is not true. Also, two measures on the Cantor space which have the same closed nullsets are equivalent in the classical sense, but this fact cannot be effectivized: we prove that two

21 xviii Introduction computable measures which have the same effectively closed sets need not be equivalent. Another very interesting fact is that the implications between the different equivalence relations are completely unrelated to the implications of the underlying notions of randomness. Main contributions To sum up, the main original contributions of this thesis are the following. We give a quantitative analysis of how an exponentially winning betting strategy can be transformed into a selection rule which selects an infinite biased subsequence (Theorem ). We use this result to give precise bounds expressing how biased the (non-monotonically selected) subsequences can be given the degree of non-randomness of the sequence (Theorem ). This work was published in [8] We provide an original proof for the separation of Schnorr randomness and Church stochasticity: we state a condition on the Kolmogorov complexity of the initial segments which is sufficient for Schnorr randomness but not for Church stochasticity (Proposition and Theorem ). The particular case of the left-c.e. sequences is studied (Proposition ). We present a new approach of effective randomness based on computable approximations of Kolmogorov complexity (Section 2.3), and we show that they provide a unified framework for many notions of randomness. This work was published in [10]. We prove a constructive version of Kakutani s theorem (Theorem 3.2.5) using game-theoretic arguments. This generalizes earlier results and can even be used as an alternative proof of Kakutani s theorem. This result appears in [7]. We give a complete classification of constructive equivalence relations induced by randomness notions on computable probability measures (Subsection 3.3.2). This work was published in [9].

22 Chapter 1 Randomness notions This chapter presents a survey of the most popular notions of algorithmic randomness. They arise from two principles: typicalness and unpredictability. Although their formulations are very different, we will see that these two principles are in fact closely related. In particular, the game-theoretic notion of martingale, which we use to support the unpredictability principle, turns out to be sufficient to characterize all the notions of randomness that we will introduce, and this allows us to classify them hierarchically. An interesting application of effective randomness to the construction of absolutely normal real numbers is also presented. 1.1 Notation and basic definitions We assume that the reader is familiar with basic computability notions, like computable functions, computable sets, computably enumerable sets, Turing reduction, oracle etc. We write α T β if α is Turing-reducible to β. We denote by 0 the oracle for the halting problem. If A is a computably enumerable set, for some fixed enumeration of A, we denote by A[t] the elements of A which are enumerated during the first t steps of the enumeration. If f is a computable function, given an input x, we write f(x) to express that f(x) is defined. Moreover, for t N, we write f(x)[t] to express that f(x) is defined and the computation of f(x) requires at most t steps of computation. We denote the set of strings (i.e. finite sequences of zeros and ones, which we also call words) by 2 <ω. We denote by w (i) the i-th bit of w (by convention there is a 0-th bit), by w n the string made of the first n bits of w (with the convention w n = w if n> w ), by ww the concatenation of two strings w and w, and by ǫ the empty word. The length of a word w is denoted by w. The prefix order on strings is denoted by where w w if w w and for all i< w, w (i) = w (i) (w is then said to be a prefix of w ). The corresponding strict order is denoted by. A subset of A of 2 <ω is said to be prefix-free if any two elements of A are uncomparable for the prefix-order. Given a property P on strings, the set of 1

23 2 Chapter 1. Randomness notions minimal strings satisfying this property is the set of strings satisfying P such that none of their prefixes satisfy P. The lexicographic order is denoted by lex. We will frequently need to identify strings with integers. To do so, we will use the function Bin, where Bin(0) = ǫ, Bin(1) = 0, Bin(2) = 1, Bin(3) = 00, Bin(4) = 01, Bin(5) = 10, Bin(6) = 11, Bin(7) = 000, etc. Bin is a computable bijection, we denote by Bin 1 its inverse. Notice that Bin(n) = log 2 (n + 1) for all n. We abbreviate log 2 by log. The number of zeros (resp. of ones) in a string w is denoted by #0(w) (resp. #1(w)). We call Cantor space, and denote it by 2 ω, the set of infinite binary sequences. We will use greek letters α,β,... to name elements of this set. We denote by α (i) the i-th bit of a sequence α, and by α n the prefix of α of length n (i.e. α n = α (0)...α (n 1) ). We also extend the prefix order to express that a string is a prefix of an infinite sequence, i.e. we have w α for some w 2 <ω and α 2 ω if for all i< w, w (i) = α (i). We also extend the lexicographic order to 2 <ω 2 ω, where for all x, y 2 <ω 2 ω, x lex y if and only if for every finite prefix x of x, there exists a finite prefix y of y such that x lex y. We usually denote with calligraphic letters U, V, X, etc. the subsets of 2 ω. For X 2 ω, we denote by X the complement of X in 2 ω. The sequence 0 ω (resp. 1 ω ) is the infinite sequence α such that α (i) = 0 (resp. α (i) = 1) for all i. We extend the notion of computable function from N to N to functions from D to D whenever D and D can be identified in a computable way to N or a subset of N. This includes for example N N, 2 <ω, Q, {0,1} etc. An infinite binary sequence α 2 ω is computable if it is computable when seen as a function from N to {0, 1}. A function g : D R is computable if there exists a computable function h : D N Q such that for all (x, t) D N, h(x, t) g(x) 2 t (that is, g can be effectively approximated by a rational-valued function with any givem precision). A function g : D R is left-computably enumerable (left-c.e. for short) if there exists a computable function h : D N Q such that for all x D, the sequence (h(x, t)) t N is non-decreasing and converges to g(x). Note that if f : D R is left-c.e., the set {(x, q) D Q : f(x) >q} is c.e. A real number r is left-c.e. if the constant function r is left-c.e. A sequence α 2 ω is left-c.e. if it is the binary expansion of a left-c.e. real r [0,1). Equivalently, it is left-c.e. if it is the pointwise limit of a computable sequence (w n ) n N of strings that is non-decreasing for the lexicographic order. For functions from N to N (or R), we will extensively use the O and o notation. Given two functions f, g : N N, we say that f = O(g) if there exists a constant c> 0 such that f(n) cg(n) for all n. We say that f = o(g) if for all c>0, f(n) cg(n) for almost all n. When we write a formula like f(n) g(n)+o(h(n)) without quantifiers, we mean that there exist a constant c such that for all n: f(n) g(n)+ch(n). We say that a function f dominates a function g if f(n) g(n) for almost all n. An order is a non-decreasing unbounded function h : N N. Given