Tant que ce n'est pas bon

« Tant que le compteur est plus petit que dix, recommence. » C'est une des plus vieilles phrases de l'informatique. Elle marche pour une raison qu'on ne remarque plus. La machine sait répondre à la question qu'on lui pose. Comparer un compteur à dix lui coûte un cycle d'horloge, c'est-à-dire une seule des opérations dont un processeur enchaîne des milliards par seconde. Et la réponse est exacte. Toute la force de la boucle vient de là : sa condition d'arrêt ne coûte presque rien.

Les questions qui décident vraiment de la qualité d'un travail ne sont pas si faciles. Ce graphique est-il lisible ? Ce paragraphe s'enchaîne-t-il avec celui d'avant ? Ce modèle de prévision mérite-t-il qu'on le mette en production ? Aucune ne se tranche en un cycle d'horloge. Alors on les a sorties des boucles. On les a reléguées à la fin, dans une seule relecture, faite à la main, par quelqu'un qui a déjà beaucoup travaillé.

La boucle Ralph les y remet. Elle garde le squelette du « tant que », mais elle met un jugement là où se trouvait le test. Ce juge peut être un œil humain. Ce peut être un modèle de vision, un programme d'intelligence artificielle qui décrit ce qu'il voit dans une image. Ce peut être enfin un jeu de données mis de côté. Le changement paraît mince. Il change pourtant tout ce qu'on peut automatiser. Il ouvre aussi un piège précis, qu'on peut chiffrer.

Deux terrains mettent la boucle à l'épreuve : les figures et la prose. Le second réserve une surprise. L'instrument qu'on y emploie a été inventé par Mark Twain, pour se moquer d'une traduction de sa propre nouvelle. La vision par ordinateur le lui a emprunté un siècle plus tard. Il revient ici chez lui. Le piège, lui, a sa mécanique propre. La boucle consulte toujours le même juge. Elle finit par apprendre ses manies au lieu du sujet. Les statisticiens appellent cela surapprendre. On va le chiffrer, le voir se produire sur de vraies données, et en tirer deux règles de conduite. Une boucle autonome ne vaut pas par le talent de celui qui agit. Elle vaut par la qualité du juge qu'on lui donne, et par l'interdiction qui lui est faite de le corrompre.

La boucle en une ligne

Le nom vient de l'ingénieur australien Geoffrey Huntley. Il a décrit en juillet 2025 ce qu'il appelle la technique Ralph¹. Le prénom est celui de Ralph Wiggum, l'écolier des Simpson dont les réponses tombent à côté avec une constance admirable. La technique s'écrit sur une seule ligne, à taper dans un terminal :

while :; do cat PROMPT.md | claude-code ; done

Mot à mot : tant que vrai, donne le contenu du fichier PROMPT.md à l'agent, puis recommence. On écrit donc dans un fichier ce qu'on veut obtenir, puis on le donne en boucle à un agent de codage. Un agent de codage, c'est un modèle de langage, le programme qui anime les assistants conversationnels. On lui a donné en plus le droit de lire des fichiers, d'en écrire et de lancer des commandes. On ne l'arrête pas. La surprise, c'est que cela produise du logiciel utilisable, et non une pile de fichiers incohérents.

Pourquoi ça marche ? Un modèle de langage travaille dans une fenêtre de contexte, c'est-à-dire la quantité de texte qu'il garde sous les yeux pendant un échange. Cette fenêtre est courte. Elle se dégrade aussi à mesure qu'on la remplit : en fin de longue conversation, le modèle perd le fil de ses propres décisions. Les fichiers du projet, eux, ne se dégradent pas. À chaque tour de la boucle de Huntley, l'agent repart de zéro, relit l'état réel des fichiers, fait une chose, l'écrit. Le progrès s'accumule sur le disque, jamais dans la mémoire du modèle. C'est l'oubli qui fait marcher la technique.

Huntley ne vend pas sa technique comme une solution. Il écrit qu'elle est « mauvaise de façon déterministe dans un monde indéterministe ». Il ajoute deux conditions. Le projet doit être neuf. Un ingénieur expérimenté doit tenir la barre. Son résultat sort, dit-il, « sous-cuit, cuit ou cuit avec des comportements latents non spécifiés ». Il rapporte un contrat facturé 50 000 dollars livré pour 297 dollars de calcul : c'est son chiffre, que rien dans cet article ne vérifie.

Un détail de sa ligne de commande mérite qu'on s'arrête, parce que c'est tout le sujet de cet article. while : veut dire « tant que vrai » : la condition est vide. La boucle d'origine n'a aucun test. Elle tourne jusqu'à ce qu'un humain l'arrête. Tout ce qui devient intéressant commence quand on remet quelque chose dans cette condition. Huntley lui-même a étendu l'idée en janvier 2026, en soutenant qu'elle vaut pour toute tâche², sans dire comment. C'est ce que la suite essaie de faire.

Le cycle : agir, rendre, juger, décider

Un cycle en quatre temps suffit à décrire toutes les variantes qu'on rencontre. Agir : produire une modification, une seule, pour savoir plus tard à quoi attribuer le résultat. Rendre : transformer cette modification en un objet qu'on peut poser devant soi. Une image, un texte imprimé, un tableau de mesures. Juger : regarder cet objet. Décider : garder ou jeter, en écrivant pourquoi.

Le temps qu'on escamote le plus souvent est le deuxième, parce qu'il semble le plus inutile. Sans rendu, on juge une intention et non un résultat : la boucle tourne sans rien apprendre. Le quatrième est celui qu'on regrette. Sans raison écrite, on perd le compte. Trois semaines après, personne ne sait plus combien d'idées ont été essayées avant celle qui a survécu. Ce compte des essais n'est pas de la paperasse. C'est le nombre dont dépend la validité de tout le reste.

L'idée n'est pas neuve, ce qui est plutôt rassurant. Elle porte simplement un nom différent selon les métiers. Le génie logiciel la connaît depuis trente ans sous le nom de problème de l'oracle. Comment distinguer un comportement correct d'un comportement fautif, quand aucun cahier des charges ne le fait à votre place ? Une revue de 2015 conclut que la dernière source de vérité reste l'humain³. L'apprentissage automatique l'a redécouvert par l'échec : un modèle de langage laissé seul se corrige mal, et se dégrade parfois en essayant⁴. Une revue de juillet 2026, portant sur mille deux cent cinquante articles, le résume ainsi : toute boucle d'amélioration est un pari sur le fait qu'un signal peut remplacer le jugement humain⁵. Plus le signal est solide, meilleure est la boucle. La question se déplace donc de l'agent vers le juge qu'on lui donne.

Premier terrain : les figures

On s'attendrait, en 2026, à ce que n'importe quel modèle produise une figure professionnelle sans aide. En réalité, les figures restent parmi les objets les plus difficiles à déléguer : une image sortie d'une machine se reconnaît au premier coup d'œil. C'est cet écart entre la promesse et le résultat qui fait des figures le premier terrain de la boucle.

Une phrase se vérifie en la relisant. Un graphique, non. Le code qui dessine une figure peut être entièrement juste et la figure fausse quand même. Une étiquette glisse hors du cadre. Une légende se pose sur les données. Deux points se superposent exactement. Une palette rouge et verte s'effondre en une seule teinte boueuse, pour qui ne distingue pas ces deux couleurs. Rien de tout cela n'apparaît à la lecture de la source, seulement en regardant le résultat une fois rendu.

C'est la discipline que formalise la Ralph Eyeball Loop⁶, chez sprezzature.ai. Rendre, regarder, corriger la source, recommencer. Jusqu'à ce qu'il n'y ait plus rien à repérer. L'outil transforme la source en image avec un moteur qui ne fait jamais appel au hasard : la même source donne donc toujours la même image. Il tient ensuite, pour chaque figure, un journal de critiques en huit rubriques imposées. Composition, contraste, hiérarchie du regard, espacements. Accessibilité, couleurs, lisibilité des étiquettes à la taille réelle, verdict d'ensemble. Ce journal s'allonge à chaque passage au lieu d'être écrasé : il garde l'histoire de ce qui a été vu et corrigé. La galerie de sprezzature compte cent vingt-sept sortes de graphiques, tous passés par cette boucle.

Qui regarde ? Par défaut, l'agent qui vient d'écrire le code regarde sa propre sortie. Une option confie d'abord l'examen à un modèle de vision installé en local, qu'un humain relit ensuite. La différence compte, parce qu'un juge machine se mesure. Un banc d'essai publié en septembre 2026 a pris des modèles multimodaux, ceux qui lisent des images en plus du texte. Il les a mis en position de juger des graphiques. Il leur trouve des défauts systématiques, le premier étant une forte tendance à tout accepter⁷. Un détail compte pour la suite. Certains modèles ont été récompensés pendant leur apprentissage quand leur réponse plaisait. Ce sont les plus indulgents de tous. Le juge se déforme donc sous la pression qu'il est censé arbitrer. Il faut garder un œil humain dans la boucle.

Un cas concret vaut mieux que beaucoup de théorie. Celui-ci est pris sur cette page. Les articles de ce blog descendent d'un export d'outil de mise en page. La feuille de style fixe l'apparence de la page. Elle y déclarait un espacement entre paragraphes. Une autre règle le remettait à zéro. Résultat : sur les huit articles publiés, les blocs de texte se touchaient. Tout était valide, aucun test ne tombait, aucun audit automatique ne se plaignait. Il a fallu photographier la page rendue et la regarder. Le même passage a levé deux autres défauts du même genre : des numéros de bibliographie posés sur la première lettre de leur note et des lignes blanches parasites entre éléments de liste. Trois défauts visibles en une seconde d'observation, invisibles à la lecture du code.

La boucle prend toute sa valeur dans un cas précis. Le juge y voit ce que celui qui agit ne peut pas voir. Une personne qui distingue normalement les couleurs peut y mettre tout le soin du monde : elle ne verra jamais sa propre figure comme la voit un lecteur daltonien. L'information n'est pas dans son œil. Un simulateur redessine donc l'image telle que ces lecteurs la perçoivent, puis en noir et blanc. Le noir et blanc est d'ailleurs le test le plus sévère : une figure qui s'y lit se lit sous toutes les autres déficiences. Si le propos survit au gris, il survit à tout le monde. Et ce contrôle prend une seconde, ce qui en fait une condition d'arrêt presque aussi bon marché que comparer un compteur à dix.

Deuxième terrain : la prose

Rien de tout cela n'est propre aux figures. Changez le juge dans la condition d'arrêt : le même squelette s'applique aux textes. La charte d'écriture dont relève cet article en fait une règle⁸. On ne relit pas un texte paragraphe par paragraphe, mais par paires de paragraphes qui se suivent. La raison est simple : ce qui accroche un lecteur n'est pas à l'intérieur d'un paragraphe, c'est à la couture entre deux. On lit donc à voix haute le paragraphe n puis le paragraphe n+1, d'un trait. On regarde le passage de l'un à l'autre. Puis on corrige le texte lui-même : l'ordre des phrases, la dernière ligne du premier, la première du second. On ne se contente pas de noter en marge que « ça coince ». Puis on glisse d'un cran, sur la paire suivante.

Comme les fenêtres se chevauchent, chaque paragraphe est éprouvé deux fois : une fois comme arrivée, une fois comme départ. La lecture à voix haute joue ici le rôle du rendu. On croit connaître son propre texte, puisqu'on l'a écrit ; la voix le transforme en un signal qu'on reçoit au lieu de l'émettre. Cet article y est passé.

Ici aussi, le danger a été mesuré plutôt que redouté. Jane Pan, He He, Samuel Bowman et Shi Feng l'ont montré en 2024. Dans une boucle où le même modèle rédige et note, la note monte pendant que la qualité jugée par de vrais lecteurs stagne ou baisse. Le phénomène s'aggrave quand le rédacteur et le correcteur partagent leur contexte⁹. C'est l'argument le plus net en faveur d'une relecture par quelqu'un qui n'a pas écrit le texte.

La lecture à voix haute a pourtant un angle mort. Elle teste la couture entre deux paragraphes, ce qui ne se voit qu'au passage de l'un à l'autre. Elle ne teste pas l'intérieur de chacun. Une phrase ambiguë écrite de sa propre main se lit sans accroc. On sait déjà ce qu'elle veut dire. L'oreille ne rattrape pas ce que la mémoire comble. Il faut donc un second instrument, qui travaille sur la même unité mais regarde ailleurs.

Cet instrument s'appelle ABABA et son nom décrit l'opération. On écrit un passage en français, on le traduit en anglais, on le retraduit en français, puis on recommence. A pour une langue, B pour l'autre. ABABA compte donc cinq états, quatre traductions, deux allers-retours complets. Le mot est un palindrome : il se lit pareil dans les deux sens. C'est exactement ce qu'on cherche à vérifier sur le texte.

Écrivons \(T_{AB}\) la traduction vers l'anglais et \(T_{BA}\) le retour. Un tour complet est leur composition \(R = T_{BA} \circ T_{AB}\). La suite des versions successives s'écrit :

Un passage bien écrit revient donc intact du voyage, parce que son sens est porté par ses mots et non par la bienveillance du lecteur. Les mathématiciens disent qu'il est un point fixe de \(R\). L'apprentissage automatique appelle cette propriété la cohérence de cycle. Elle a fait un détour de cent ans par la peinture et les chevaux avant de revenir au texte.

Le voyage commence par une vengeance d'écrivain. En 1903, Mark Twain publie sa nouvelle de la grenouille sauteuse en trois versions. La sienne, d'abord. La traduction française qu'en avait donnée Thérèse Bentzon, ensuite. Puis sa propre retraduction de ce français vers l'anglais, mot à mot, en gardant la syntaxe française¹⁰. Le résultat est grotesque. C'est le but : Twain montre ce que le voyage a fait à son texte. Le procédé est devenu sérieux en 1970, quand Richard Brislin en a fait le contrôle qualité standard de la recherche interculturelle¹¹. On traduit un questionnaire, on le retraduit, et l'écart désigne la question mal posée, avant qu'elle ne fausse une étude clinique.

Puis viennent les chevaux. En 2017, Jun-Yan Zhu, Taesung Park, Phillip Isola et Alexei Efros veulent transformer des photos de chevaux en zèbres¹². Problème : il n'existe aucune paire de photos correspondantes, donc aucun corrigé. Leur solution est d'exiger qu'un aller-retour redonne l'image de départ. Efros raconte d'où leur est venue l'idée. La réponse boucle le cercle¹³ : de Mark Twain et de la retraduction. Il en donne la version que tout le monde comprend. Vous faites traduire un texte vers une langue que vous ne parlez pas. Un premier traducteur fait l'aller. Un second fait le retour. Vous vérifiez alors que cela tient encore debout. La technique était née dans le texte, elle était partie vers l'image. Nous la ramenons chez elle.

Efros donne aussi l'image qui explique pourquoi l'aller-retour apprend quelque chose. Pensez à un montage qui comprime une donnée puis la reconstruit. Ici, le passage étroit du milieu n'est pas une compression : c'est une autre langue. Le texte est forcé de passer par une langue étrangère, puis de revenir. Et ce passage jette beaucoup de choses. Il jette les tournures qui nous sont propres sans rien vouloir dire. Il jette l'ordre des mots qu'on avait cru élégant. Surtout, il ne sait pas rendre une ambiguïté : le traducteur est obligé de choisir une lecture et de s'y tenir.

Une phrase qui revient déformée signale donc un endroit où le texte ne contraint pas assez son interprétation. Ce peut être une ambiguïté. Ce peut être autre chose. Une idée pas assez précisée. Une tournure que l'autre langue ne rend pas. Un usage qui diffère d'une langue à l'autre. Ou simplement un goût du traducteur. La boucle ne tranche pas entre ces cas : elle désigne l'endroit. C'est à nous d'aller voir.

Reste qu'elle voit ce que nous ne pouvons plus voir. Nous savions déjà ce que nous voulions dire. Le traducteur, lui, l'ignore. C'est le premier lecteur naïf dont on dispose. Un sigle jamais expliqué. Un terme défini nulle part. Un pronom dont on a oublié à quoi il renvoie trois phrases plus haut. Aucun des trois ne survit au voyage.

La stabilité seule ne prouve pourtant rien, et Efros le dit lui-même dans la même conférence. Si l'on demande seulement de revenir au point de départ, le réseau peut tricher en ne bougeant pas du tout : ne rien changer boucle parfaitement. Il a donc fallu ajouter une seconde exigence : un cheval transformé doit vraiment ressembler à un zèbre. La version mesurée de cette triche est arrivée la même année. Casey Chu, Andrey Zhmoginov et Mark Sandler ont montré que CycleGAN apprend à cacher l'image de départ dans un bruit invisible ajouté à sa propre sortie¹⁴. Le cycle boucle impeccablement sans que rien ait été traduit. Ils ont appelé cela de la stéganographie, l'art de cacher un message dans un support d'apparence anodine.

D'où un critère en deux parties, dont aucune n'est facultative. La stabilité se mesure contre le tour précédent : le texte bouge-t-il encore ? La fidélité se mesure contre l'original, toujours, et jamais contre le tour précédent. En pratique, on liste ce qu'affirme le texte de départ. On liste ce qu'affirme le texte arrivé. Puis on compare les deux listes. Cette asymétrie a une raison. Une dérive de sens avance par petits pas invisibles un par un, mais considérables une fois additionnés. Elle se cache en plus toute seule : dès le deuxième tour, le texte est devenu cohérent avec sa propre erreur.

Le piège central de cet article revient ici sous une forme nette. Répétez l'aller-retour. Le texte est attiré vers un état particulier, quel que soit son point de départ. Cet état, c'est la prose moyenne du traducteur. Itérer jusqu'à ce que le texte ne bouge plus mène donc là. Vocabulaire aplati, rythme mort, transitions plaquées. La boucle clarifie et aplatit du même mouvement, sans savoir séparer les deux. Un phénomène voisin a été mesuré ailleurs. Ilia Shumailov et ses coauteurs ont montré en 2024 qu'un modèle réentraîné sur ses propres sorties perd d'abord ce qui était rare dans ses réponses¹⁵. La comparaison a une limite, qu'il vaut mieux poser : leur boucle réentraîne le modèle, la nôtre se contente de l'interroger. Ce qui s'appauvrit ici n'est pas dans le modèle, c'est dans le texte.

La parade est simple : on ne garde jamais la sortie de la boucle. On garde ce qui bouge d'un tour à l'autre, comme on garderait une carte. Les passages qui refusent de se stabiliser sont les passages mal écrits. Ce sont eux qu'on réécrit à la main. C'est l'instabilité qui est le signal, pas le texte final. Si un tour transforme « X » en « Y », l'information utile n'est pas Y. C'est que X pouvait se réécrire, donc qu'un lecteur pouvait le comprendre comme Y. C'était tout ce qu'on voulait savoir. La suite s'écrit de notre main, ce qui protège le style.

Alterner les traducteurs coûte peu, et Twain comme Efros le faisaient déjà en engageant deux personnes différentes. Avec un seul modèle, le texte se stabilise sur le style de ce modèle. Avec deux modèles en alternance, un texte qui se stabilise doit satisfaire les préférences des deux. Cela l'éloigne des manies de chacun. C'est une intuition, pas une propriété démontrée. La langue de passage se choisit avec le même soin. Le français et l'anglais partagent trop de structures. Un calque y passe sans résistance. Une phrase mal bâtie en français reste mal bâtie en anglais, sans que rien ne sonne faux. Pour le diagnostic, une langue vraiment éloignée comme le japonais ou le finnois force un vrai réencodage.

Une objection sérieuse mérite d'être posée plutôt que tue. Harold Somers a montré en 2005 que l'aller-retour note très mal un traducteur automatique¹⁶. Les erreurs de l'aller et celles du retour se compensent, donc un tour réussi ne prouve rien sur la qualité des deux traductions. L'objection est juste. Elle ne porte pas ici, car ce qu'on cherche a changé de place. Somers fait varier le traducteur et garde le texte fixe, puisqu'il veut noter le traducteur. Nous faisons l'inverse : le traducteur est fixe et supposé bon, tandis que le texte varie.

Deux mesures récentes confirment que la méthode tient, quand on s'y prend ainsi. Jihyung Moon, Hyunchang Cho et Eunjeong Park ont montré en 2020 que l'aller-retour prédit bien la qualité, à condition de comparer les sens et non les mots¹⁷. En avril 2026, Ronald Skorobogat, Ameya Prabhu et Matthias Bethge ont mesuré une corrélation de 0,94 entre un score d'aller-retour et les préférences de vrais utilisateurs. Les bancs d'essai multilingues établis, eux, tombent à zéro ou passent en négatif¹⁸. La compensation d'erreurs décrite par Somers reste quand même une bonne raison de ne jamais conclure sur un seul tour avec un seul modèle.

Deux instruments, donc, sur la même unité de texte. L'oreille teste la couture, la traduction teste l'intérieur. On lit d'abord à voix haute, parce que c'est gratuit et que cela règle la moitié des problèmes. On ne lance l'aller-retour que sur les paires qui résistent. Et jamais plus de deux tours sur un passage qui cède. Au-delà de cinq tours, on mesure le style du traducteur et non le texte.

Le piège : le juge finit par se laisser acheter

Une boucle optimise ce qu'elle mesure. Mettez un juge dans la condition d'arrêt. La boucle se met alors à optimiser ce juge. Charles Goodhart l'a observé en 1975 sur la politique monétaire britannique : une régularité statistique s'effondre dès qu'on s'en sert comme cible¹⁹. L'anthropologue Marilyn Strathern en a donné en 1997 la formule qui est restée, en étudiant l'évaluation des universités : quand une mesure devient une cible, elle cesse d'être une bonne mesure²⁰. Puis vient la version moderne, mesurée sur les modèles de langage. Leo Gao, John Schulman et Jacob Hilton ont optimisé de plus en plus fort contre un juge artificiel. La note attribuée monte sans s'arrêter. La qualité réelle, elle, monte, plafonne, puis redescend²¹. Le juge ne casse pas d'un coup. Il se déforme à mesure qu'on pousse. C'est bien plus difficile à remarquer.

Dans une boucle Ralph, cette corruption se chiffre. Prenons un modèle de prévision qu'on améliore petit à petit. À chaque tour, l'agent propose une modification. On la mesure sur un jeu de validation : des données mises de côté, qui ne servent jamais à entraîner, seulement à départager. Cette mesure est bruitée, comme toute mesure faite sur un nombre limité de données : refaite sur d'autres données, elle bougerait. Appelons \(\sigma\) l'ampleur typique de ces fluctuations. Les idées, elles, ont un effet réel, tantôt bon tantôt mauvais, d'ampleur typique \(\tau\). On essaie \(K\) idées, puis on garde celle qui mesure le mieux.

La simulation ci-dessus prend un bruit de mesure trois fois et demie plus grand que l'écart entre une bonne et une mauvaise idée, ce qui n'a rien d'extravagant en pratique. Après huit cents idées essayées, la modification retenue affiche un gain de 3,32 sur la validation. Son gain réel est de 0,27 : douze fois moins. L'écart entre les deux courbes, c'est exactement ce que la mise en production vient toujours reprendre.

Rien d'accidentel là-dedans. Pensez à un concours. L'élève qui décroche la meilleure note a en général du niveau et de la chance à la fois : choisir la meilleure copie, c'est aussi choisir la chance. La meilleure estimation de son niveau réel est donc un peu plus basse que sa note. Une formule chiffre ce rabais. Connaissant une mesure \(m\), la meilleure estimation de l'effet réel \(\theta\) n'est pas \(m\) : c'est une version de \(m\) tirée vers zéro, d'autant plus tirée que la mesure est bruitée :

C'est la formule du rétrécissement bayésien, de la famille des estimateurs rendus célèbres par James et Stein dans les années cinquante²². Bradley Efron l'a reliée en 2011 au biais de sélection²³. Une valeur choisie parce qu'elle était la plus grande surestime toujours ce qu'elle mesure. Avec les valeurs de la simulation, le facteur vaut 12,1 : tout ce que la validation annonce, il faut le diviser par douze. Le nombre d'idées essayées ne change rien à ce facteur. Il change l'ampleur du mirage, qui grandit comme \(\sqrt{2\ln K}\), une fonction qui monte très lentement mais ne s'arrête jamais. Une boucle qu'on laisse tourner finit donc par annoncer un gain aussi grand qu'on veut sur son juge, sans avoir rien amélioré. Le même mécanisme explique pourquoi tant de résultats publiés ne se reproduisent pas, ce que John Ioannidis a montré en 2005²⁴. Les économistes du pétrole l'avaient déjà nommé en 1971. Le vainqueur d'une enchère est celui qui a le plus surestimé le gisement. D'où le nom de malédiction du vainqueur²⁵.

Une limite à poser tout de suite : ce calcul est une simulation, qui suppose des idées indépendantes et sans talent moyen. C'est pessimiste pour un ingénieur compétent, dont les propositions ne sont pas tirées au sort. C'est optimiste pour un agent qui produit vingt variantes de la même idée. C'est un modèle du mécanisme, pas un verdict sur une boucle en particulier. Ce qui survit à ces réserves tient en deux phrases. Ce qu'on lit dépasse ce qu'on obtient. Et l'écart grandit avec le nombre d'essais.

La même chose, sur de vraies données

Une simulation reste une simulation. Voici la même expérience sur de vraies données. Elle est plus brutale que le modèle. Huit cents images de chiffres manuscrits, coupées en deux. Quatre cents servent au juge, par validation croisée, dont la section suivante explique le fonctionnement. Les quatre cents autres forment un test gelé que la boucle ne voit jamais. À chaque tour, la boucle propose une petite modification des variables d'entrée. Elle l'accepte si le score de validation monte, elle la rejette sinon. Deux cents propositions examinées, dix acceptées. Le protocole complet est donné pour qu'on puisse le refaire plutôt que le croire, graine comprise. La graine est le nombre qui fixe le hasard : en relançant le programme, on retrouve exactement la même expérience. Jeu load_digits de scikit-learn, graine 20260922, régression logistique, validation croisée à cinq plis.

La validation gagne trois points, en dix paliers, chacun justifié par une hausse mesurée. Le test gelé, lui, perd un demi-point. Tout le progrès annoncé était du bruit que la boucle a poursuivi. Le point important n'est pas que la boucle ait échoué ici. C'est qu'elle a échoué exactement comme elle aurait réussi : sa courbe de validation monte par paliers, comme celle d'une boucle qui gagne vraiment. Vue de l'intérieur, on ne peut pas distinguer les deux situations. Seul un jeu gelé, consulté une seule fois, les sépare.

Une seconde objection pèse plus lourd que la première. La plus grande vérification empirique va dans l'autre sens. Rebecca Roelofs et ses coauteurs ont étudié plus de cent compétitions Kaggle. Ils ont comparé les classements publics, obtenus après des milliers de soumissions, aux classements privés révélés une seule fois à la fin. Ils trouvent peu de surajustement²⁹. L'explication tient en deux mots : multiplicité effective. Vingt variantes de la même idée ne comptent pas pour vingt essais indépendants. L'expérience sur les chiffres manuscrits, elle, tire des essais presque indépendants : c'est le cas défavorable, choisi exprès. La bonne question n'est donc pas de savoir si une boucle surajuste, mais combien d'essais vraiment différents elle a faits.

Le budget ou ce qui rend un chiffre croyable

Faut-il alors renoncer à chercher en boucle ? Non, et une comparaison le montre. Le réflexe classique pour régler un modèle est la grille : on écrit d'avance une liste de combinaisons de réglages, on les évalue toutes, on garde la meilleure. James Bergstra et Yoshua Bengio ont montré en 2012 qu'à budget égal, tirer les combinaisons au hasard fait déjà mieux qu'une grille régulière²⁶. Une boucle Ralph va plus loin : sa prochaine proposition dépend de ce que la mesure précédente a dit. Les statisticiens appellent cela une analyse adaptative, et s'en méfient à juste titre : un jeu de validation s'use beaucoup plus vite quand les questions dépendent des réponses déjà obtenues. Cynthia Dwork et ses coauteurs ont construit des garanties chiffrées pour ce cas²⁷. On s'attendrait donc à ce que la boucle fasse pire que la grille. La simulation dit le contraire.

À budget égal, la grille obtient un gain réel de 0,27, la boucle de 1,64 : six fois plus. D'où vient l'avantage ? Une troisième expérience tranche, en jouant le rôle du groupe témoin dans un essai de médicament. La même marche pas à pas, mais en acceptant tout sans jamais regarder la mesure, n'apporte rien. C'est donc la sélection qui travaille, pas l'accumulation. À l'inverse, la même marche jugée par un oracle qui verrait les effets réels gagnerait soixante fois plus. Avec son juge bruité, la boucle ne récupère que deux pour cent de ce qui était disponible. Quant au mirage, il est le même des deux côtés : grille et boucle surestiment leur gain d'autant. Le gonflement ne dépend pas de la façon de chercher, seulement du nombre de fois qu'on a consulté le juge.

De là vient une règle de budget, dont il faut donner l'adresse précise, car elle n'est pas de moi. En 2014, David Bailey, Jonathan Borwein, Marcos López de Prado et Qiji Zhu ont traité ce problème exact pour les rétrotests financiers²⁸. Un rétrotest est une simulation qui rejoue une stratégie d'investissement sur le passé. Leur résultat : en dessous d'une certaine quantité de données, un historique flatteur ne prouve rien. Avec cinq ans de données, on ne devrait pas essayer plus de quarante-cinq configurations différentes. Transposée à une boucle qui accepte un optimisme de \(\delta\), la même majoration donne une règle prudente :

Prudente, parce que la formule majore grossièrement. Le calcul exact autorise environ trois essais pour une tolérance de 1, vingt-sept pour 2, quatre cent quarante-trois pour 3. La formule, elle, n'en concède qu'un, sept et quatre-vingt-dix. Et \(K\) doit se compter en essais vraiment différents, pas en tours de boucle. Un seul point survit à toutes les réserves, démontré depuis 2014 dans un tout autre domaine. Limiter le nombre de tours n'est pas une économie de calcul. C'est la condition pour que le chiffre final veuille dire quelque chose. Une boucle sans budget finit par rapporter ce qu'on espérait entendre.

Ce qui fait vraiment pencher pour la boucle n'est d'ailleurs pas ce facteur six. C'est qu'une grille suppose qu'on puisse écrire la liste des candidats d'avance. Or les modifications qui comptent ne s'écrivent pas en liste : ajouter une variable calculée, changer la fonction de coût, corriger une fuite de données. On ne met pas cela dans une grille, faute de pouvoir en écrire les axes. La boucle cherche là où il n'y a pas de grille à tracer. C'est son avantage irremplaçable. Le reste se paie.

Le juge du quotidien : la validation croisée

Tout ce qui précède repose sur \(\sigma\), le bruit du juge. Dans un vrai projet, cette quantité se fixe sans qu'on s'en aperçoive, au moment où l'on choisit comment découper les données. L'outil standard est la validation croisée. On partage le jeu de données en \(k\) parts, appelées les plis. On entraîne sur tous les plis sauf un, puis on mesure sur celui qui reste. On recommence \(k\) fois, en changeant de pli mis de côté. On cite ensuite la moyenne des \(k\) scores, avec une barre d'erreur censée dire ce que vaut cette moyenne.

Cette barre est presque toujours trop optimiste, pour une raison simple. Le calcul fait comme si les \(k\) mesures étaient indépendantes. Or deux plis partagent presque toutes leurs données d'entraînement. Gaël Varoquaux a documenté l'ampleur du problème : sur les petits échantillons, les barres publiées sont couramment deux fois trop étroites³⁰. Sur l'exemple des chiffres manuscrits, la variabilité qui compte, celle d'un échantillon à l'autre, vaut près du double de celle qu'on cite entre plis. Et sous-estimer \(\sigma\) d'un facteur deux, c'est croire à quatre fois plus de progrès qu'il n'y en a. Le découpage n'est donc pas un détail d'intendance : il fixe le taux de change entre ce qu'on lit et ce qu'on obtient.

C'est ce que codifie la suite d'outils publiée par probabl autour de scikit-learn, skrub et skore³¹. Un découpage par groupes quand plusieurs lignes viennent du même sujet. Un découpage chronologique avec zone tampon quand l'ordre du temps compte. Et une mise en garde contre les habitudes qui produisent des barres trop confiantes. Cette suite se lit comme une boucle Ralph écrite en entier. L'état vit dans un journal de bord. Le juge est un rapport distinct de celui qui a écrit la chaîne. Chaque proposition arrive avec sa raison écrite. Plusieurs étapes s'arrêtent net plutôt que de continuer sur une dépendance manquante.

Un détail de cette suite mérite d'être copié partout. Son test de fumée n'est pas un jugement, c'est une vérification exacte : le nombre de prédictions doit égaler le nombre de lignes à prédire. Elle attrape une faute précise et fréquente. Voilà un jugement redevenu un test qui ne coûte rien. Toute boucle Ralph gagne à en fabriquer autant qu'elle peut : ce que la machine sait trancher n'a rien à faire dans la condition coûteuse.

Prévoir sans tricher

Cette section décrit un projet qui commence, proposé à deux élèves du mastère spécialisé en intelligence artificielle de CentraleSupélec par Marianne Clausel, de l'Université de Lorraine, Georges Oppenheim et moi-même. Il porte sur la prévision de séries financières, et son protocole d'évaluation s'appelle LookForward. La règle est courte. On se place à une date, qu'on appelle l'origine. Le modèle n'utilise que l'information disponible à cette date, puis prévoit les pas suivants. Ensuite l'origine avance d'un cran. Une prévision évaluée sur des données qu'elle a déjà vues n'est pas une prévision, c'est une interpolation. La difficulté n'est pas dans le modèle, elle est dans le calendrier : un indicateur publié le quinze ne peut pas servir à une prévision faite le dix.

La finance est justement le domaine où Bailey et ses coauteurs ont montré qu'avec assez d'essais, on obtient un historique flatteur pour n'importe quelle stratégie, même sans le moindre pouvoir prédictif²⁸. D'où la forme du protocole. Une boucle Ralph sous budget teste chaque modification en validation glissante, puis l'accepte ou la rejette en écrivant pourquoi. À côté de tout cela, un test chronologique final, gelé, ouvert une seule fois, donne le chiffre qu'on publiera. Le budget limite le nombre d'essais. La raison écrite rend la boucle vérifiable. Et le test gelé empêche le facteur douze de passer inaperçu.

Le projet compare trois familles. Les méthodes statistiques classiques. Les méthodes d'apprentissage automatique. Et les modèles de fondation pour les séries temporelles, ces grands modèles déjà entraînés sur d'immenses collections de séries, réutilisés tels quels. Il suit le protocole ouvert TFB³², avec Chronos et TimesFM parmi les candidats^33, 34. Rien n'y suppose qu'un modèle récent batte la prévision la plus naïve : demain vaudra ce que vaut aujourd'hui. Il s'autorise enfin une sortie rare, l'abstention, appuyée sur le contrôle conforme du risque³⁵. La garantie de cette méthode repose sur une hypothèse que les séries financières malmènent. La fiche du projet le dit elle-même. C'est la même retenue qu'elbow-helper applique aux coudes de courbes : mieux vaut se taire que d'affirmer sans preuve.

Un détail des livrables résume tout ce qui précède. La fiche demande de vérifier la lisibilité des figures avec l'approche Eyeball, séparément de la validation numérique des prévisions. Deux questions différentes, deux juges différents. Confondre les deux, c'est demander à un score si un graphique est lisible, ou demander à un œil si une fourchette couvre bien la vérité.

Le même cycle sur quatre terrains

Le même cycle sur quatre terrains. La quatrième colonne est la même phrase à chaque fois, dite dans quatre langues.

D'où vient l'idée et ce que cet article ajoute

Une mise au point, car le mot commence à tout désigner. Enchaîner production, critique et correction n'a rien de propre à Ralph, et lui est antérieur. Self-Refine fait critiquer le modèle par lui-même³⁶. Reflexion garde d'un essai à l'autre une mémoire de commentaires³⁷. Ce qui est propre à la technique de Huntley est une combinaison. Un contexte neuf à chaque tour, plutôt qu'une conversation qui s'allonge. Un état qui vit hors du modèle. Une exécution réelle du code produit. Une seule chose faite par tour. Quant aux boucles sur la prose, les figures et la prévision décrites plus haut, elles sont ma généralisation, pas un sens établi du terme. Le lecteur qui cherchera « Ralph loop » ailleurs trouvera du code et rien d'autre.

De la partie chiffrée, rien n'est de moi non plus. La finance quantitative a démontré en 2014 que choisir parmi \(N\) rétrotests impose une longueur minimale d'historique²⁸. L'informatique théorique a démontré en 2015 qu'un jeu mis de côté ne survit qu'à un nombre limité de questions adaptatives²⁷. La communauté de l'alignement a mesuré, entre 2022 et 2024, que pousser trop fort contre un juge de substitution détruit la qualité réelle²¹. Le rétrécissement vers la moyenne date des années cinquante. Pendant ce temps, en 2025, l'ingénierie logicielle mettait en production une boucle sans condition d'arrêt. Ces littératures ne se citent pas entre elles. Le seul apport de cet article est de dire qu'elles décrivent le même objet. La règle de budget vaut pour les harnais d'agents exactement comme pour les stratégies de marché.

Les garde-fous

Au cycle répondent cinq garde-fous, à vérifier avant de lancer quoi que ce soit. L'état vit hors du modèle, dans les fichiers et leur historique, jamais dans une conversation. Le juge est indépendant de celui qui agit. L'œil qui évalue n'est pas la main qui a dessiné. Le jeu de validation n'est pas le jeu d'entraînement. Un budget limite le nombre de tours. Chaque tour laisse une raison écrite, sans quoi on perd le compte des essais et le gain final devient invérifiable. Enfin, l'abstention est une sortie permise, au même titre que la réussite. Une boucle qui n'a pas le droit de conclure à l'échec trouvera toujours quelque chose.

Ces cinq garde-fous donnent une définition de travail, qui vaut mieux que le mot « boucle » tout seul. Une bonne boucle d'agent n'est pas un « recommence jusqu'à ce que ça passe ». C'est une recherche qui s'adapte. Son état survit hors du modèle. Elle est jugée de l'extérieur. Elle a un budget annoncé et le droit de se taire. Retirez un seul de ces garde-fous : le chiffre final n'est plus vérifiable.

Ils obéissent tous à un même principe, qu'Efros formule mieux que moi dans la conférence déjà citée¹³. On ne construit pas un juge incorruptible : cela n'existe pas. Les données sont en nombre fini, donc il restera toujours un chemin pour tricher, et boucher un trou en fait apparaître un autre. Ce qu'on peut faire, c'est arranger le problème pour que tricher coûte plus cher que travailler. Il prend l'image d'un pays bien gouverné : on peut y enfreindre la loi, simplement on n'y a pas intérêt. Dans un pays mal gouverné, tricher est le calcul rationnel, et tout le monde triche.

Son exemple vient de sa propre salle de cours. Un semestre entier de travail coûte cher. Apprendre par cœur les annales de l'an dernier coûte peu. Et cela suffit souvent à passer l'examen. L'étudiant qui fait ce calcul n'est pas malhonnête, il est rationnel : c'est l'examen qui est mal construit. Un jeu de validation consulté deux cents fois, c'est exactement ces annales. Le budget, la raison écrite et le test gelé ne moralisent pas la boucle. Ils rendent la triche plus chère que le travail.

Reste à dire où le rapprochement avec le « tant que » cesse de tenir. Une boucle classique qui ne s'arrête pas se remarque tout de suite : la machine chauffe et rien ne sort. Une boucle Ralph qui ne s'arrête pas produit à chaque tour un travail plausible, une figure un peu différente, un paragraphe un peu remanié, un score un peu meilleur. Elle ne ressemble pas à une panne. Elle ressemble à du progrès. C'est exactement ce qui la rend dangereuse.

D'où la recette finale : rendez ce que vous venez de faire, regardez-le vraiment, corrigez la source et non l'image, comptez vos tours. Les trois premières étapes coûtent quelques secondes. La quatrième est celle qu'on oublie, la seule dont dépend la valeur des trois autres. Une boucle autonome ne vaut pas par la qualité de celui qui agit. Elle vaut par l'architecture d'évaluation qu'on lui interdit de surapprendre.

Bibliographie

Chaque titre ci-dessous a servi à écrire une section précise ; la notice dit laquelle. Aucun n'est cité de seconde main.

1. Huntley, G. (2025). Ralph Wiggum as a « software engineer ». ghuntley.com/ralph La page qui nomme la technique et en donne la ligne de shell. L'auteur y pose aussi les réserves reprises ici : projet neuf seulement, ingénieur expérimenté indispensable, résultat dont la cuisson n'est pas garantie. Elle ne comporte aucune condition d'arrêt : c'est l'opérateur qui tranche. Le chiffre de coût cité est le sien.
2. Huntley, G. (2026). everything is a ralph loop. ghuntley.com/loop Soutient que le motif vaut pour toutes les tâches et décrit plusieurs variantes d'orchestration. C'est l'antécédent le plus direct de la généralisation défendue ici ; la généralité y est affirmée plutôt que structurée, sans squelette commun ni analyse des modes de défaillance.
3. Barr, E. T., Harman, M., McMinn, P., Shahbaz, M. et Yoo, S. (2015). « The Oracle Problem in Software Testing: A Survey », IEEE Transactions on Software Engineering, 41(5), 507-525. 10.1109/TSE.2014.2372785 Recense trente ans de tentatives pour décider automatiquement si un comportement observé est correct et conclut que lorsque spécifications, modèles et tests métamorphiques s'arrêtent, la dernière source d'oracle reste l'humain. C'est la formulation de ce problème par le génie logiciel, antérieure de loin aux agents.
4. Huang, J., Chen, X., Mishra, S., Zheng, H. S., Yu, A. W., Song, X. et Zhou, D. (2024). Large Language Models Cannot Self-Correct Reasoning Yet, ICLR. arxiv.org/abs/2310.01798 Sépare l'autocorrection fondée sur les seules forces du modèle de celle qui s'appuie sur un signal extérieur et montre que la première échoue, la performance se dégradant parfois après correction. C'est l'argument empirique pour que le juge vienne d'ailleurs que de l'acteur.
5. Chen, M., Wang, L. et Qu, B. (2026). Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops. arxiv.org/abs/2607.07663 Revue de mille deux cent cinquante articles qui pose que toute boucle d'amélioration est un pari sur la substitution d'un signal au jugement humain et classe ces signaux du vérificateur formel à l'auto-évaluation. C'est l'énoncé le plus proche du cadrage de cet article et il lui est antérieur de plusieurs mois.
6. Harchaoui, W. The Ralph Eyeball Loop, Sprezzature. sprezzature.ai/ralph-eyeball-loop.html Applique la boucle aux artefacts visuels et sépare trois passes complémentaires : fabriquer depuis du code, auditer la source, regarder le rendu. C'est la source des quatre étapes, des huit rubriques de critique et du raisonnement sur le gris comme test le plus sévère.
7. Wu, L., Zhao, H. H., Zhang, Z., Tang, J., Wu, J. et Wang, A. J. (2026). ChartJudgeBench: Evaluating LMM Judges for Chart-to-Code Generation. arxiv.org/abs/2609.24210 Évalue les modèles multimodaux employés comme juges de graphiques et documente quatre défauts systématiques, dont une propension marquée à accepter et une indulgence accrue chez les modèles entraînés par renforcement. C'est la mesure du juge visuel dont dépend la boucle des figures.
8. Harchaoui, W. ECRITURE.md, charte d'écriture en français. gist.github.com La section 10 transpose la boucle à la prose : relecture par paires de paragraphes consécutifs, fenêtres glissantes qui se chevauchent, correction du texte plutôt que de l'impression. C'est la charte que cet article s'applique à lui-même.
9. Pan, J., He, H., Bowman, S. R. et Feng, S. (2024). Spontaneous Reward Hacking in Iterative Self-Refinement. arxiv.org/abs/2407.04549 Montre que dans une boucle où le même modèle rédige et note, la note monte pendant que la qualité perçue par de vrais lecteurs stagne ou baisse, d'autant plus que rédacteur et correcteur partagent leur contexte. Le mode de défaillance décrit ici était donc déjà nommé et mesuré sur la prose.
10. Twain, M. (1903). The Jumping Frog: In English, Then in French, Then Clawed Back into a Civilized Language Once More by Patient, Unremunerated Toil, Harper & Brothers. Twain publie côte à côte sa nouvelle, la traduction française qu'en donne Thérèse Bentzon et sa propre retraduction mot à mot vers l'anglais. La démonstration est comique et exacte : l'aller-retour rend visible ce que le texte avait de fragile. C'est l'ancêtre littéraire de la boucle décrite ici.
11. Brislin, R. W. (1970). « Back-Translation for Cross-Cultural Research », Journal of Cross-Cultural Psychology, 1(3), 185-216. 10.1177/135910457000100301 Fonde la rétro-traduction comme contrôle qualité en recherche interculturelle ; c'est depuis la procédure standard pour traduire un questionnaire clinique ou psychométrique, où une nuance perdue fausse une étude entière. Établit que l'écart de retour est un signal exploitable et non un bruit.
12. Zhu, J.-Y., Park, T., Isola, P. et Efros, A. A. (2017). « Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks », ICCV, 2242-2251. arXiv:1703.10593 CycleGAN : faute de paires d'images correspondantes, la contrainte d'apprentissage devient l'aller-retour lui-même. C'est la formalisation de la cohérence de cycle reprise ici, doublée de la preuve qu'elle suffit à remplacer un corrigé absent.
13. Efros, A. A. (2018). Self-supervision, Meta-supervision, Curiosity: Making Computers Study Harder, conférence au CIIRC, Université technique tchèque de Prague, 25 mai 2018. youtube.com/watch?v=_V-WpE8cmpc Efros y attribue explicitement l'idée de CycleGAN à Mark Twain et à la rétro-traduction et décrit le montage comme un auto-encodeur dont le passage étroit est une autre langue (à 48 min). Il y pose aussi la limite reprise ici : sans seconde contrainte, le réseau triche en ne bougeant pas. Et la formule qui sert de fil à la fin de cet article : rendre la triche plus coûteuse que le travail.
14. Chu, C., Zhmoginov, A. et Sandler, M. (2017). CycleGAN, a Master of Steganography, atelier « Machine Deception », NIPS. arXiv:1712.02950 Montre que CycleGAN dissimule l'image source dans un bruit de haute fréquence imperceptible, ce qui lui permet de reconstruire à l'identique sans avoir rien traduit. C'est la démonstration que la cohérence de cycle seule est dégénérée. De là vient que la fidélité se mesure ici contre l'original, jamais contre le tour précédent.
15. Shumailov, I., Shumaylov, Z., Zhao, Y., Papernot, N., Anderson, R. et Gal, Y. (2024). « AI models collapse when trained on recursively generated data », Nature, 631, 755-759. 10.1038/s41586-024-07566-y Mesure ce que devient un modèle réentraîné sur ses propres sorties : les queues de la distribution disparaissent d'abord, c'est-à-dire ce qui était rare. Cité ici comme analogue mesuré de l'attracteur, avec sa limite explicite : il s'agit d'une boucle de réentraînement, pas d'une boucle d'interrogation.
16. Somers, H. (2005). « Round-trip Translation: What Is It Good For? », Australasian Language Technology Workshop, 127-133. aclanthology.org/U05-1019 L'objection de fond : l'aller-retour note très mal un traducteur automatique, car les erreurs de l'aller et du retour se compensent. Reprise ici sans être écartée ; elle ne vise pas le même usage, mais elle motive directement l'alternance des traducteurs.
17. Moon, J., Cho, H. et Park, E. L. (2020). « Revisiting Round-Trip Translation for Quality Estimation », EAMT. arXiv:2004.13937 Réhabilite l'aller-retour en changeant ce qu'on compare : des plongements de sens au lieu d'une coïncidence de mots. C'est la réponse technique à Somers, donc la justification du critère de fidélité employé ici, qui porte sur les affirmations et non sur la forme.
18. Skorobogat, R., Prabhu, A. et Bethge, M. (2026). Round-Trip Translation Reveals What Frontier Multilingual Benchmarks Miss, 14 avril 2026. arXiv:2604.12911 Mesure une corrélation de 0,94 entre un score d'aller-retour et les préférences d'utilisateurs, là où deux bancs d'essai multilingues établis tombent à −0,09 et −0,26. C'est la mesure la plus récente que l'aller-retour capte quelque chose de réel. Elle porte toutefois sur les modèles, non sur le texte : elle appuie l'usage fait ici sans le démontrer.
19. Goodhart, C. A. E. (1975). « Problems of Monetary Management: The U.K. Experience », Papers in Monetary Economics, Reserve Bank of Australia. L'observation d'origine, faite sur les agrégats monétaires britanniques : une régularité statistique cesse de tenir dès qu'on s'en sert comme cible de politique. Elle fonde la section sur la corruption du juge.
20. Strathern, M. (1997). « "Improving ratings": audit in the British University system », European Review, 5(3), 305-321. Donne la formulation courte devenue proverbiale, à partir d'une enquête ethnographique sur l'évaluation des universités. La source est citée pour la formulation exacte, non pour une reprise de seconde main.
21. Gao, L., Schulman, J. et Hilton, J. (2023). « Scaling Laws for Reward Model Overoptimization », ICML, PMLR 202, 10835-10866. arxiv.org/abs/2210.10760 Fait tenir à un modèle de récompense le rôle du juge humain et mesure ce qui arrive quand on optimise contre lui : la note monte, la qualité réelle plafonne puis redescend, selon une forme fonctionnelle ajustée. C'est la loi de Goodhart rendue quantitative, sur un sujet que cet article ne traite pas directement.
22. Efron, B. et Morris, C. (1977). « Stein's Paradox in Statistics », Scientific American, 236(5), 119-127. Exposé accessible du rétrécissement vers la moyenne : une valeur choisie parce qu'elle était la plus grande surestime ce qu'elle mesure. Ce qu'il faut lui retrancher dépend du rapport entre bruit et dispersion réelle. C'est la formule encadrée de cet article, qui date donc des années cinquante.
23. Efron, B. (2011). « Tweedie's Formula and Selection Bias », Journal of the American Statistical Association, 106(496), 1602-1614. 10.1198/jasa.2011.tm11181 Relie explicitement le rétrécissement au biais de sélection : les quelques plus grandes estimations surestiment leurs paramètres, la correction s'écrivant à partir de la densité marginale observée. C'est l'adresse exacte du facteur employé ici.
24. Ioannidis, J. P. A. (2005). « Why Most Published Research Findings Are False », PLoS Medicine, 2(8), e124. 10.1371/journal.pmed.0020124 Rend quantitative la dépendance entre le nombre d'hypothèses explorées et la probabilité qu'un résultat rapporté soit faux. C'est le même mécanisme que celui simulé ici, appliqué à la littérature scientifique.
25. Capen, E. C., Clapp, R. V. et Campbell, W. M. (1971). « Competitive Bidding in High-Risk Situations », Journal of Petroleum Technology, 23(6), 641-653. Origine de l'expression « malédiction du vainqueur », sur les enchères de concessions pétrolières : le gagnant est celui dont l'estimation était la plus haute, donc la plus fausse. Même structure que la sélection sur un jeu de validation.
26. Bergstra, J. et Bengio, Y. (2012). « Random Search for Hyper-Parameter Optimization », Journal of Machine Learning Research, 13, 281-305. jmlr.org/papers/v13/bergstra12a Montre qu'à budget égal, tirer les réglages au hasard bat une grille régulière, parce que la performance ne dépend fortement que de quelques réglages et qu'une grille répète ses essais sur les autres. C'est la référence de comparaison de la section sur la sélection de modèle.
27. Dwork, C., Feldman, V., Hardt, M., Pitassi, T., Reingold, O. et Roth, A. (2015). « The reusable holdout: Preserving validity in adaptive data analysis », Science, 349(6248), 636-638. 10.1126/science.aaa9375 Sépare les questions posées d'avance de celles qui dépendent des réponses déjà obtenues et construit un mécanisme qui rend au jeu mis de côté une validité chiffrée sous interrogation adaptative, au prix d'un budget explicite de désaccords. C'est la démonstration, côté informatique théorique, que le budget est une nécessité et non une prudence.
28. Bailey, D. H., Borwein, J. M., López de Prado, M. et Zhu, Q. J. (2014). « Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance », Notices of the American Mathematical Society, 61(5), 458-471. 10.1090/noti1105 Calcule l'espérance du maximum de \(N\) essais sans talent, en majore la croissance par \(\sqrt{2\ln N}\) et en tire un théorème de longueur minimale d'historique. C'est la source de la règle de budget de cet article, qui ne fait que la transposer ; l'antériorité est entière et la majoration elle-même vient de la théorie des valeurs extrêmes.
29. Roelofs, R., Shankar, V., Recht, B., Fridovich-Keil, S., Hardt, M., Miller, J. et Schmidt, L. (2019). A Meta-Analysis of Overfitting in Machine Learning, NeurIPS. Compare, sur plus de cent compétitions Kaggle, les classements publics issus de milliers de soumissions aux classements privés révélés une fois : le surajustement observé est faible. C'est la contre-preuve empirique de la théorie du pire cas et la raison de parler de multiplicité effective plutôt que de nombre de tours.
30. Varoquaux, G. (2018). « Cross-validation failure: Small sample sizes lead to large error bars », NeuroImage, 180, 68-77. 10.1016/j.neuroimage.2017.06.061 Montre que l'écart type entre plis sous-estime fortement l'incertitude réelle d'une estimation par validation croisée, au point de rendre douteuses des comparaisons publiées, avec des barres de l'ordre de dix points pour cent échantillons. C'est la justification de la décomposition mesurée ici.
31. probabl (2026). skills, compétences d'agent pour scikit-learn, skrub et skore, licence BSD à trois clauses. github.com/probabl-ai/skills Suite de compétences qui enchaîne exploration, construction, test de fumée, évaluation et audit, avec une boucle extérieure de proposition d'expérience. Elle sert ici d'exemple de boucle Ralph dont le juge et les conditions d'arrêt sont écrits, notamment son arbre de décision sur le choix du découpage.
32. Qiu, X. et al. (2024). TFB: Towards Comprehensive and Fair Benchmarking of Time Series Forecasting Methods. arxiv.org/abs/2403.20150 Protocole de comparaison ouvert pour la prévision de séries temporelles, construit pour éviter les comparaisons faussées par des réglages inégaux. C'est le cadre d'évaluation retenu par le projet décrit ici.
33. Ansari, A. F. et al. (2024). Chronos: Learning the Language of Time Series. arxiv.org/abs/2403.07815 Modèle de fondation qui traite une série numérique comme une suite de symboles, à la manière d'un modèle de langage. Candidat du comparatif, sans présomption de supériorité.
34. Das, A. et al. (2024). A decoder-only foundation model for time-series forecasting. arxiv.org/abs/2310.10688 L'autre famille de modèles préentraînés du comparatif, entraînée sur un vaste corpus de séries pour prévoir sans réapprentissage. Sa taille en fait le test de faisabilité sur processeur du projet.
35. Angelopoulos, A. N., Bates, S., Fisch, A., Lei, L. et Schuster, T. (2022, révisé 2025). Conformal Risk Control. arxiv.org/abs/2208.02814 Étend la prédiction conforme à des notions de risque plus générales que le taux de couverture, avec une garantie valable en moyenne sous hypothèse d'échangeabilité. C'est l'hypothèse que la dépendance des séries financières met en difficulté, comme le reconnaît la fiche du projet.
36. Madaan, A., Tandon, N., Gupta, P., Hallinan, S., Gao, L., Wiegreffe, S. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback, NeurIPS. arxiv.org/abs/2303.17651 Boucle où le même modèle produit, critique sa production puis la corrige, sans signal extérieur. Antérieure à la technique Ralph, elle établit que l'itération critique-correction n'a rien de propre à celle-ci.
37. Shinn, N., Cassano, F., Berman, E., Gopinath, A., Narasimhan, K. et Yao, S. (2023). Reflexion: Language Agents with Verbal Reinforcement Learning, NeurIPS. arxiv.org/abs/2303.11366 Conserve d'un essai à l'autre une mémoire de commentaires en langue naturelle qui tient lieu de signal d'apprentissage. Second antécédent qui montre que la mémoire entre tours précède également la technique Ralph.

Deux pistes pour prolonger. Mes livres préférés en IA, pour le panorama commenté. La galerie de sprezzature, pour voir un corpus de figures entièrement passé par la boucle.