Tant que ce n'est pas bon

« Tant que le compteur est plus petit que dix, recommence. » C'est une des plus vieilles phrases de l'informatique. Elle fonctionne pour une raison qu'on ne remarque plus : la machine sait répondre à la question qu'on lui pose. Comparer un compteur à dix coûte un cycle d'horloge, c'est-à-dire une seule des opérations élémentaires dont un processeur enchaîne des milliards par seconde. La réponse, elle, est exacte. Toute la force de la boucle tient dans cette condition d'arrêt à bas prix.

Les questions qui décident vraiment de la qualité d'un travail n'ont pas cette obligeance, tant s'en faut. Ce graphique est-il lisible ? Ce paragraphe s'enchaîne-t-il avec celui d'avant ? Ce modèle de prévision mérite-t-il qu'on le mette en production ? Aucune ne se tranche en un cycle d'horloge. Alors on les a sorties des boucles pour les reléguer à la fin, dans une relecture unique, faite à la main, une seule fois, par quelqu'un qui a déjà beaucoup travaillé.

La boucle Ralph les y remet. Elle garde le squelette du « tant que », à ceci près qu'elle met un jugement là où se trouvait le test : un œil humain, un modèle de vision (un programme d'intelligence artificielle qui décrit ce qu'il voit dans une image), un jeu de données mis de côté. Ce pas de côté paraît modeste. Il change ce qu'on peut automatiser. Il ouvre aussi un piège précis, qui se laisse mesurer, chiffres à l'appui.

Deux matières mettent la boucle à l'épreuve, les figures et la prose. La seconde réserve une surprise : l'instrument qu'on y emploie a été inventé par Mark Twain pour se moquer d'une traduction de sa propre nouvelle, avant que la vision par ordinateur ne le lui emprunte, un siècle plus tard. Il revient ici chez lui. Quant au piège, il a sa mécanique propre : à force de consulter le même juge, la boucle apprend ses manies au lieu d'apprendre la matière, ce que les statisticiens appellent surapprendre. On le chiffre, on le voit se produire sur de vraies données et l'on en tire deux règles de conduite. Une boucle autonome vaut moins par le talent de celui qui agit que par la qualité du juge qu'on lui donne et par l'interdiction qui lui est faite de le corrompre.

La boucle en une ligne

Le nom vient de l'ingénieur australien Geoffrey Huntley, qui a décrit en juillet 2025 ce qu'il appelle la technique Ralph¹, d'après Ralph Wiggum, l'écolier des Simpson dont les réponses tombent à côté avec une constance admirable. Elle tient en une ligne d'interpréteur de commandes, le programme auquel on tape des ordres dans un terminal :

while :; do cat PROMPT.md | claude-code ; done

Mot à mot : tant que vrai, donne le contenu du fichier PROMPT.md à l'agent, puis recommence. On écrit donc dans un fichier ce qu'on veut obtenir ; on le donne en boucle à un agent de codage, c'est-à-dire à un modèle de langage (le programme qui anime les assistants conversationnels) autorisé ici à lire et écrire des fichiers et à lancer des commandes ; on ne le laisse pas sortir. La surprise est que cela produise du logiciel utilisable et non une pile de fichiers incohérents.

Pourquoi ça marche ? Un modèle de langage travaille dans une fenêtre de contexte, la quantité de texte qu'il garde sous les yeux pendant un échange. Cette fenêtre est courte et se dégrade à mesure qu'on la remplit : en fin de longue conversation, le modèle perd le fil de ses propres décisions. Le dépôt de code, le dossier du projet accompagné de l'historique de ses versions, ne se dégrade pas, lui. À chaque tour de la boucle de Huntley, l'agent repart de zéro, relit l'état réel des fichiers, fait une chose, l'écrit. Le progrès s'accumule sur le disque, jamais dans la mémoire du modèle. C'est l'oubli qui est la fonctionnalité.

Huntley ne vend pas sa technique comme une solution : il écrit qu'elle est « mauvaise de façon déterministe dans un monde indéterministe », qu'elle ne vaut que pour un projet neuf, qu'elle exige un ingénieur expérimenté à la barre et que son résultat sort « sous-cuit, cuit ou cuit avec des comportements latents non spécifiés ». Il rapporte un contrat facturé 50 000 dollars livré pour 297 dollars de calcul ; c'est son chiffre, que rien dans cet article ne vérifie.

Un détail de sa ligne de commande mérite un arrêt, car il est tout le sujet de cet article. while : signifie « tant que vrai » : la condition est vide. La boucle originelle n'a pas de test du tout ; elle tourne jusqu'à ce qu'un humain l'arrête. Tout ce qui devient intéressant commence quand on remet quelque chose dans cette condition. Huntley lui-même a étendu l'idée en janvier 2026 en soutenant que le motif vaut pour toute tâche², sans en donner le squelette. C'est ce que la suite essaie de faire.

Le cycle : agir, rendre, juger, décider

Un cycle en quatre temps suffit à décrire toutes les variantes qu'on rencontre. Agir : produire une modification, une seule, pour qu'on sache plus tard à quoi attribuer le résultat. Rendre : transformer cette modification en un objet qu'on peut poser devant soi et examiner, une image, un texte imprimé, un tableau de mesures ; cet objet s'appelle un artefact. Juger : examiner l'artefact. Décider : garder ou jeter, en écrivant la raison.

Le temps le plus souvent escamoté est le deuxième, d'autant qu'il paraît le plus dispensable. Sans rendu, le jugement porte sur une intention plutôt que sur un résultat ; on tourne sans rien apprendre. Le quatrième est celui qu'on regrette de ne pas avoir fait : sans raison écrite, on ne saura pas, trois semaines plus tard, combien d'idées ont été essayées avant celle qui a survécu. On verra plus loin que ce compte des essais n'est pas de la paperasse : c'est une grandeur statistique dont dépend la validité de tout le reste.

L'idée n'est pas neuve, ce qui est plutôt rassurant : elle porte un nom différent selon les métiers. Le génie logiciel la connaît depuis trente ans sous celui de problème de l'oracle, la difficulté de distinguer un comportement correct d'un comportement fautif quand aucune spécification ne le fait à votre place ; une revue de 2015 conclut que la dernière source de vérité reste l'humain³. L'apprentissage automatique l'a redécouverte par l'échec : un modèle de langage laissé à ses seules forces se corrige mal et se dégrade parfois en essayant⁴. Une revue de juillet 2026, portant sur mille deux cent cinquante articles, résume tout d'une phrase : toute boucle d'amélioration est un pari sur le fait qu'un signal peut se substituer au jugement humain⁵. Plus le signal est solide, meilleure est la boucle, ce qui déplace la question de l'agent vers le juge qu'on lui donne.

Première matière : les figures

On s'attendrait, en 2026, à ce que n'importe quel modèle produise une figure professionnelle sans aide. En réalité, les figures restent parmi les objets les plus difficiles à déléguer : une image sortie d'une machine se reconnaît au premier coup d'œil. Ce fossé entre la promesse et le rendu fait des figures la première matière naturelle de la boucle.

Une phrase se vérifie en la relisant. Un graphique, non. Le code qui dessine une figure peut être entièrement juste et la figure fausse quand même : une étiquette qui glisse hors du cadre, une légende posée sur les données, deux points exactement superposés, une palette rouge et verte qui s'effondre en une seule teinte boueuse pour qui ne les distingue pas. Rien de tout cela n'apparaît à la lecture de la source, seulement en regardant le résultat une fois rendu.

C'est la discipline que formalise la Ralph Eyeball Loop⁶, chez sprezzature.ai : rendre, regarder, corriger la source, recommencer, jusqu'à ce qu'il n'y ait plus rien à repérer. L'outil convertit la source en image avec un moteur déterministe, sans modèle et sans hasard, si bien que la même source donne toujours la même image. Il tient ensuite, pour chaque figure, un journal de critiques en huit rubriques imposées : composition, contraste, hiérarchie du regard, espacements, accessibilité, couleurs, lisibilité des étiquettes à la taille réelle et verdict d'ensemble. Le journal s'allonge à chaque passage au lieu de s'écraser : il garde l'histoire de ce qui a été vu et corrigé. La galerie de sprezzature compte cent vingt-sept sortes de graphiques, tous passés par cette boucle : c'est son terrain d'essai.

Qui regarde ? Par défaut, l'agent qui vient d'écrire le code regarde sa propre sortie. Une option confie d'abord l'examen à un modèle de vision tournant hors ligne, qu'un humain relit. La différence n'est pas anodine, car un juge machine se mesure. Un banc d'essai publié en septembre 2026 a pris des modèles multimodaux, ceux qui lisent des images en plus du texte, puis les a mis en position de juger des graphiques. Il leur trouve des défauts systématiques, en tête une forte propension à tout accepter⁷. Le détail qui compte pour la suite : les modèles récompensés pendant leur apprentissage quand leur réponse plaît sont les plus indulgents de tous. Le juge se déforme sous la pression qu'il est censé arbitrer. Encore faut-il garder un œil humain dans la boucle.

Un cas concret vaut mieux que beaucoup de théorie. Celui-ci est pris sur cette page. Les articles de ce blog descendent d'un export d'outil de mise en page. La feuille de style, le fichier qui fixe l'apparence de la page, y déclarait un espacement entre paragraphes qu'une autre règle remettait à zéro. Résultat : sur les huit articles publiés, les blocs de texte se touchaient. Tout était valide, aucun test ne tombait, aucun audit automatique ne se plaignait. Il a fallu photographier la page rendue et la regarder. Le même passage a levé deux autres défauts du même genre : des numéros de bibliographie posés sur la première lettre de leur note et des lignes blanches parasites entre éléments de liste. Trois défauts visibles en une seconde d'observation, invisibles à la lecture du code.

La boucle prend toute sa valeur là où le juge voit ce que celui qui agit ne saurait voir. Une personne dont la vision des couleurs est ordinaire a beau y mettre tout le soin du monde, elle ne verra jamais sa propre figure comme la voit un lecteur daltonien, parce que l'information n'est pas dans son œil. Un simulateur redessine l'image telle que ces lecteurs la perçoivent, puis en niveaux de gris. Le gris est d'ailleurs le test le plus sévère : une figure qui se lit en noir et blanc se lit sous toutes les déficiences plus légères. Si le propos survit au gris, il survit à tout le monde. Et ce critère se vérifie en une seconde, ce qui en fait une condition d'arrêt presque aussi bon marché que la comparaison d'un compteur à dix.

Deuxième matière : la prose

Rien dans cette discipline n'est propre aux figures : changez le juge dans la condition d'arrêt et le même squelette s'applique aux textes. La charte d'écriture dont relève cet article en fait une règle⁸. On ne relit pas un texte paragraphe par paragraphe, mais par paires de paragraphes consécutifs, parce que la fluidité ne se joue pas à l'intérieur d'un bloc : elle se joue à la couture. On lit à voix haute le paragraphe n suivi du paragraphe n+1, d'un trait. On examine le passage de l'un à l'autre. Puis on corrige le texte lui-même : l'ordre des phrases, la dernière ligne du premier, la première du second, au lieu de noter en marge que « ça coince ». Puis on glisse d'un cran, sur la paire suivante et la fenêtre recommence.

Comme les fenêtres se chevauchent, chaque paragraphe est éprouvé deux fois, une fois comme arrivée et une fois comme départ. La lecture à voix haute joue ici le rôle du rendu : elle transforme un texte qu'on croit connaître, puisqu'on l'a écrit, en un signal qu'on reçoit au lieu de l'émettre, ce par quoi cet article est passé.

Ici aussi, le danger a été mesuré plutôt que redouté. Jane Pan, He He, Samuel Bowman et Shi Feng ont montré en 2024 que dans une boucle où le même modèle rédige et note, la note monte pendant que la qualité jugée par de vrais lecteurs stagne ou baisse ; le phénomène s'aggrave précisément quand le rédacteur et le correcteur partagent leur contexte⁹. C'est l'argument le plus net en faveur d'une relecture par quelqu'un qui n'a pas écrit le texte.

La lecture à voix haute a pourtant un angle mort. Elle teste la couture entre deux paragraphes, ce qui ne se voit qu'au passage de l'un à l'autre. Elle ne teste pas l'intérieur de chacun. Une phrase ambiguë qu'on a écrite soi-même se lit sans accroc, parce qu'on sait déjà ce qu'elle veut dire. L'oreille ne rattrape pas ce que la mémoire comble. Il faut donc un second instrument, qui travaille sur la même unité mais regarde ailleurs.

Cet instrument s'appelle ABABA. Le nom décrit l'opération. On écrit un passage en français, on le traduit en anglais, on le retraduit en français, puis on recommence. A pour une langue, B pour l'autre. ABABA compte donc cinq états, quatre traductions et deux tours complets. Le mot est un palindrome : il se lit pareil dans les deux sens. C'est exactement la propriété qu'on cherche à vérifier sur le texte.

Écrivons \(T_{AB}\) la traduction vers l'anglais et \(T_{BA}\) le retour. Un tour complet est leur composition \(R = T_{BA} \circ T_{AB}\). La suite des versions successives s'écrit :

Un passage bien écrit est alors un point fixe de \(R\) : il revient intact du voyage, parce que son sens est porté par ses mots et non par la bienveillance du lecteur. Cette propriété porte un nom en apprentissage automatique, la cohérence de cycle. Elle a fait un détour de cent ans par la peinture et les chevaux avant de revenir au texte.

Le voyage s'ouvre sur une vengeance d'écrivain. En 1903, Mark Twain publie sa nouvelle de la grenouille sauteuse en trois versions : la sienne, la traduction française qu'en avait donnée Thérèse Bentzon et sa propre retraduction de ce français vers l'anglais, mot à mot, en gardant la syntaxe française¹⁰. Le résultat est grotesque et voilà le but : Twain donne à voir ce que le voyage a fait à son texte. Le procédé est devenu sérieux en 1970, quand Richard Brislin en a fait le contrôle qualité standard de la recherche interculturelle¹¹. On traduit un questionnaire, on le retraduit, puis l'écart désigne la question mal posée, avant qu'elle ne fausse une étude clinique.

Puis viennent les chevaux. En 2017, Jun-Yan Zhu, Taesung Park, Phillip Isola et Alexei Efros veulent transformer des photos de chevaux en zèbres¹². Difficulté : il n'existe aucune paire de photos correspondantes, donc aucun corrigé sur lequel s'appuyer. Leur solution est d'exiger qu'un aller-retour redonne l'image de départ. Efros raconte d'où leur est venue l'idée. La réponse boucle le cercle¹³ : de Mark Twain et de la rétro-traduction. Il en donne la version que tout le monde comprend. Pour faire traduire un texte vers une langue qu'on ignore, on paie un premier traducteur pour l'aller, un second pour le retour, puis l'on vérifie que cela tient encore debout. La technique née dans le texte était partie vers l'image ; nous la ramenons chez elle.

Efros donne aussi l'image qui explique pourquoi l'aller-retour apprend quelque chose. Le dispositif est un auto-encodeur, ce montage qui comprime une donnée puis la reconstruit, sauf qu'ici le passage étroit du milieu n'est pas une compression : c'est une autre langue. Le texte est forcé de passer par une représentation étrangère, puis de revenir. Or ce passage jette beaucoup de choses. Il jette les tournures qui nous sont propres sans porter de sens. Il jette l'ordre des mots qu'on avait cru élégant. Surtout, il ne sait pas rendre une ambiguïté : le traducteur doit choisir une lecture et la fixer.

Une phrase qui revient déformée signale donc un endroit où l'interprétation n'est pas assez contrainte par le texte seul. Ce peut être une ambiguïté. Ce peut être aussi une sous-spécification, une tournure que la langue d'arrivée ne rend pas, un usage qui diffère d'une langue à l'autre, ou simplement une préférence du traducteur. La boucle ne tranche pas entre ces cas : elle désigne l'endroit et c'est à nous d'aller voir.

Reste qu'elle voit ce que nous ne pouvons plus voir, puisque nous savions déjà ce que nous voulions dire et que le traducteur, lui, l'ignore. C'est le premier lecteur naïf dont on dispose. Un sigle jamais glosé, un terme défini nulle part, un pronom dont l'antécédent traîne trois phrases plus haut : aucun des trois ne survit au tour.

La stabilité seule ne prouve pourtant rien et Efros le dit lui-même dans la même conférence. Si l'on demande seulement de revenir au point de départ, le réseau peut tricher en ne bougeant pas du tout : l'identité boucle parfaitement. Il a donc fallu ajouter une seconde contrainte, qui exige qu'un cheval traduit ressemble vraiment à un zèbre. La version mesurée de cette triche est venue la même année. Casey Chu, Andrey Zhmoginov et Mark Sandler ont montré que CycleGAN apprend à cacher l'image de départ dans un bruit imperceptible ajouté à sa propre sortie¹⁴. Le cycle boucle impeccablement sans que rien ait été traduit. Ils ont nommé cela de la stéganographie, l'art de dissimuler un message dans un support d'apparence anodine.

D'où un critère en deux parties, dont aucune n'est facultative. La stabilité se mesure contre le tour précédent : le texte bouge-t-il encore ? La fidélité se mesure contre l'original, toujours, jamais contre le tour précédent. En pratique, on liste les affirmations du texte de départ, on liste celles du texte arrivé, puis on compare les deux listes. Cette asymétrie a une raison. Une dérive de sens avance par maillons invisibles un par un et considérables une fois composés. Elle se dissimule en plus toute seule : dès le deuxième tour, le texte est devenu cohérent avec sa propre erreur.

Le piège central de cet article revient ici sous une forme nette. \(R\) a un attracteur, c'est-à-dire un état vers lequel la répétition attire le texte quel que soit son point de départ. Cet attracteur est la prose moyenne du traducteur. Itérer jusqu'à convergence, c'est y arriver : vocabulaire aplati, rythme mort, transitions plaquées. La boucle clarifie et aplatit du même mouvement, sans savoir séparer les deux. Un phénomène voisin a été mesuré ailleurs. Ilia Shumailov et ses coauteurs ont montré en 2024 qu'un modèle réentraîné sur ses propres sorties perd d'abord les queues de sa distribution, c'est-à-dire ce qui y était rare¹⁵. L'analogie a une limite, qu'il vaut mieux poser : leur boucle réentraîne le modèle, la nôtre se contente de l'interroger. Ce qui s'appauvrit ici n'est pas dans les poids, c'est dans le texte.

La parade est simple : on ne garde jamais la sortie de la boucle, on garde comme une carte ce qui bouge d'un tour à l'autre. Les passages qui refusent de se stabiliser sont les passages mal écrits ; on les réécrit à la main. L'instabilité est le signal, le point fixe ne l'est pas. Si un tour transforme « X » en « Y », l'information utile n'est pas Y. C'est que X était réécrivable, donc qu'un lecteur pouvait le lire comme Y. C'était tout ce qu'on voulait savoir. La suite s'écrit de notre main, ce qui protège le registre contre l'aplatissement.

Alterner les traducteurs coûte peu ; Twain comme Efros le prescrivaient déjà en engageant deux personnes différentes. Avec un seul modèle, le point fixe est son style propre ; avec deux modèles en alternance, un texte qui se stabilise doit satisfaire les préférences des deux plutôt que celles d'un seul, ce qui l'éloigne des manies de chacun. L'image vaut comme intuition, non comme propriété démontrée du système. La langue de passage se choisit avec le même soin. Le français et l'anglais partagent trop de machinerie latine : un calque y passe sans résistance, puis une phrase mal bâtie en français reste mal bâtie en anglais sans que rien ne sonne. Pour le diagnostic, une langue structurellement lointaine comme le japonais ou le finnois force un vrai ré-encodage.

Une objection sérieuse mérite d'être portée ici plutôt que tue. Harold Somers a montré en 2005 que l'aller-retour note très mal un traducteur automatique¹⁶ : les erreurs de l'aller et celles du retour se compensent, si bien qu'un tour réussi ne prouve rien sur la qualité d'aucune des deux traductions. L'objection est juste et ne porte pas ici, parce que l'inconnue a changé de place. Somers fait varier le traducteur et tient le texte fixe, puisqu'il veut noter le traducteur. Nous faisons l'inverse : le traducteur est tenu fixe et supposé bon ; c'est le texte qui varie.

Deux mesures récentes confirment que l'objet se laisse mesurer quand on s'y prend ainsi. Jihyung Moon, Hyunchang Cho et Eunjeong Park ont montré en 2020 que l'aller-retour prédit bien la qualité, à condition de comparer les sens et non les mots¹⁷. En avril 2026, Ronald Skorobogat, Ameya Prabhu et Matthias Bethge ont mesuré une corrélation de 0,94 entre un score d'aller-retour et les préférences de vrais utilisateurs, là où les bancs d'essai multilingues établis tombent à zéro ou passent en négatif¹⁸. La compensation d'erreurs décrite par Somers reste néanmoins une bonne raison de ne jamais conclure sur un seul tour avec un seul modèle.

Deux instruments, donc, sur la même unité de texte. L'oreille teste la couture, la traduction teste l'intérieur. On lit d'abord à voix haute, parce que c'est gratuit et que cela règle la moitié des problèmes. On ne lance l'aller-retour que sur les paires qui résistent et jamais plus de deux tours sur un passage qui cède. Au-delà de cinq, on mesure l'attracteur et non le texte.

Le piège : le juge finit par se laisser acheter

Une boucle optimise ce qu'elle mesure. Mettez un juge dans la condition d'arrêt, et la boucle se met à optimiser le juge. Charles Goodhart l'a observé en 1975 sur la politique monétaire britannique : une régularité statistique s'effondre dès qu'on s'en sert comme cible¹⁹. L'anthropologue Marilyn Strathern en a donné en 1997 la formulation devenue courante, en étudiant l'évaluation des universités : quand une mesure devient une cible, elle cesse d'être une bonne mesure²⁰. Version moderne, mesurée sur les modèles de langage : Leo Gao, John Schulman et Jacob Hilton ont optimisé de plus en plus fort contre un juge artificiel ; la note attribuée monte sans discontinuer, la qualité réelle monte, plafonne, puis redescend²¹. Le juge ne casse pas d'un coup : il se déforme à mesure qu'on pousse, ce qui est bien plus difficile à remarquer.

Dans une boucle Ralph, cette corruption se chiffre. Prenons un modèle de prévision qu'on améliore par itérations. À chaque tour, l'agent propose une modification ; on la mesure sur un jeu de validation, un ensemble de données mis de côté qui ne sert jamais à entraîner et seulement à départager. Cette mesure est bruitée, comme toute mesure faite sur un échantillon fini : refaite sur d'autres données, elle bougerait. Appelons \(\sigma\) son écart type, c'est-à-dire l'ampleur typique de ces fluctuations. Les idées, elles, ont un effet réel, tantôt bon tantôt mauvais, de dispersion typique \(\tau\). On essaie \(K\) idées et l'on garde celle qui mesure le mieux.

La simulation ci-dessus prend un bruit de mesure trois fois et demie plus grand que l'écart entre une bonne et une mauvaise idée, ce qui n'a rien d'extravagant en pratique. Après huit cents idées essayées, la modification retenue affiche sur la validation un gain de 3,32 écarts types. Son gain réel est de 0,27 : douze fois moins. L'écart entre les deux courbes est exactement ce que la mise en production reprend toujours.

Rien d'accidentel là-dedans ; l'intuition tient en une situation d'école. L'élève qui décroche la meilleure note d'un concours a, en général, du niveau et de la chance à la fois : sélectionner la meilleure copie, c'est aussi sélectionner la chance. La meilleure estimation de son niveau réel est donc un peu plus basse que sa note. La loi qui chiffre ce rabais tient en une formule : connaissant une mesure \(m\), la meilleure estimation de l'effet réel \(\theta\) n'est pas \(m\) mais une version rétrécie vers zéro, d'autant plus rétrécie que la mesure est bruitée :

C'est la formule du rétrécissement bayésien, de la même famille d'idées que les estimateurs popularisés par James et Stein dans les années cinquante²² et que Bradley Efron a reliée en 2011 au biais de sélection²³ : une valeur choisie parce qu'elle était la plus grande surestime systématiquement ce qu'elle mesure. Avec les valeurs de la simulation, le facteur vaut 12,1 : tout ce que la validation annonce, il faut le diviser par douze. Le nombre d'idées essayées ne change en rien ce facteur ; il change l'ampleur du mirage, qui croît comme \(\sqrt{2\ln K}\), une fonction qui monte très lentement mais ne s'arrête jamais. Une boucle qu'on laisse tourner finit donc par annoncer un gain arbitrairement grand sur son juge, sans avoir rien amélioré. Le même mécanisme explique pourquoi tant de résultats publiés ne se reproduisent pas, ce que John Ioannidis a montré en 2005²⁴. Les économistes du pétrole l'avaient nommé dès 1971, en observant que le vainqueur d'une enchère est celui qui a le plus surestimé le gisement : la malédiction du vainqueur²⁵.

Une limite à poser d'emblée : ce calcul est une simulation qui suppose des idées indépendantes, sans talent moyen. C'est pessimiste pour un ingénieur compétent, dont les propositions ne sont pas tirées au sort ; optimiste pour un agent qui produit vingt variantes de la même idée. C'est un modèle du mécanisme, pas un verdict sur une boucle particulière. Ce qui survit à ces réserves est court : ce qu'on lit dépasse ce qu'on obtient ; l'écart grandit avec le nombre d'essais.

La même chose, sur de vraies données

Une simulation reste une simulation. Voici la même expérience sur des données réelles ; elle est plus brutale que le modèle. Huit cents images de chiffres manuscrits, coupées en deux. Quatre cents servent au juge, une validation croisée dont la section suivante détaille le fonctionnement ; les quatre cents autres forment un test gelé que la boucle ne voit jamais. À chaque tour, la boucle propose une petite modification des variables d'entrée, l'accepte si le score de validation monte, la rejette sinon. Deux cents propositions examinées, dix acceptées. Le protocole complet est donné pour qu'on puisse le refaire plutôt que le croire, graine comprise. La graine est le nombre qui fixe le hasard : quiconque relance le programme retrouve exactement la même expérience. Jeu load_digits de scikit-learn, graine 20260922, régression logistique, validation croisée à cinq plis.

La validation gagne trois points, en dix paliers, chacun justifié par une hausse mesurée. Le test gelé, lui, perd un demi-point. La totalité du progrès annoncé était du bruit que la boucle a poursuivi. Le point important n'est pas que la boucle ait échoué ici : c'est qu'elle a échoué exactement comme elle aurait réussi. Sa courbe de validation monte par paliers, comme celle d'une boucle qui gagne vraiment. Depuis l'intérieur, les deux situations sont indiscernables. Seul un jeu gelé les sépare, consulté une seule fois.

Une seconde objection pèse plus lourd que la première. La plus grande vérification empirique va dans l'autre sens : Rebecca Roelofs et ses coauteurs ont comparé, sur plus de cent compétitions Kaggle, les classements publics, obtenus après des milliers de soumissions, aux classements privés révélés une seule fois à la fin ; ils trouvent peu de surajustement²⁹. L'explication tient en deux mots, nonobstant la théorie : multiplicité effective. Vingt variantes d'une même idée ne comptent pas pour vingt essais indépendants. L'expérience sur les chiffres manuscrits tire des essais quasi indépendants : c'est le cas défavorable, choisi comme tel. La question utile n'est donc pas de savoir si une boucle surajuste, mais combien d'essais vraiment distincts elle a faits.

Le budget ou ce qui rend un chiffre croyable

Faut-il alors renoncer à chercher en boucle ? Non ; une comparaison le montre. Le réflexe classique pour régler un modèle est la grille : on énumère des combinaisons de réglages fixées d'avance, on les évalue toutes, on garde la meilleure. James Bergstra et Yoshua Bengio ont montré en 2012 qu'à budget égal, tirer les combinaisons au hasard fait déjà mieux qu'une grille régulière²⁶. Une boucle Ralph va plus loin : sa prochaine proposition dépend de ce que la mesure précédente a dit. Les statisticiens appellent cela une analyse adaptative et s'en méfient à bon droit, car un jeu de validation s'use beaucoup plus vite sous des questions qui dépendent des réponses déjà obtenues ; Cynthia Dwork et ses coauteurs ont construit pour ce cas des garanties chiffrées²⁷. On s'attendrait donc à ce que la boucle fasse pire que la grille. La simulation dit le contraire.

À budget égal, la grille obtient un gain réel de 0,27 écart type, la boucle de 1,64 : six fois plus. D'où vient l'avantage ? Une troisième expérience tranche ; elle joue le rôle du groupe témoin dans un essai de médicament. La même marche pas à pas, mais en acceptant tout sans jamais regarder la mesure, n'apporte rien : c'est donc la sélection qui travaille, pas l'accumulation seule. Inversement, la même marche jugée par un oracle qui verrait les effets réels gagnerait soixante fois plus : la boucle, avec son juge bruité, ne récupère que deux pour cent de ce qui était disponible. Quant au mirage, il est identique des deux côtés : grille et boucle surestiment leur gain de la même quantité. Le gonflement ne dépend pas de la façon de chercher, seulement du nombre de fois qu'on a consulté le juge.

De là vient une règle de budget, dont l'adresse mérite d'être donnée précisément, car elle n'est pas de moi. En 2014, David Bailey, Jonathan Borwein, Marcos López de Prado et Qiji Zhu ont traité ce problème exact pour les rétrotests financiers, ces simulations qui rejouent une stratégie d'investissement sur le passé²⁸. Leur résultat : en deçà d'une certaine quantité de données, un historique flatteur ne prouve rien ; avec cinq ans de données, on ne devrait pas essayer plus de quarante-cinq configurations indépendantes. Transposée à une boucle qui tolère un optimisme de \(\delta\) écarts types, la même majoration donne une règle prudente :

Prudente, car la formule majore grossièrement : le calcul exact autorise environ trois essais pour une tolérance d'un écart type, vingt-sept pour deux, quatre cent quarante-trois pour trois, là où la formule n'en concède qu'un, sept et quatre-vingt-dix. Et \(K\) doit se compter en essais vraiment distincts, pas en tours de boucle. Ce qui survit à toutes les réserves, et qui est démontré depuis 2014 dans un tout autre domaine, tient en une phrase : limiter le nombre de tours n'est pas une économie de calcul, c'est la condition pour que le chiffre final veuille dire quelque chose. Une boucle sans budget finit par rapporter ce qu'on espérait entendre.

Ce qui fait vraiment pencher pour la boucle n'est d'ailleurs pas le facteur six. C'est qu'une grille suppose qu'on peut énumérer les candidats d'avance et que les modifications qui comptent ne s'énumèrent pas : ajouter une variable dérivée, changer la fonction de coût, corriger une fuite de données. On ne met pas cela dans une grille, faute de pouvoir en écrire les axes. La boucle cherche là où il n'y a pas de grille à tracer : c'est son avantage irremplaçable. Le reste se paie.

Le juge du quotidien : la validation croisée

Tout ce qui précède repose sur \(\sigma\), le bruit du juge. Dans un projet réel, cette quantité se fixe sans qu'on s'en aperçoive, au moment où l'on choisit la façon de découper les données. L'outil standard est la validation croisée : on partage le jeu de données en \(k\) parts, les plis ; on entraîne sur \(k-1\) plis, on mesure sur le dernier, puis l'on recommence \(k\) fois en changeant le pli mis de côté. On cite ensuite la moyenne des \(k\) scores, assortie d'une barre d'erreur censée dire ce que vaut cette moyenne.

Cette barre est presque toujours trop optimiste, pour une raison simple : le calcul la traite comme si les \(k\) mesures étaient indépendantes, alors que deux plis partagent la quasi-totalité de leurs données d'entraînement. Gaël Varoquaux a documenté l'ampleur du problème : sur les petits échantillons, les barres publiées sont couramment trop étroites de moitié³⁰. Sur l'exemple des chiffres manuscrits, la variabilité qui compte, celle d'un échantillon à l'autre, vaut près du double de la dispersion entre plis que tout le monde cite. Sous-estimer \(\sigma\) d'un facteur deux, c'est sous-estimer \(\sigma^{2}\) d'un facteur quatre, donc croire à quatre fois plus de progrès qu'il n'y en a. Le découpage n'est pas un détail d'intendance : il fixe le taux de change entre ce qu'on lit et ce qu'on obtient.

C'est ce que codifie la suite d'outils publiée par probabl autour de scikit-learn, skrub et skore³¹ : un découpage par groupes quand plusieurs lignes viennent du même sujet, un découpage chronologique avec zone tampon quand l'ordre du temps compte et une mise en garde contre les habitudes qui produisent des barres trop confiantes. Cette suite se lit comme une boucle Ralph écrite en entier : l'état vit dans un journal de bord, le juge est un rapport distinct de celui qui a écrit la chaîne, chaque proposition arrive avec sa raison écrite et plusieurs étapes s'arrêtent net plutôt que de continuer sur une dépendance manquante.

Un détail y mérite d'être copié partout. Son test de fumée n'est pas un jugement, c'est une assertion exacte : le nombre de prédictions doit égaler le nombre de lignes à prédire. Elle attrape une faute précise et fréquente. Voilà un jugement redevenu test bon marché. Toute boucle Ralph gagne à en fabriquer autant qu'elle peut : ce que la machine sait trancher n'a rien à faire dans la condition coûteuse.

Prévoir sans tricher

Cette section décrit un projet qui commence, proposé à deux élèves du mastère spécialisé en intelligence artificielle de CentraleSupélec par Marianne Clausel, de l'Université de Lorraine, Georges Oppenheim et moi-même. Il porte sur la prévision de séries financières ; son protocole d'évaluation s'appelle LookForward. La règle est courte : à chaque date d'où l'on se place pour prévoir, l'origine, le modèle n'utilise que l'information disponible à cette date, prévoit les pas suivants, puis l'origine avance d'un cran. Une prévision évaluée sur des données qu'elle a déjà vues n'est pas une prévision, c'est une interpolation. La difficulté n'est pas dans le modèle, elle est dans le calendrier : un indicateur publié le quinze ne peut pas servir à une prévision faite le dix.

La finance est justement le domaine où Bailey et ses coauteurs ont montré qu'avec assez d'essais, on obtient un historique flatteur pour n'importe quelle stratégie, même sans le moindre pouvoir prédictif²⁸. D'où la forme du protocole. Une boucle Ralph sous budget teste chaque modification en validation glissante, puis l'accepte ou la rejette en consignant la raison. Séparé de tout cela, un test chronologique final, gelé, ouvert une seule fois, donne le chiffre qu'on publiera. Le budget borne le \(K\) de la formule ; la raison consignée le rend auditable ; le test gelé empêche le facteur douze de passer inaperçu.

Le projet compare trois familles : les méthodes statistiques classiques, les méthodes d'apprentissage automatique et les modèles de fondation pour les séries temporelles, ces grands modèles déjà entraînés sur d'immenses collections de séries et réutilisés tels quels. Il suit le protocole ouvert TFB³², avec Chronos et TimesFM parmi les candidats^33, 34. Rien n'y présume qu'un modèle récent batte la prévision la plus naïve qui soit : demain vaudra ce que vaut aujourd'hui. Il s'autorise enfin une sortie rare : l'abstention, appuyée sur le contrôle conforme du risque³⁵, dont la garantie repose sur une hypothèse que les séries financières malmènent ; la fiche du projet le dit elle-même. C'est la même retenue qu'elbow-helper applique aux coudes de courbes : mieux vaut se taire que d'affirmer sans preuve.

Un détail des livrables résume tout ce qui précède. La fiche demande d'auditer la lisibilité des figures selon l'approche Eyeball, séparément de la validation numérique des prévisions. Deux questions différentes, deux juges différents. Confondre les deux, c'est demander à un score de vous dire si un graphique est lisible ou à un œil de vous dire si un intervalle couvre.

Le même cycle sur quatre matières

Le même cycle sur quatre matières. La quatrième colonne est la même phrase à chaque fois, dite dans quatre langues.

D'où vient l'idée et ce que cet article ajoute

Une mise au point, car le mot commence à tout désigner. Itérer en enchaînant production, critique et correction n'a rien de propre à Ralph et lui est antérieur : Self-Refine fait critiquer le modèle par lui-même³⁶ ; Reflexion conserve d'un essai à l'autre une mémoire de commentaires³⁷. Ce qui est propre à la technique de Huntley est une combinaison : un contexte neuf à chaque tour plutôt qu'une conversation qui s'allonge, un état durable hors du modèle, une exécution réelle du code produit, une seule chose faite par tour. Quant aux boucles sur la prose, les figures et la prévision décrites plus haut, elles sont ma généralisation du motif, pas un sens établi du terme : le lecteur qui cherchera « Ralph loop » ailleurs trouvera du code et rien d'autre.

De la partie chiffrée, rien n'est de moi non plus. La finance quantitative a démontré en 2014 qu'une sélection parmi \(N\) rétrotests impose une longueur minimale d'historique²⁸. L'informatique théorique a démontré en 2015 qu'un jeu mis de côté ne survit qu'à un nombre borné de questions adaptatives²⁷. La communauté de l'alignement a mesuré, entre 2022 et 2024, que trop pousser contre un juge de substitution détruit la qualité réelle²¹. Le rétrécissement vers la moyenne date des années cinquante. Pendant ce temps, en 2025, l'ingénierie logicielle mettait en production une boucle sans condition d'arrêt. Ces littératures ne se citent pas entre elles. Le seul apport de cet article est de dire qu'elles décrivent le même objet et que la règle de budget vaut pour les harnais d'agents exactement comme pour les stratégies de marché.

Les garde-fous

Au cycle répondent quatre garde-fous, qui se vérifient avant de lancer quoi que ce soit. L'état vit hors du modèle, dans les fichiers et l'historique de version, jamais dans une conversation. Le juge est indépendant de celui qui agit : l'œil qui évalue n'est pas la main qui a dessiné, le jeu de validation n'est pas le jeu d'entraînement. Un budget borne le nombre de tours. Chaque tour laisse une raison écrite, sans quoi le \(K\) de la formule est perdu et le gain final invérifiable. Enfin l'abstention est une sortie légale, au même titre que la réussite : une boucle qui n'a pas le droit de conclure qu'elle n'a rien trouvé trouvera toujours quelque chose.

Ces quatre garde-fous donnent une définition de travail, qui se dit d'un trait et vaut mieux que le mot « boucle ». Une bonne boucle d'agent n'est pas un « recommence jusqu'à ce que ça passe ». C'est une recherche adaptative à état persistant, sous oracle extérieur, avec budget explicite et droit d'abstention. Chacun des quatre termes correspond à l'un des garde-fous et retirer n'importe lequel rend le chiffre final invérifiable.

Ils obéissent en outre à un même principe, qu'Efros formule mieux que moi dans la conférence déjà citée¹³. On ne construit pas un juge incorruptible : cela n'existe pas. Les données sont en nombre fini, donc il restera toujours un chemin pour tricher ; boucher un trou en fait apparaître un autre. Ce qu'on peut faire, c'est arranger le problème pour que tricher coûte plus cher que travailler. Il prend l'image d'un pays bien gouverné : on peut y enfreindre la loi, simplement on n'y a pas intérêt. Dans un pays mal gouverné, tricher est le calcul rationnel et tout le monde triche.

Son exemple d'école vient de sa propre salle de cours. Un semestre entier de travail coûte cher ; apprendre par cœur les annales de l'an dernier coûte peu ; or cela suffit souvent à passer l'examen. L'étudiant qui procède ainsi n'est pas malhonnête, il est rationnel : c'est l'examen qui est mal construit. Un jeu de validation consulté deux cents fois est exactement ces annales. Le budget, la raison écrite et le test gelé ne moralisent pas la boucle ; ils renchérissent la triche jusqu'à ce que le travail redevienne le chemin le moins cher.

Reste à dire où le rapprochement avec le « tant que » cesse de tenir. Une boucle classique qui ne s'arrête pas se remarque tout de suite : la machine chauffe et rien ne sort. Une boucle Ralph qui ne s'arrête pas produit à chaque tour un travail plausible, une figure un peu différente, un paragraphe un peu remanié, un score un peu meilleur. Elle ne ressemble pas à une panne. Elle ressemble à du progrès. C'est exactement ce qui la rend dangereuse.

D'où la recette finale : rendez ce que vous venez de faire, regardez-le vraiment, corrigez la source et non l'image, comptez vos tours. Les trois premières étapes coûtent quelques secondes. La quatrième est celle qu'on oublie, la seule dont dépend la valeur des trois autres. Car une boucle autonome ne vaut pas par la qualité de celui qui agit : elle vaut par l'architecture d'évaluation qu'on lui interdit de surapprendre.

Bibliographie

Chaque titre ci-dessous a servi à écrire une section précise ; la notice dit laquelle. Aucun n'est cité de seconde main.

1. Huntley, G. (2025). Ralph Wiggum as a « software engineer ». ghuntley.com/ralph La page qui nomme la technique et en donne la ligne de shell. L'auteur y pose aussi les réserves reprises ici : projet neuf seulement, ingénieur expérimenté indispensable, résultat dont la cuisson n'est pas garantie. Elle ne comporte aucune condition d'arrêt : c'est l'opérateur qui tranche. Le chiffre de coût cité est le sien.
2. Huntley, G. (2026). everything is a ralph loop. ghuntley.com/loop Soutient que le motif vaut pour toutes les tâches et décrit plusieurs variantes d'orchestration. C'est l'antécédent le plus direct de la généralisation défendue ici ; la généralité y est affirmée plutôt que structurée, sans squelette commun ni analyse des modes de défaillance.
3. Barr, E. T., Harman, M., McMinn, P., Shahbaz, M. et Yoo, S. (2015). « The Oracle Problem in Software Testing: A Survey », IEEE Transactions on Software Engineering, 41(5), 507-525. 10.1109/TSE.2014.2372785 Recense trente ans de tentatives pour décider automatiquement si un comportement observé est correct et conclut que lorsque spécifications, modèles et tests métamorphiques s'arrêtent, la dernière source d'oracle reste l'humain. C'est la formulation de ce problème par le génie logiciel, antérieure de loin aux agents.
4. Huang, J., Chen, X., Mishra, S., Zheng, H. S., Yu, A. W., Song, X. et Zhou, D. (2024). Large Language Models Cannot Self-Correct Reasoning Yet, ICLR. arxiv.org/abs/2310.01798 Sépare l'autocorrection fondée sur les seules forces du modèle de celle qui s'appuie sur un signal extérieur et montre que la première échoue, la performance se dégradant parfois après correction. C'est l'argument empirique pour que le juge vienne d'ailleurs que de l'acteur.
5. Chen, M., Wang, L. et Qu, B. (2026). Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops. arxiv.org/abs/2607.07663 Revue de mille deux cent cinquante articles qui pose que toute boucle d'amélioration est un pari sur la substitution d'un signal au jugement humain et classe ces signaux du vérificateur formel à l'auto-évaluation. C'est l'énoncé le plus proche du cadrage de cet article et il lui est antérieur de plusieurs mois.
6. Harchaoui, W. The Ralph Eyeball Loop, Sprezzature. sprezzature.ai/ralph-eyeball-loop.html Applique la boucle aux artefacts visuels et sépare trois passes complémentaires : fabriquer depuis du code, auditer la source, regarder le rendu. C'est la source des quatre étapes, des huit rubriques de critique et du raisonnement sur le gris comme test le plus sévère.
7. Wu, L., Zhao, H. H., Zhang, Z., Tang, J., Wu, J. et Wang, A. J. (2026). ChartJudgeBench: Evaluating LMM Judges for Chart-to-Code Generation. arxiv.org/abs/2609.24210 Évalue les modèles multimodaux employés comme juges de graphiques et documente quatre défauts systématiques, dont une propension marquée à accepter et une indulgence accrue chez les modèles entraînés par renforcement. C'est la mesure du juge visuel dont dépend la boucle des figures.
8. Harchaoui, W. ECRITURE.md, charte d'écriture en français. gist.github.com La section 10 transpose la boucle à la prose : relecture par paires de paragraphes consécutifs, fenêtres glissantes qui se chevauchent, correction du texte plutôt que de l'impression. C'est la charte que cet article s'applique à lui-même.
9. Pan, J., He, H., Bowman, S. R. et Feng, S. (2024). Spontaneous Reward Hacking in Iterative Self-Refinement. arxiv.org/abs/2407.04549 Montre que dans une boucle où le même modèle rédige et note, la note monte pendant que la qualité perçue par de vrais lecteurs stagne ou baisse, d'autant plus que rédacteur et correcteur partagent leur contexte. Le mode de défaillance décrit ici était donc déjà nommé et mesuré sur la prose.
10. Twain, M. (1903). The Jumping Frog: In English, Then in French, Then Clawed Back into a Civilized Language Once More by Patient, Unremunerated Toil, Harper & Brothers. Twain publie côte à côte sa nouvelle, la traduction française qu'en donne Thérèse Bentzon et sa propre retraduction mot à mot vers l'anglais. La démonstration est comique et exacte : l'aller-retour rend visible ce que le texte avait de fragile. C'est l'ancêtre littéraire de la boucle décrite ici.
11. Brislin, R. W. (1970). « Back-Translation for Cross-Cultural Research », Journal of Cross-Cultural Psychology, 1(3), 185-216. 10.1177/135910457000100301 Fonde la rétro-traduction comme contrôle qualité en recherche interculturelle ; c'est depuis la procédure standard pour traduire un questionnaire clinique ou psychométrique, où une nuance perdue fausse une étude entière. Établit que l'écart de retour est un signal exploitable et non un bruit.
12. Zhu, J.-Y., Park, T., Isola, P. et Efros, A. A. (2017). « Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks », ICCV, 2242-2251. arXiv:1703.10593 CycleGAN : faute de paires d'images correspondantes, la contrainte d'apprentissage devient l'aller-retour lui-même. C'est la formalisation de la cohérence de cycle reprise ici, doublée de la preuve qu'elle suffit à remplacer un corrigé absent.
13. Efros, A. A. (2018). Self-supervision, Meta-supervision, Curiosity: Making Computers Study Harder, conférence au CIIRC, Université technique tchèque de Prague, 25 mai 2018. youtube.com/watch?v=_V-WpE8cmpc Efros y attribue explicitement l'idée de CycleGAN à Mark Twain et à la rétro-traduction et décrit le montage comme un auto-encodeur dont le passage étroit est une autre langue (à 48 min). Il y pose aussi la limite reprise ici : sans seconde contrainte, le réseau triche en ne bougeant pas. Et la formule qui sert de fil à la fin de cet article : rendre la triche plus coûteuse que le travail.
14. Chu, C., Zhmoginov, A. et Sandler, M. (2017). CycleGAN, a Master of Steganography, atelier « Machine Deception », NIPS. arXiv:1712.02950 Montre que CycleGAN dissimule l'image source dans un bruit de haute fréquence imperceptible, ce qui lui permet de reconstruire à l'identique sans avoir rien traduit. C'est la démonstration que la cohérence de cycle seule est dégénérée. De là vient que la fidélité se mesure ici contre l'original, jamais contre le tour précédent.
15. Shumailov, I., Shumaylov, Z., Zhao, Y., Papernot, N., Anderson, R. et Gal, Y. (2024). « AI models collapse when trained on recursively generated data », Nature, 631, 755-759. 10.1038/s41586-024-07566-y Mesure ce que devient un modèle réentraîné sur ses propres sorties : les queues de la distribution disparaissent d'abord, c'est-à-dire ce qui était rare. Cité ici comme analogue mesuré de l'attracteur, avec sa limite explicite : il s'agit d'une boucle de réentraînement, pas d'une boucle d'interrogation.
16. Somers, H. (2005). « Round-trip Translation: What Is It Good For? », Australasian Language Technology Workshop, 127-133. aclanthology.org/U05-1019 L'objection de fond : l'aller-retour note très mal un traducteur automatique, car les erreurs de l'aller et du retour se compensent. Reprise ici sans être écartée ; elle ne vise pas le même usage, mais elle motive directement l'alternance des traducteurs.
17. Moon, J., Cho, H. et Park, E. L. (2020). « Revisiting Round-Trip Translation for Quality Estimation », EAMT. arXiv:2004.13937 Réhabilite l'aller-retour en changeant ce qu'on compare : des plongements de sens au lieu d'une coïncidence de mots. C'est la réponse technique à Somers, donc la justification du critère de fidélité employé ici, qui porte sur les affirmations et non sur la forme.
18. Skorobogat, R., Prabhu, A. et Bethge, M. (2026). Round-Trip Translation Reveals What Frontier Multilingual Benchmarks Miss, 14 avril 2026. arXiv:2604.12911 Mesure une corrélation de 0,94 entre un score d'aller-retour et les préférences d'utilisateurs, là où deux bancs d'essai multilingues établis tombent à −0,09 et −0,26. C'est la mesure la plus récente que l'aller-retour capte quelque chose de réel. Elle porte toutefois sur les modèles, non sur le texte : elle appuie l'usage fait ici sans le démontrer.
19. Goodhart, C. A. E. (1975). « Problems of Monetary Management: The U.K. Experience », Papers in Monetary Economics, Reserve Bank of Australia. L'observation d'origine, faite sur les agrégats monétaires britanniques : une régularité statistique cesse de tenir dès qu'on s'en sert comme cible de politique. Elle fonde la section sur la corruption du juge.
20. Strathern, M. (1997). « "Improving ratings": audit in the British University system », European Review, 5(3), 305-321. Donne la formulation courte devenue proverbiale, à partir d'une enquête ethnographique sur l'évaluation des universités. La source est citée pour la formulation exacte, non pour une reprise de seconde main.
21. Gao, L., Schulman, J. et Hilton, J. (2023). « Scaling Laws for Reward Model Overoptimization », ICML, PMLR 202, 10835-10866. arxiv.org/abs/2210.10760 Fait tenir à un modèle de récompense le rôle du juge humain et mesure ce qui arrive quand on optimise contre lui : la note monte, la qualité réelle plafonne puis redescend, selon une forme fonctionnelle ajustée. C'est la loi de Goodhart rendue quantitative, sur une matière que cet article ne traite pas directement.
22. Efron, B. et Morris, C. (1977). « Stein's Paradox in Statistics », Scientific American, 236(5), 119-127. Exposé accessible du rétrécissement vers la moyenne : une valeur choisie parce qu'elle était la plus grande surestime ce qu'elle mesure. Ce qu'il faut lui retrancher dépend du rapport entre bruit et dispersion réelle. C'est la formule encadrée de cet article, qui date donc des années cinquante.
23. Efron, B. (2011). « Tweedie's Formula and Selection Bias », Journal of the American Statistical Association, 106(496), 1602-1614. 10.1198/jasa.2011.tm11181 Relie explicitement le rétrécissement au biais de sélection : les quelques plus grandes estimations surestiment leurs paramètres, la correction s'écrivant à partir de la densité marginale observée. C'est l'adresse exacte du facteur employé ici.
24. Ioannidis, J. P. A. (2005). « Why Most Published Research Findings Are False », PLoS Medicine, 2(8), e124. 10.1371/journal.pmed.0020124 Rend quantitative la dépendance entre le nombre d'hypothèses explorées et la probabilité qu'un résultat rapporté soit faux. C'est le même mécanisme que celui simulé ici, appliqué à la littérature scientifique.
25. Capen, E. C., Clapp, R. V. et Campbell, W. M. (1971). « Competitive Bidding in High-Risk Situations », Journal of Petroleum Technology, 23(6), 641-653. Origine de l'expression « malédiction du vainqueur », sur les enchères de concessions pétrolières : le gagnant est celui dont l'estimation était la plus haute, donc la plus fausse. Même structure que la sélection sur un jeu de validation.
26. Bergstra, J. et Bengio, Y. (2012). « Random Search for Hyper-Parameter Optimization », Journal of Machine Learning Research, 13, 281-305. jmlr.org/papers/v13/bergstra12a Montre qu'à budget égal, tirer les réglages au hasard bat une grille régulière, parce que la performance ne dépend fortement que de quelques réglages et qu'une grille répète ses essais sur les autres. C'est la référence de comparaison de la section sur la sélection de modèle.
27. Dwork, C., Feldman, V., Hardt, M., Pitassi, T., Reingold, O. et Roth, A. (2015). « The reusable holdout: Preserving validity in adaptive data analysis », Science, 349(6248), 636-638. 10.1126/science.aaa9375 Sépare les questions posées d'avance de celles qui dépendent des réponses déjà obtenues et construit un mécanisme qui rend au jeu mis de côté une validité chiffrée sous interrogation adaptative, au prix d'un budget explicite de désaccords. C'est la démonstration, côté informatique théorique, que le budget est une nécessité et non une prudence.
28. Bailey, D. H., Borwein, J. M., López de Prado, M. et Zhu, Q. J. (2014). « Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance », Notices of the American Mathematical Society, 61(5), 458-471. 10.1090/noti1105 Calcule l'espérance du maximum de \(N\) essais sans talent, en majore la croissance par \(\sqrt{2\ln N}\) et en tire un théorème de longueur minimale d'historique. C'est la source de la règle de budget de cet article, qui ne fait que la transposer ; l'antériorité est entière et la majoration elle-même vient de la théorie des valeurs extrêmes.
29. Roelofs, R., Shankar, V., Recht, B., Fridovich-Keil, S., Hardt, M., Miller, J. et Schmidt, L. (2019). A Meta-Analysis of Overfitting in Machine Learning, NeurIPS. Compare, sur plus de cent compétitions Kaggle, les classements publics issus de milliers de soumissions aux classements privés révélés une fois : le surajustement observé est faible. C'est la contre-preuve empirique de la théorie du pire cas et la raison de parler de multiplicité effective plutôt que de nombre de tours.
30. Varoquaux, G. (2018). « Cross-validation failure: Small sample sizes lead to large error bars », NeuroImage, 180, 68-77. 10.1016/j.neuroimage.2017.06.061 Montre que l'écart type entre plis sous-estime fortement l'incertitude réelle d'une estimation par validation croisée, au point de rendre douteuses des comparaisons publiées, avec des barres de l'ordre de dix points pour cent échantillons. C'est la justification de la décomposition mesurée ici.
31. probabl (2026). skills, compétences d'agent pour scikit-learn, skrub et skore, licence BSD à trois clauses. github.com/probabl-ai/skills Suite de compétences qui enchaîne exploration, construction, test de fumée, évaluation et audit, avec une boucle extérieure de proposition d'expérience. Elle sert ici d'exemple de boucle Ralph dont le juge et les conditions d'arrêt sont écrits, notamment son arbre de décision sur le choix du découpage.
32. Qiu, X. et al. (2024). TFB: Towards Comprehensive and Fair Benchmarking of Time Series Forecasting Methods. arxiv.org/abs/2403.20150 Protocole de comparaison ouvert pour la prévision de séries temporelles, construit pour éviter les comparaisons faussées par des réglages inégaux. C'est le cadre d'évaluation retenu par le projet décrit ici.
33. Ansari, A. F. et al. (2024). Chronos: Learning the Language of Time Series. arxiv.org/abs/2403.07815 Modèle de fondation qui traite une série numérique comme une suite de symboles, à la manière d'un modèle de langage. Candidat du comparatif, sans présomption de supériorité.
34. Das, A. et al. (2024). A decoder-only foundation model for time-series forecasting. arxiv.org/abs/2310.10688 L'autre famille de modèles préentraînés du comparatif, entraînée sur un vaste corpus de séries pour prévoir sans réapprentissage. Sa taille en fait le test de faisabilité sur processeur du projet.
35. Angelopoulos, A. N., Bates, S., Fisch, A., Lei, L. et Schuster, T. (2022, révisé 2025). Conformal Risk Control. arxiv.org/abs/2208.02814 Étend la prédiction conforme à des notions de risque plus générales que le taux de couverture, avec une garantie valable en moyenne sous hypothèse d'échangeabilité. C'est l'hypothèse que la dépendance des séries financières met en difficulté, comme le reconnaît la fiche du projet.
36. Madaan, A., Tandon, N., Gupta, P., Hallinan, S., Gao, L., Wiegreffe, S. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback, NeurIPS. arxiv.org/abs/2303.17651 Boucle où le même modèle produit, critique sa production puis la corrige, sans signal extérieur. Antérieure à la technique Ralph, elle établit que l'itération critique-correction n'a rien de propre à celle-ci.
37. Shinn, N., Cassano, F., Berman, E., Gopinath, A., Narasimhan, K. et Yao, S. (2023). Reflexion: Language Agents with Verbal Reinforcement Learning, NeurIPS. arxiv.org/abs/2303.11366 Conserve d'un essai à l'autre une mémoire de commentaires en langue naturelle qui tient lieu de signal d'apprentissage. Second antécédent qui montre que la mémoire entre tours précède également la technique Ralph.

Deux pistes pour prolonger. Mes livres préférés en IA, pour le panorama commenté. La galerie de sprezzature, pour voir un corpus de figures entièrement passé par la boucle.