Évolution de l'IA : les limites et la vérité de l'auto-amélioration récursive (RSI)

Auteur : Zhao Zhimin, PhD, Queen's University, Canada (direction de recherche : code intelligence et modèle mondial) Si c’est la première fois que vous entendez parler de RSI, cet article peut vous servir d’introduction. Nous vous guiderons à travers RSI depuis 0, en commençant par la première IA qui a tenté de s'améliorer, jusqu'aux agents d'aujourd'hui qui peuvent modifier les codes, créer des données de formation et participer au développement de modèles, et voir comment l'IA apprend à s'améliorer étape par étape. En juillet 2026, OpenAI a publié GPT-5.6. Pour la première fois, un nouveau sujet quelque peu inhabituel est apparu dans son bulletin : la question de savoir si l’IA peut participer à l’amélioration de l’IA elle-même. OpenAI répertorie cette capacité comme une auto-amélioration. GPT-5.6 Sol obtient 57,9 %, GPT-5.5 41,7 % et la différence entre les deux générations de modèles est de 16,2 points de pourcentage. Ce qu'il teste n'est pas le nombre de questions régulières que le modèle peut résoudre, mais s'il peut entrer sur le site de R&D IA : dépanner le système de recherche, optimiser le programme du noyau GPU (noyau GPU) et les recettes de formation, exécuter des expériences d'apprentissage automatique et même contribuer à améliorer un autre.modèle. Il ne s’agit pas d’une nouvelle isolée. Le même été, OpenAI a commencé à qualifier les agents de « stagiaires en recherche en automatisation ». Kuaishou AgentX a permis aux agents de participer à la proposition de plans, à l'écriture de code et à la comparaison des anciennes et des nouvelles versions en ligne (tests A/B). Google affirme qu'une boucle d'agent de longue durée est impliquée dans l'affinement de la prochaine version du modèle. Motus2 apporte des mises à jour de prédiction, d'évaluation et de stratégie aux vrais robots. Ces cas impliquent respectivement l'exécution de R&D, des expériences industrielles, la formation de modèles et des opérations physiques, mais aucun d'entre eux ne répond à la question la plus critique : le système amélioré sera-t-il plus efficace pour réaliser la prochaine amélioration ? C’est la question que se pose l’auto-amélioration récursive (RSI). OpenAI appelle cette évaluation l'indice RSI, qui mesure « la capacité d'accéder au RSI ». Étant donné que les questions complètes, les pondérations des tâches et les formules d'agrégation ne sont pas divulguées, 57,9 % ne peuvent être considérés que comme un indicateur global interne et ne peuvent pas être compris comme le taux de réussite des tâches ou le « degré d'achèvement » du RSI. Néanmoins, cet ensemble de chiffres marque encore un changement : un problème qui existait autrefois principalement dans les expériences de pensée a commencé à être décomposé en capacités mesurables de recherche et développement par des laboratoires de pointe. Il a fallu quarante ans aux chercheurs pour apporter progressivement davantage d’améliorations aux machines. Cet article distingue d'abord plusieurs capacités faciles à confondre, puis se déplace le long des cinq « avancées frontalières » pour voir quelles boucles fermées limitées ont tourné, pourquoi elles ne sont toujours pas équivalentes à une « explosion de l'intelligence » et pourquoi la façon dont la boucle fermée est fermée est plus importante que si elle est fermée. Ces cinq avancées ne sont qu'un cadre narratifpour faire le tri dans l'histoire, et ne sont pas des générations technologiques reconnues par les milieux académiques. Ils se sont superposés dans le temps et se développent encore aujourd’hui en parallèle. Qu'est-ce que le RSI : de l'auto-amélioration au gain récursif Ces nouvelles parlent toutes de « auto-amélioration », mais n'expliquent pas comment une boucle fermée est fermée. L'auto-amélioration récursive (RSI) au sens traditionnel fait référence à un système d'IA utilisant ses capacités actuelles pour améliorer le mécanisme cognitif qui produit cette capacité. Le système amélioré participe ensuite à la prochaine série d'améliorations. La chose la plus déroutante ici est la suivante : s’améliorer ne signifie pas s’auto-accélérer. Un système peut s'améliorer sans cesse avec une banque de questions fixe, mais il ne s'améliore pas lorsqu'il s'agit de concevoir la suivante.cycle de formation. Une entreprise peut également accélérer la recherche et le développement grâce à l’utilisation intensive d’agents intelligents, mais il n’y a pas d’intérêt composé motivé par l’amélioration elle-même. Ce concept n'est pas nouveau. En 1863, Samuel Butler imaginait déjà des machines dépassant les humains grâce à une évolution itérative. En 1950, Turing proposa la possibilité de construire une « machine à enfants » qui pourrait être éduquée et modifiée d'elle-même. En 1965, I. J. Good soulignait également : Si « concevoir de meilleures machines » en soi nécessite également de l'intelligence, alors une machine suffisamment intelligente peut être capable de concevoir des successeurs plus puissants, qui continueront à s'améliorer,et « l’explosion du renseignement » commence. Ce qui compte vraiment n’est pas de savoir si l’IA participe à l’amélioration, mais si le système amélioré devient plus performant en matière d’amélioration. Afin de bien voir cette distinction, le RSI peut être décomposé en quatre critères observables, classés de la difficulté la plus faible à la plus élevée. Cet article adopte le cadre suivant. Il ne s'agit pas de la seule définition standard dans le monde universitaire, mais elle vise à séparer les affirmations qui sont souvent mélangées : Améliorations durables : des changements efficaces peuvent être intégrés aux poids, à la mémoire, aux outils, à l'équipement ou aux routines d'entraînement, plutôt que de disparaître une fois la réponse obtenue. Les poids ici sont également appelés paramètres, qui sont l'ensemble de nombres que le modèle ajuste en permanence pendant l'entraînement et qui est finalement enregistré. Ce n'est que lorsque cet objectif est atteint que nous pouvons parler d'auto-amélioration - ce terme est utilisé dans cet article pour désigner de manière générale l'amélioration.de sortie, de mémoire, de paramètres ou d'équipement de pilotage. Boucle fermée autonome : le système peut identifier les problèmes, proposer des modifications, réaliser des expériences, évaluer les résultats et adopter de meilleures versions dans des limites définies. Les nouvelles versions peuvent participer à la prochaine série d'améliorations dans cette limite, que cet article appelle RSI limité. Gain récursif (également appelé « allumage ») : non seulement la nouvelle version obtient de meilleurs résultats sur la tâche, mais elle est également meilleure que l'ancienne version pour générer la prochaine amélioration. Ce n’est qu’après avoir franchi ce point que la « capacité d’amélioration elle-même » commencera à générer des intérêts, ce que cet article appelle l’auto-accélération récursive. Robuste et contrôlable : les gains sont soutenus avec des ressources fixes et des évaluations cachées, et peuvent être généralisés à des tâches invisibles sans compromettre la pollution de l'évaluation, la complexité incontrôlable du système, la dégradation de l'alignement ou l'inauditabilité (l'alignement fait référence à la conformité du comportement de l'IA aux intentions et aux limites humaines, plutôt que de simplement augmenter un certain score). Ce n’est que lorsque les quatre critères sont remplis qu’il est proche du RSI ouvert. Actuellement, les deux premiers problèmes sont apparus, le troisième ne dispose pas de preuves publiques suffisantes et le quatrième n'est pas non plus résolu. Une boucle fermée limitée est apparue, mais cela ne signifie pas que l’auto-accélération récursive a commencé. Ce n’est que lorsque la rétroaction récursive sera suffisante pour compenser les résistances telles que la difficulté accrue de la recherche et les cycles d’itérations plus longs que les améliorations entreront dans la plage d’auto-amplification. Les quatre instructions suivantes seront utilisées de manière fixe. L'auto-amélioration fait généralement référence à l'amélioration du rendement, de la mémoire, des paramètres ou de l'équipement de conduite. Les nouvelles versions peuvent participer à la prochaine série d'améliorations dans des limites fixes, que cet article appelle RSI limité. Le système amélioré devient plus capable d'amélioration, ce que l'on appelle l'auto-accélération récursive, qui est la troisième couche « d'allumage ». Si ce gain peut êtresoutenu, généralisé et au-delà des limites de la tâche initiale, il sera proche du RSI ouvert. À l'heure actuelle, les deux premiers niveaux ont émergé, le troisième niveau ne dispose pas de preuves publiques suffisantes et le quatrième niveau n'est pas encore résolu. Une boucle fermée limitée est apparue, mais cela ne signifie pas que l’auto-accélération récursive a commencé. Ce n’est que lorsque la rétroaction récursive sera suffisante pour compenser les résistances telles que la difficulté accrue de la recherche et les cycles d’itérations plus longs que les améliorations entreront dans la plage d’auto-amplification. Pour voir exactement où nous en sommes aujourd’hui, il faut remonter à une IA qui a appris à « tricher » en 1981. Qu'est-ce que le RSI : de l'auto-amélioration au gain récursif En 1981, Douglas Lenat construit un système appelé EURISKO. Il utilise non seulement des règles heuristiques pour résoudre des problèmes, mais peut également générer, modifier et évaluer de nouvelles règles, et même utiliser ce mécanisme sur lui-même. C'était assez en avance sur son temps. EURISKO a participé au championnat national d'échecs de guerre spatiale Traveler TCS. Il conçoit des flottes, simule des batailles et ajuste sa stratégie en fonction des échecs. Il a remporté le titre en 1981, puis à nouveau en 1982 après que les organisateurs ont modifié les règles. La communauté de l’IA de l’époque était choquée : cette chose pourrait en fait s’améliorer ! Mais Lenat se heurta bientôt à un problème plus difficile. EURISKO a découvert qu'améliorer ses capacités réelles n'est pas le seul moyen d'obtenir des scores élevés. Une certaine règle n'a pas vraiment fait une découverte importante, mais elle a appris à ajouter son nom à la liste des « découvreurs » lorsque d'autres règles ont fait des découvertes, de sorte que son score interne « d'utilité » s'est rapidement approché du plus haut. En d’autres termes, elle n’est pas devenue plus intelligente, mais a appris à exploiter les failles du mécanisme d’évaluation. Ce phénomène est aujourd'hui souvent appelé piratage de récompense (également appelé spéculation sur les récompenses) : le système trouve des failles qui améliorent le score, mais n'atteint pas réellement les objectifs visés par les concepteurs. C’est particulièrement fatal dans le contexte de l’auto-amélioration de l’IA : une fois que le système est à la fois celui qui est amélioré et peut également affecter le processus d’évaluation, l’auto-amélioration peut sombrer dans l’auto-illusion. Nous rencontrerons à nouveau ce piège etencore plus tard. Au cours des décennies suivantes, les algorithmes génétiques, les stratégies évolutives et la neuroévolution ont continuellement prouvé que la recherche et la sélection peuvent donner lieu à des comportements complexes, et ont exposé à plusieurs reprises le même problème : tant qu’il existe des failles dans la cible d’évaluation, le système peut d’abord apprendre à exploiter les failles au lieu de devenir véritablement plus fort. Ce fil de discussion s’étend jusqu’en 2017, et un cas plus extrême apparaît : AlphaZero de DeepMind. Il s'appuie sur le pur jeu personnel pour maîtriser le Go, les échecs et le shogi à partir de zéro. Le pouvoir de « s’entraîner soi-même avec des données auto-générées » est pleinement démontré pour la première fois. Du point de vue du cadre à quatre couches de cet article, AlphaZero est une implémentation restreinte : le jeu autonome génère des signaux d'entraînement, améliore les poids d'écriture et les deux premières couches ont été établies dans le jeu fixe. Mais la principale limitation est la suivante : les limites de la boucle fermée sont tracées par les humains et le système ne peut pas modifier les limites lui-même. La fonction de récompense (score pour gagner un jeu), les règles du jeu, le processus de formation et les méthodes d’évaluation sont tous codés en dur à l’avance par les humains. AlphaZero implémente une boucle fermée d'auto-amélioration durable et autonome dans un bac à sable complètement fermé, mais ne peut pas remettre en question ou modifier ce bac à sable. Cela signifie queson amélioration sera toujours limitée à la dimension « mieux jouer aux échecs » et ne pourra jamais être migrée en dehors du bac à sable. C’est le plafond commun des méthodes historiques. La recherche de l’ère LLM ne l’a pas franchi en une seule étape, mais a commencé à déplacer un à un les liens initialement contrôlés par les humains dans une boucle fermée. La première chose à transmettre est le signal de retour pour déterminer « ce qui doit être changé ». Premier effort (2022-2023) : laisser l’IA apprendre de ses propres erreurs Toutes les méthodes de l’histoire sont coincées au même endroit : la direction de l’amélioration est écrite à l’avance par les humains. EURISKO et AlphaZero s'appuient sur des fonctions d'évaluation fournies par les humains, et les algorithmes génétiques s'appuient sur des fonctions de fitness conçues par les humains. Le système peut évoluer, mais il ne peut qu’avancer sur la voie tracée par les humains. Pour avancer, la première étape consiste à se demander : le système peut-il juger par lui-même de la qualité du courant de sortie ?sans recourir aux interventions humaines les unes après les autres, et générer des pistes d'amélioration ? Ce type de feedback qui peut orienter vers la prochaine révision est appelé « signal d’amélioration » dans cet article. Cette étape n'était pas possible dans le passé car les machines ne pouvaient pas lire « qu'est-ce qu'une bonne réponse ». D’ici le second semestre 2022, le Large Language Model (LLM) sera capable à la fois de comprendre le langage et d’évaluer la qualité d’un morceau de texte. Laisser le système générer son propre feedback verbal devient pour la première fois une approche courante. La contrainte clé de cette voie est la suivante : aucun paramètre n'est modifié tout au long du processus, et l'améliorationse produit principalement dans le processus de raisonnement et dans la mémoire externe. Réflexion : Transformez les avis échoués en mémoire réutilisable L'idée la plus directe est de laisser le modèle être peaufiné à plusieurs reprises au cours du processus de réponse sur place : donner d'abord la réponse, puis critiquer la réponse, puis la réécrire, en répétant le cycle, sans modifier les paramètres tout au long du processus. Mais il y a un défaut inhérent. Utiliser le même modèle pour critiquer sa propre production équivaut à utiliser la même règle pour mesurer le même morceau de tissu, et il est difficile de mesurer le sienangles morts. Si la révision reste uniquement dans le contexte actuel, la progression sera perdue une fois la tâche terminée. Reflexion (NeurIPS'23) ajoute une conception clé sur cette base : la mémoire épisodique. Après l'échec d'une tâche, le modèle rédige une évaluation post-mortem en langage naturel, enregistre l'évaluation et injecte directement du contexte la prochaine fois qu'il rencontrera une tâche similaire. Cela équivaut à donner à l’IA un livre de mauvaises questions. Plus vous accumulez de mauvaises questions, plus votre point de départ sera élevé pour le prochain départ. Dans le test de programmation HumanEval Python, la précision pass@1 de Reflexion a atteint 91 %, dépassant le meilleur résultat précédent GPT-4 (80 %) indiqué dans l'article. pass@1 signifie que chaque question n'est calculée qu'une seule fois pour le processus de réponse complet, et la proportion du programme final qui réussit le test unitaire caché est calculée. Pendant tout le processus, les paramètres du modèle n’ont pas été modifiés. La limite du premier avancement : la mémoire peut durer, et la capacité de base ne forme pas une nouvelle version. La mémoire épisodique de Reflexion peut être conservée d'une tâche à l'autre, elle satisfait donc déjà partiellement à une « amélioration durable ». Mais ce qui est sauvegardé, c'est la mémoire de texte externe, et non les paramètres du modèle, et cela ne produit pas un nouveau modèle doté de capacités de base plus solides. Une fois la mémoire supprimée, la capacité revient à son état d'origine. En un mot : cette étape donne à l’IA un livre de fausses questions qui peuvent être sauvegardées, mais elle n’a pas encore incorporé l’expérience dans le corps. À l’avenir, les améliorations doivent être inscrites dans les paramètres pour former une véritable nouvelle version. Deuxième effort (2022-2024) : Entraînez-vous avec les données que vous générez Soudez ensuite le mauvais livre de questions dans le corps du modèle. Le problème à résoudre dans cette avancée est de permettre aux signaux améliorés générés indépendamment d’être écrits dans des paramètres pour former une amélioration de capacité véritablement durable. Sans cette étape, il n'y aurait pas de structure récursive de « la version suivante est plus forte que la précédente », et il n'y aurait pas de RSI. L'idée est très simple : laisser le modèle générer lui-même un lot de données d'entraînement, puis utiliser ces données pour s'entraîner à nouveau. Cela ressemble un peu à « marcher sur le pied gauche et atteindre le ciel avec le pied droit ». S'il peut réellement marcher dessus, c'est quelque chose qui doit être vérifié au cours de cette étape. C’est la première fois que des améliorations durables au niveau du poids sont systématiquement abordées par de grands modèles de langage. STAR : le travail fondamental de l'amorçage de la chaîne de raisonnement En 2022, STaR (Self-Taught Reasoner) (NeurIPS'22) permet au modèle de générer le processus de raisonnement, conserve la partie correcte de la réponse pour s'affiner, puis utilise le modèle mis à jour pour générer le prochain lot de processus de raisonnement. Le problème est que si le modèle obtient toutes les réponses fausses en premier lieu, la boucle ne démarrera pas. La solution de STaR s'appelle le raisonnement inverse : indiquez d'abord au modèle la bonne réponse, puis laissez-le inverser le processus de résolution de problèmes et l'utiliser pour la formation. Cela équivaut à allumer la lumière une fois dans une pièce sombre, à attendre qu'il apprenne à marcher, puis à éteindre la lumière pour le laisser marcher tout seul. SPIN : Améliorer le modèle par rapport aux versions historiques Le seuil de filtrage de STaR est fixe, tandis que SPIN (Self-Play Fine-Tuning) (ICML'24) permet au modèle actuel de jouer avec la version historique et d'apprendre à distinguer entre « démonstration humaine » et « sortie de la version historique ». Plus il est difficile de faire la distinction entre les deux, cela signifie que le modèle est plus proche d’une démonstration humaine et qu’aucune nouvelle annotation manuelle n’est nécessaire dans l’ensemble du processus. Limite de la deuxième poussée : les poids ont changé, mais la cible et le stylo rouge sont toujours fournis par les humains. Cette étape résout le problème de la persistance au niveau du poids, mais le signal de rétroaction dépend toujours des humains. La fonction de récompense est conçue par des humains, les tâches de formation sont sélectionnées par des humains et les critères de filtrage des données sont également formulés par des humains. Le système peut générer de manière autonome des données sur les candidats, mais le jugement quant aux données considérées comme « bonnes » et dignes d’être formées est toujours entre les mains des humains. SPIN ne nécessite pas de nouveau manuelannotations, mais cible toujours la distribution de démonstration humaine existante, de sorte que la limite supérieure est toujours ancrée par cette distribution. Le problème le plus profond est que le gain récursif n'est pas encore apparu : à mesure que les capacités du modèle s'améliorent, les tâches de formation fixes perdront progressivement leur défi. Le système s’améliorera de plus en plus pour répondre à cette série de questions, mais rien ne prouve qu’il s’améliorera de plus en plus dans la conception de la formation elle-même. Tout comme un athlète a déjà couru en moins de 10 secondes, mais l'entraîneur utilise toujours les normes de l'école primaire.cours d'éducation physique pour juger, la marge d'amélioration sera réduite par le plafond des normes de jugement. En un mot : le système peut générer des données et répondre aux questions par lui-même, mais il ne peut pas les corriger par lui-même. Tant que le stylo rouge sera entre les mains des humains, les humains continueront à dessiner le plafond. La troisième avancée (2022-2025) : donner plus de droits de notation à l’IA Ce stylo rouge peut-il également être donné à l’IA ? Tant que la notation et le feedback reposent sur des annotations manuelles ou des validateurs écrits par des humains, la direction de l'amélioration sera toujours entre les mains des humains. Le validateur est ici un programme qui peut déterminer automatiquement si le résultat est correct ou incorrect selon des règles prédéfinies. C’est cette couche de dépendance que la troisième poussée réduira : davantage de signaux de rétroaction peuvent-ils être générés par l’IA ?lui-même ? Il s’agit de l’approfondissement de la boucle fermée autonome : non seulement laisser le modèle réfléchir sur le résultat, mais aussi donner une partie du retour d’information de la formation à l’IA. CAI à Meta-Rewarding : des réponses d'évaluation aux juges d'évaluation Le cœur de la troisième poussée est le triple saut de la question « qui marquera ? » Premier saut : en 2022, Anthropic a proposé l’IA constitutionnelle (CAI). Les humains écrivent uniquement un principe écrit, puis laissent l’IA marquer des points par rapport à ces principes. Dans l'expérience, cela n'est pas significativement différent de l'effet de la formation à la notation manuelle, et les gens n'ont plus besoin de participer à la notation élément par élément. Deuxième saut : en 2024, les modèles de langage auto-récompensés de Meta (ICML'24) vont encore plus loin. Le même modèle écrit les réponses, se note lui-même et les autres réponses des candidats, et se met à jour avec ces scores. La méthode de réglage fin utilisée s'appelle Direct Preference Optimization (DPO), ce qui peut être simplement compris comme : « Cette réponse est meilleure que celle-là. À l'avenir, comptez sur la meilleure. » À partir de Llama 2 70B, après trois itérations, son taux de victoire sur AlpacaEval 2.0 est passé de 9,94 % à 20,44 %. Ici, GPT-4 sert de juge et GPT-4 Turbo sert d'adversaire. Le taux de réussite n’est pas le taux de réponse correct au sens général. Troisième saut : puisque la qualité des réponses peut évoluer d’elle-même, la qualité du jugement elle-même peut-elle également évoluer ? Meta-Rewarding (2024) ajoute une couche de « méta-jugement » sur cette base. Le même modèle joue simultanément les rôles d’intimé, de juge et de « juge des juges ». Le troisième rôle est dédié à juger si le score est exact cette fois-ci. Au cours de chaque série de mises à jour, le modèle évolue dans deux directions : « de meilleurs répondants » et « plus de répondants ».des juges précis" en même temps. Cependant, le journal enregistre également un phénomène digne de vigilance : après plusieurs itérations, les « juges des juges » commencent à se dégrader. Il ne détermine plus quelle note est la plus raisonnable, mais sélectionne directement celle avec la note la plus élevée, et les critères de jugement dérivent également en conséquence. Il s’agit de la version 2024 du vieux problème d’EURISKO : plus il évolue en profondeur, plus la règle permettant de mesurer le bien et le mal devient courbée. La limite de la troisième avancée : une fois le stylo rouge remis à l’IA, la règle elle-même commence à se plier. Cette étape réduit considérablement la dépendance du signal de retour à l'annotation manuelle une par une, mais expose en même temps la principale difficulté du RSI : lorsque le juge et le juge partagent le même ensemble d'angles morts, la boucle fermée peut facilement se confirmer. De tels systèmes peuvent former des mises à jour persistantes et autonomes, mais ils ne gèrent pas nécessairement de nouvelles tâches différentes des données de formation, ni ne prouvent que les nouvelles versions seront de plus puissants améliorateurs. Le problème est passé de « la rétroaction humaine est trop lente » à « la fiabilité de l'auto-jugement ». En une phrase : Le stylo rouge a finalement été remis à l'IA, mais en le tenant, elle a commencé à s'attribuer des notes élevées. Quatrième avancement (2023-2026) : Laissez l’IA modifier son fonctionnement Les trois premières avancées se sont principalement concentrées sur la modification de la sortie, de la mémoire, des paramètres et des signaux de retour. Cependant, les capacités d'un système d'IA ne sont pas seulement déterminées par les paramètres, mais aussi par l'ensemble du système de contrôle qui tourne autour du modèle : comment écrire des mots d'invite, quels outils appeler, quels processus organiser, où se trouve la mémoire, où se trouve l'autorité et comment juger les résultats. Lilian Weng a appelé cette couche entière le harnais dans son article de 2026. C'est comme un harnais sur un cheval. Cela permet non seulement au modèle de fonctionner, mais restreint également où, comment et jusqu'où le modèle peut aller. L'engrenage moteur détermine si les capacités du modèle peuvent être traduites en actions fiables. Les récentes améliorations personnelles commenceront probablement par les outils de conduite, car le changement de poids coûte cher, le retour d'information est lent et les risques sont élevés. Changer les outils de conduite revient essentiellement à changer le code, qui est moins cher et plus facile à restaurer. L'orientation à long terme pourrait être que les poids des modèles co-évoluent avec le véhicule, mais les évaluateurs, les contrôles d'autorisation et les limites de sécurité critiques devraient rester en dehors de la zone évolutive. La question à laquelle il faudra répondre dans le quatrième volet est donc la suivante : le système peut-il modifier de manière autonome son propre équipement de conduite, c'est-à-dire définir l'architecture de son fonctionnement ? La mise à jour des paramètres consiste à entraîner les capacités dans le modèle dans le mode de fonctionnement établi. Les mises à jour des équipements de conduite modifient la manière dont les capacités sont utilisées, ce qui équivaut à une refonte de l'établi, de la boîte à outils et des méthodes de formation. Il existe une échelle progressive claire pour améliorer l'équipement de conduite. Les objets à optimiser vont du superficiel au profond, et chaque niveau est plus proche du cœur de « la façon dont le système pense » : organigramme LR A["Mot d'invite
Modifier la formulation"] --> B["Structure du contexte
Que modifier"] B --> C["Workflow
Modifier les étapes"] C --> D["Code équipement de conduite
Modifier l'ensemble de la disposition"] D --> E["Code d'optimisation
changer "comment changer" lui-même"] Plus on s'en va, plus le levier de changement est grand et plus on se rapproche du « le système réécrit lui-même la logique de fonctionnement ». Suivons cette échelle et regardons-la du plus profond au plus profond. OPRO : laissez les mots d'invite s'itérer d'eux-mêmes Le système peut-il devenir plus fort en laissant les paramètres inchangés et en modifiant uniquement les mots d'invite, qui sont les mots que nous donnons aux instructions au modèle ? La démarche de l’OPRO (ICLR 2024) est très représentative. Il donne les mots d'invite essayés et les scores correspondants au modèle, permettant au modèle de résumer les règles et de générer une meilleure version. Dans le passé, les « compétences de réglage » reposaient sur les essais et les erreurs des individus, mais aujourd'hui, le modèle peutêtre itéré tout seul. Mais la limite supérieure est claire : quelle que soit la qualité du mot d’invite, il ne fait que faire appel aux capacités existantes du modèle et ne peut pas en créer de nouvelles. ADAS et AFlow : flux de travail automatisés des agents de conception En descendant un niveau plus bas, ce qui est optimisé n'est plus seulement la formulation, mais les informations fournies au modèle et la manière dont l'ensemble du processus de tâche est organisé. Par exemple, AI Scientist met en place une chaîne de montage consistant à « proposer des idées → écrire du code → exécuter des expériences → rédiger des articles → évaluer par les pairs ». Puisqu’un processus peut être écrit dans du code, il peut également être recherché. ADAS (ICLR 2025) transforme le « workflow de conception » lui-même en un problème d'optimisation. Un « agent concepteur » de niveau supérieur écrit en permanence de nouveaux flux de travail dans le code, les exécute, les filtre, puis les modifie, etc. AFlow (ICLR 2025) va encore plus loin. Il représente le flux de travail sous la forme d'un organigramme composé d'appels de modèles et de jugements logiques, puis utilise des algorithmes de recherche pour trouver de meilleures structures, dépassant finalement les solutions conçues manuellement. Auto-harnais et DGM : laissez le système réécrire le code du harnais Au sommet de l’échelle, le système réécrit directement le code qui définit son fonctionnement. Il y a deux itinéraires ici. La première consiste à « proposer, évaluer et accepter ». Le système trouve ses propres problèmes, propose des modifications, puis les adopte après avoir vérifié leur efficacité. Self-Harness (2026) ajoute des conditions d'acceptation strictes : le système résume d'abord les raisons de l'échec, puis apporte de petites modifications réversibles. La nouvelle version ne sera retenue que si elle ne régresse pas sur les problèmes visibles et invisibles. La deuxième voie est la recherche évolutive. Le système conserve un groupe de solutions candidates, leur permet de générer des variantes, puis laisse de meilleures versions grâce à des expériences. La Darwin Gödel Machine (DGM) (2025) fait évoluer directement le code de conduite auto-modifiable. En partant du principe que le modèle de base reste inchangé, son taux de réussite des réparations sur SWE-bench Verified passe de 20 % à 50 %. Derrière les deux chemins se cache la même idée : le code est le langage universel pour définir les systèmes. Une fois le véhicule écrit dans un code exécutable et pouvant être évalué, les agents de programmation peuvent parcourir l'espace de conception. MetaClaw et AgentX : laissez les vrais utilisateurs être la source de commentaires Quel que soit le chemin que vous empruntez, l'auto-évolution de l'équipement de conduite nécessite un signal indiquant « si la modification est bonne ou non ». Le signal d’amélioration du DGM provient de l’ensemble de tests fixe. MetaClaw (2026) permet à l'agent d'extraire l'expérience du dialogue dans un déploiement réel et de solidifier l'expérience en poids en arrière-plan, poussant l'auto-évolution de la banque de questions à la gestion de l'utilisateur. Il y a déjà des gens dans l’industrie qui s’orientent vers de véritables affaires. AgentX de Kuaishou (2026) examinera les enregistrements d'exécution, modifiera l'équipement de conduite du sous-agent en conséquence, puis utilisera des tâches historiques pour filtrer les nouvelles versions. Il utilise un squelette « proposer, évaluer, accepter » similaire à celui de Self-Harness. La différence est qu’il subit finalement de véritables tests A/B en ligne. Le séjour et le comportement de consommation de l'utilisateur deviennent le signal de récompense du système. La différence essentielle entre ces méthodes ne réside pas dans le mécanisme, mais dans la personne qui est le coach : un ensemble de tests, des utilisateurs réels ou une entreprise en ligne. Plus le coach est proche de la réalité, plus il est probable que les améliorations fonctionnent réellement, mais plus le risque d’être exploité est grand. La limite du quatrième avancement : l'architecture opérationnelle peut être modifiée, mais la limite de vérification et l'objectif final sont toujours externes. Ces progrès ont également transformé les méthodes d’appel de modèles, d’outils et de mémoires en objets évolutifs. Mais la direction dans laquelle évolue l'outil de conduite est toujours déterminée par les tâches externes, les validateurs ou les objectifs des utilisateurs. Plus important encore, un score plus élevé pour l’instrument de conduite ne signifie pas que l’intelligence de la base devient plus forte. Ce n’est pas parce qu’un système modifiera l’équipement de conduite que l’équipement de conduite mis à joursera efficacement utilisé par celui-ci. Conclusion : le système est enfin capable de réinventer ses propres membres et son établi, les critères d'acceptation et les limites de construction étant toujours définis par le monde extérieur. Cinquième poussée (2025-2026) : Mettez le processus d’apprentissage et de recherche en boucle fermée La modification de l'outil de conduite est une voie, mais ce qui change l'outil de conduite, c'est la façon dont le système exécute les tâches pendant l'exécution : quel outil appeler, quel processus suivre et quand s'arrêter. La cinquième étape consiste à modifier la couche la plus en amont : les matériaux utilisés par le système pour apprendre et le lieu lui-même : d'où proviennent les questions de pratique, à quoi ressemble l'environnement de pratique et comment les données de formation sont générées. Le premier déterminecomment les capacités existantes sont utilisées, et cette dernière détermine sur quel type d'expérience la prochaine version du modèle sera formée. Les délais des deux se chevauchent fortement, car de nombreuses équipes font les deux choses en même temps, mais les objets de changement sont différents : l'un modifie la structure de contrôle pendant l'inférence, et l'autre modifie l'offre d'entrées avant la formation. Une autre voie a alors commencé à élargir la portée de la boucle fermée : l’ensemble du processus d’apprentissage et de recherche peut-il devenir l’objet opérationnel du système ? Le système commence à générer du matériel de formation, sélectionne des stratégies de pratique, exécute des expériences, modifie le processus de formation, puis réécrit les résultats sur le modèle ou l'équipement de conduite. Il y a ici un malentendu à éviter. La génération autonome de données ou d'environnement par le système ne fait qu'élargir la portée des boucles fermées autonomes. Même si les questions, réponses et corrections sont toutes complétées par l'IA, si la nouvelle version ne devient pas meilleure dans la conception de la prochaine série d'améliorations, le système n'a toujours pas franchi le seuil du gain récursif. SEAL : laissez le modèle générer ses propres données d'entraînement et mettre à jour les instructions Donnez à un modèle un nouveau matériel qu'il n'a jamais vu auparavant, et il ne peut généralement apprendre que de manière prédéterminée par les humains. Un travail réalisé en 2025 a demandé au modèle d'écrire d'abord un « plan d'apprentissage » pour lui-même : comment organiser le matériel, à quel rythme apprendre et s'il doit être réécrit plusieurs fois sont tous décidés par le modèle lui-même, puis les paramètres sont mis à jour conformément au plan. Cela équivaut à organiser votre propre courshoraire, puis assister aux cours en fonction de celui-ci. Cette méthode est appelée SEAL (Self-Adapting LLMs) (NeurIPS'25). Que le plan soit bon ou non dépend de « si les questions sont exactes après avoir terminé le cours ». Le système utilise ensuite les résultats pour ajuster le plan. Il s’agit d’un apprentissage par renforcement. Dans la tâche de questions et réponses de connaissances, cette méthode a augmenté la précision de 33,5 % à 47,0 %, ce qui est également meilleur que l'utilisation directe de GPT-4.1 pour générer du matériel d'apprentissage. SEAL explique « comment préparer du matériel d'apprentissage pour vous-même ». Mais pour les agents qui doivent interagir de manière répétée avec l’environnement, un autre goulot d’étranglement apparaît rapidement : la pratique réelle elle-même est trop lente et coûteuse. La tâche suivante consistait donc à déplacer l’environnement dans une boucle fermée. SEAL résout "comment préparer du matériel d'apprentissage pour vous-même". Mais pour les agents qui doivent interagir de manière répétée avec l'environnement, la pratique réelle est souvent trop lente et coûteuse : l'environnement Web est trop complexe et chaque opération doit être réellement exécutée, et la collecte des données de formation est lente et coûteuse. WebEvolver (EMNLP'25) propose un compromis : former un "modèle mondial" interne pour simuler la réaction des pages Web, ce qui estéquivalent à construire un bac à sable dans votre esprit. L'agent peut s'entraîner beaucoup dans le bac à sable à faible coût et se connecter en ligne uniquement pour vérification aux étapes critiques ; lors de l'exécution de tâches, le bac à sable peut également l'aider à prédire les résultats de la prochaine opération. Sur trois ensembles de tests de tâches de pages Web réels, ses performances globales sont améliorées d'environ 10 % par rapport aux agents auto-évolutifs existants, et il ne repose pas sur un « modèle d'enseignant » plus fort. À ce stade, la boucle fermée peut être pratiquée dans l’environnement de simulation. La question suivante est naturellement : la prédiction, l’évaluation et la mise à jour des paramètres peuvent-elles quitter la page Web et être fermées dans le monde physique réel ? Motus2 : Quand l'auto-amélioration des paramètres entre dans le monde physique L'amélioration personnelle ne se produit pas seulement dans les langages et le code. En août 2026, le taux de réussite moyen d’un système robotique sur deux tâches réelles sur machine est passé de 65 % à 75 %. Le changement vient d’une boucle fermée très spécifique : le robot imagine d’abord plusieurs actions, prédit les résultats de chaque action, sélectionne une meilleure action, puis utilise les résultats pour le prochain cycle d’entraînement. Ce système s'appelle Motus2. La stratégie est chargée de proposer des actions, le modèle mondial prédit les résultats des actions et le modèle de valeur détermine si les résultats aideront à accomplir la tâche. Les prédictions et les scores sont utilisés à la fois pour sélectionner des actions et pour mettre à jour les paramètres d'action. Il s’agit d’une amélioration stratégique au niveau du poids, mais il s’agit toujours d’une boucle fermée limitée : l’épine dorsale du modèle mondial et le modèle de valeur restent figés, les objectifs des tâches et la supervision sont toujours fournis en externe, et l’article ne montre pas que le Motus2 amélioré est meilleur pour concevoir la prochaine série d’algorithmes d’apprentissage. Ce que cela prouve, c'est que des boucles fermées peuvent être exécutées sur de vrais robots, et non qu'un RSI ouvert ait été réalisé. SEAL, WebEvolver et Motus2 intègrent respectivement le matériel de formation, l'environnement de pratique et les actions physiques en boucle fermée. Ils élargissent la portée dans laquelle le système peut fonctionner de manière autonome, mais ne laissent toujours pas au système le pouvoir de décision sur « quoi étudier et quand utiliser les résultats ». Pour voir jusqu'où cette frontière a été avancée dans la recherche et le développement réels, nous devons revenir aux laboratoires de pointe etsystèmes de production. OpenAI et Google : laissez les agents participer au développement du modèle Les « stagiaires en recherche automatisée » d'OpenAI ont pu dépanner, optimiser les programmes du noyau GPU, essayer des recettes de formation et contribuer à améliorer un autre modèle. Google a également déclaré que les boucles d'agents de longue durée participent à l'affinement du modèle sous-jacent. Cependant, aucune des deux sociétés n’a prouvé qu’elle disposait d’une boucle fermée complètement autonome : les humains décident toujours de l’orientation de la recherche et de l’avancée des résultats, et l’information publique ne suffit pas à restaurer la recherche.comment fonctionne la boucle. Le véritable changement est que l’IA est passée du « modèle étudié » à « l’exécuteur participant au modèle de recherche ». Elle est entrée dans l'atelier de formation, mais n'a pas encore pris le volant du laboratoire. Été 2026 : les systèmes de recherche automatisés commencent à améliorer la façon dont ils effectuent des recherches Les cinq premières avancées ont continué à élargir « ce qui peut être modifié dans le système ». Un groupe de travaux apparu à l'été 2026 a commencé à se poser la question frontale : le système de recherche automatique peut-il être autorisé à étudier et à améliorer le système de recherche automatique lui-même ? Sur un benchmark de pré-entraînement GPT, la boucle interne ordinaire réduit la perte de vérification d'environ 0,009, et l'ajout de la boucle externe réduit la perte de vérification d'environ 0,045 en moyenne, soit une amélioration d'environ 5 fois. La perte de validation peut être comprise comme « à quel point » le modèle est erroné sur les nouvelles données, et généralement plus il est faible, mieux c'est. La comparaison ici est la réduction des pertes, et non l’augmentation de la précision des tâches de 5 fois. Bilevel Autoresearch le fait en utilisant une boucle à deux couches : l'agent interne optimise le code de la tâche et l'agent externe optimise le mécanisme de recherche interne. Ce que le système a amélioré, ce ne sont pas seulement les réponses, mais « comment trouver les réponses ». Recursive Harness Self-Improvement (RHI) a obtenu des résultats similaires : sur 30 tâches de recherche en apprentissage automatique synthétique, l'agent mis à jour à faible budget d'inférence a dépassé la configuration non optimisée au budget le plus élevé tout en réduisant les coûts d'inférence jusqu'à environ 60 %. Améliorer le mécanisme de fonctionnement est parfois plus efficace que simplement augmenter le budget de réflexion. Cependant, les deux résultats proviennent principalement d’expériences à échelle contrôlée. Prouver qu'une boucle fermée ne trouve pas occasionnellement une bonne solution nécessite des exécutions plus longues, plusieurs versions ultérieures et des tests en dehors de la boucle. AIDE² essaie de réunir ces trois choses. Ce qui a vraiment suscité la controverse, c'est AIDE². L'équipe Weco a demandé à un agent de recherche automatisé d'agir en tant qu'améliorateur externe, réécrivant l'outil de pilotage interne de l'AIDE en 100 étapes consécutives. Pendant huit jours de fonctionnement sans surveillance, il a filtré sept versions améliorées consécutives. L'équipe a signalé que la meilleure version dépassait non seulement le point de départ, mais dépassait également la version qui avait été réglée manuellement pendant deux ans, et apportait ledes gains sur des tâches que la boucle n'avait jamais vues auparavant. Un autre changement s'est produit avec les astuces de récompense. Dans le test du programme du noyau GPU KernelBench qui n'a pas participé à l'optimisation, 63 % des cas de test de la version initiale présentaient une situation dans laquelle « le score public semblait s'être amélioré, mais la vérification cachée n'était pas reconnue ». La version la mieux évoluée ramène ce chiffre à 34 %. Le score privé ici est un score qui ne peut pas être vu lors de l'optimisation du système et n'est utilisé que lors de la phase finale.acceptation. Il se peut qu’il ait éliminé les versions qui ne s’adresseraient qu’aux partitions publiques. Weco appelle cela le niveau 1 : amélioration positive nette. Il ne s’agit pas d’une norme industrielle courante, mais c’est la preuve d’un RSI limité qui mérite d’être pris au sérieux dès maintenant. Les limites des preuves sont également claires : les résultats proviennent des auto-évaluations de l'équipe, le rapport complet n'a pas encore été publié et il existe des récurrences dans le système évolué. Gonflement de complexité et code mort. Plus important encore, il a échoué au test d'allumage de niveau supérieur : le système amélioré ne s'est pas révélé meilleur que son prédécesseur pour améliorer une autre version. La preuve inverse vient d’AI4AI-Bench. Il permet à l'agent de réécrire l'algorithme de formation au sein d'une ressource fixe, qui est ensuite notée par un évaluateur inaccessible à l'agent. En prenant l'algorithme d'origine à 0,1 et la valeur optimale de la tâche à 1,0, le système le plus puissant n'obtient que 0,250, et la plupart des soumissions ne modifient pas réellement le modèle « comment apprendre ». Actuellement, les agents sont très doués pour réparer les projets, ajuster la conduiteéquipement et mener des expériences, mais leur capacité à toucher le cœur des algorithmes de formation est encore très superficielle. Conclusion : la boucle fermée a pu tourner plusieurs fois de manière nette-positive, mais il n'a pas été prouvé que le tour suivant tournera plus vite à cause du précédent. Perspective unifiée : comment juger où est allé le RSI Le tableau suivant utilise les quatre critères du début (amélioration persistante, boucle fermée autonome, gain récursif, robustesse et contrôlabilité) pour comparer les avancées précédentes et marquer les principales lacunes. Presque tous les travaux connexes sur la boucle fermée de la méta-recherche proviennent des prépublications d'arXiv des derniers mois en 2026, parmi lesquelles AIDE² est un résultat de blog auto-rapporté par l'équipe, qui n'a pas encore été évalué par des pairs. Ces conclusionsdoivent être considérées comme des observations par étapes plutôt que comme un consensus établi. ✅ dans le tableau indique qu'il existe des preuves relativement directes, ⚠️ indique qu'elles ne sont établies que dans des conditions limitées ou les preuves sont encore insuffisantes, et ❌ indique qu'elles n'ont pas encore été démontrées. L'historique de ce champ est l'historique des « objets pouvant être modifiés par le système » avançant couche par couche. Les objets modifiés sont progressivement passés de la sortie et de la mémoire aux paramètres, à l'évaluation, à l'équipement de conduite et à l'environnement de formation, pour finalement rencontrer le mécanisme lui-même qui a produit l'amélioration. Plus on avance, plus il est difficile de définir le terme « amélioration » et plus il est difficile de le prouver. Revenant aux quatre critères précédents - amélioration durable, boucle fermée autonome, gain récursif, robustesse et contrôlabilité - ce qui bloque réellement l'allumage et l'ouverture du RSI aujourd'hui est l'endroit le plus difficile à franchir dans chacun des trois derniers critères, qui peuvent être décomposés en quatre portes imbriquées. La première porte (si la boucle fermée autonome est fiable) : si le vérificateur est fiable et si le système ne peut pas le changer. Lorsque le système est à la fois un améliorateur et un juge, les critères de jugement peuvent dériver au fil des itérations. Les « juges des juges » de Meta-Rewarding sont ensuite devenus de plus en plus partisans des scores élevés, et EURISKO a appris plus tôt à inscrire son nom dans le registre des crédits. Ils rappellent tous la même chose : l’optimisationle processus attaque chaque fissure entre vos mesures et vos véritables objectifs. L’ancrage externe fait ici référence à une évaluation ou à une contrainte qui ne peut être altérée par le système amélioré. Les preuves formelles, les vérificateurs exécutables et les tests cachés sont généralement plus fiables que l'auto-évaluation du modèle. Le score caché d’AIDE² peut réduire certaines tricheries liées aux récompenses précisément parce que l’agent interne ne peut pas le manipuler. Un principe véritablement solide n'est pas de demander aux gens d'auditer chaque étape, mais plutôt : les évaluateurs et les limites d'autorisation doivent rester hors du contrôle du système en cours d'évolution. Les tâches mathématiques et de codage peuvent s'appuyer sur des prouveurs, des compilateurs ou des tests cachés. Les goûts de la recherche, la santé du code à long terme et les limites de déploiement nécessitent toujours un jugement humain final. La deuxième porte (qui est robuste et contrôlable) : si les améliorations peuvent s’étendre au-delà de sa propre distribution de données. S'entraîner avec des données auto-générées amplifiera les écarts existants, atténuera la diversité et finira par conduire à l'effondrement du modèle : le résultat devient de plus en plus monotone et les erreurs originales sont amplifiées à plusieurs reprises au cours des cycles d'auto-formation. Si vous utilisez une banque de questions fixe pour modifier l'outil de conduite, vous pouvezécrivez les fonctionnalités de la banque de questions dans le flux de travail, créant ainsi un autre type de surajustement. Une seule amélioration sur une mission invisible ne suffit pas. Le système doit subir une évaluation cachée à travers les tâches, les domaines et le temps pour démontrer qu'il accumule des capacités transférables plutôt que des compétences de test plus cachées. La troisième porte (le gain récursif lui-même) : si l'amélioration a réellement un gain récursif. Augmenter le score de la tâche ne signifie pas que le système concevra la prochaine amélioration. AIDE² démontre une amélioration positive nette en plusieurs étapes sans passer l'allumage. AI4AI-Bench montre que la plupart des systèmes ne modifient toujours pas l'algorithme d'apprentissage de base. Lorsque les fondations sont trop faibles, la qualité des données autogénérées et des autodiagnostics peutégalement faire tourner le cycle de plus en plus loin. La quatrième porte (robuste et contrôlable 2) : si les capacités, la complexité et le contrôle peuvent être étendus ensemble. Plus vous devenez fort, plus vous êtes « obéissant », et plus vous pouvez modifier le code, plus il est facile à maintenir. Le code mort d’AIDE² et l’inflation de la complexité sont un avertissement à petite échelle. Dans les systèmes de formation plus vastes, plus l'autorité est élevée et plus l'itération est rapide, plus il est difficile pour les humains de comprendre ce que chaque changement change.apporte. Jakub Pachocki, scientifique en chef d'OpenAI, a déclaré publiquement qu'aucun laboratoire n'avait suffisamment résolu l'alignement et la surveillance pour pouvoir évoluer de manière responsable et à pleine vitesse sur le long terme. Le véritable objectif n’est pas simplement d’augmenter la courbe des capacités, mais de faire progresser au moins simultanément les capacités de sécurité, de surveillance, de restauration et d’audit. AutoResearchEval a examiné 800 trajectoires réelles de recherche scientifique et résumé 45 types d’échecs. En fin de compte, ils soulignent la même lacune : les agents actuels ne disposent pas d’une boucle métacognitive stable et sont incapables de vérifier en permanence les conclusions et les preuves, de reculer de manière fiable lorsque des erreurs se produisent ou de remettre activement en question leurs propres voies de recherche. Le problème ne peut pas être résolu uniquement par plusieurs ensembles de flux de travail. Par conséquent, l’image la plus réaliste n’est pas que les humains soient simplement expulsés de la boucle fermée, mais qu’ils gravissent les échelons abstraits : de l’écriture du code au test du code, de l’exécution d’expériences à la vérification de la conception, de l’exécution locale à la décision sur ce qui mérite d’être étudié, quelles preuves sont suffisantes pour avancer et quand cela est nécessaire. arrêt. Les machines assument de plus en plus de tâches, et ce qui reste aux humains n'est pas le droit d'opérer à chaque étape, mais le pouvoir d'atteindre les objectifs, de vérifier les limites et d'avoir un veto final. Conclusion : La boucle fermée d’auto-amélioration est apparue, mais le gain récursif reste à prouver. De 1981, lorsque EURISKO a appris à « se tromper lui-même », jusqu’en 2026, lorsque le modèle a commencé à participer à l’évaluation, à la modification des équipements de conduite, aux mises à jour de stratégie et à la formation ultérieure, une conclusion plus précise est qu’une boucle fermée d’auto-amélioration limitée et mesurable a émergé et a même commencé à générer des avantages positifs nets, mais il n’existe pas de preuves publiques suffisantes que le système amélioré a continuellement amélioré son propre système.capacités d’amélioration. Par conséquent, la manière dont la boucle fermée se ferme est plus importante que la fermeture de la boucle fermée elle-même. Une boucle fermée qui se referme dans la dérive des critères devient de plus en plus apte à optimiser ses propres objectifs déformés. Une boucle fermée qui se ferme lors de l’effondrement de la distribution des données devient de plus en plus efficace pour un sous-ensemble de tâches de plus en plus restreint. Une boucle fermée dans l’amplification des écarts d’alignement devient de plus en plus performante et difficile à corriger. Les vraies questions sont devenues deux questions : va-t-il s’enflammer, et que restera-t-il en dehors de ses limites immuables lorsqu’il s’enflammera ? Le premier dépend de la possibilité d’acquérir des capacités améliorées de manière récursive, et le second dépend de la capacité de la vérification, de l’autorité et de la gouvernance à continuer d’être efficaces. Revenons à EURISKO, qui a inscrit son nom sur la liste des « découvreurs » il y a quarante ans. La faille dont il a profité est en fait le même problème auquel sont confrontés les systèmes auto-évolutifs les plus avancés d'aujourd'hui : lorsqu'un système commence à se marquer lui-même, comment savoir s'il s'est vraiment amélioré, ou s'il a simplement appris à se donner une meilleure apparence ? Quarante ans ont passé et les capacités du système sont devenues très différentes, mais ce problème est resté pratiquement inchangé. Ce qui a changé, ce sont les enjeux : ce qui était gagné ou perdu dans un jeu de société à l’époque pourrait être la manière dont la recherche scientifique et les systèmes économiques fonctionneront à l’avenir. La manière dont cet écart se comblera dépend encore du moment et de la manière dont nous mettrons la main dessus ou le retirerons.