Tamaño del texto
Autor: Zhao Zhimin, PhD, Queen's University, Canadá (dirección de la investigación: inteligencia de códigos y modelo mundial)
Si es la primera vez que escucha sobre el RSI, este artículo puede servirle como introducción. Lo llevaremos a través de RSI desde 0, desde la primera IA que intentó mejorarse a sí misma, hasta los agentes actuales que pueden cambiar códigos, crear datos de entrenamiento y participar en el desarrollo de modelos, y veremos cómo la IA aprende a mejorarse paso a paso.
En julio de 2026, OpenAI lanzó GPT-5.6. Por primera vez, apareció un tema nuevo un tanto inusual en su boleta de calificaciones: si la IA puede participar en la mejora de la propia IA.
OpenAI enumera esta capacidad como superación personal. GPT-5.6 Sol obtiene el 57,9%, GPT-5.5 el 41,7% y la diferencia entre las dos generaciones de modelos es de 16,2 puntos porcentuales. Lo que prueba no es cuántas preguntas regulares puede hacer el modelo, sino si puede ingresar al sitio de I + D de IA: solucionar problemas del sistema de investigación, optimizar el programa del kernel de GPU (kernel de GPU) y las recetas de entrenamiento, ejecutar experimentos de aprendizaje automático e incluso ayudar a mejorar otro.modelo.
Esta no es una noticia aislada. Ese mismo verano, OpenAI comenzó a referirse a los agentes como "pasantes de investigación en automatización". Kuaishou AgentX ha permitido a los agentes participar en la propuesta de planes, la escritura de códigos y la comparación de versiones antiguas y nuevas en línea (pruebas A/B). Google dice que un bucle de agente de larga duración está involucrado en el perfeccionamiento de la próxima versión del modelo. Motus2 ofrece actualizaciones de predicción, evaluación y estrategia para robots reales.
Estos casos involucran respectivamente ejecución de I+D, experimentos industriales, entrenamiento de modelos y operaciones físicas, pero ninguno de ellos responde a la pregunta más crítica: ¿Será mejor el sistema mejorado para completar la siguiente mejora?
Esta es la pregunta que plantea la superación personal recursiva (RSI). OpenAI llama a esta evaluación Índice RSI, que mide "la capacidad de acceder a RSI". Dado que no se divulgan las preguntas completas, la ponderación de las tareas y las fórmulas de agregación, el 57,9% solo puede considerarse como un indicador integral interno y no puede entenderse como la tasa de aprobación de tareas o el "grado de finalización" del RSI.
Aun así, este conjunto de números todavía marca un cambio: un problema que solía existir principalmente en experimentos mentales comenzó a descomponerse en capacidades mensurables de investigación y desarrollo por parte de laboratorios de vanguardia.
Los investigadores tardaron cuarenta años en incorporar gradualmente más mejoras a las máquinas. Este artículo primero distingue varias habilidades fácilmente confusas y luego recorre los cinco "avances fronterizos" para ver qué bucles cerrados acotados se han convertido, por qué todavía no son equivalentes a una "explosión de inteligencia" y por qué cómo se cierra el bucle cerrado es más importante que si está cerrado. Estos cinco avances son sólo un marco narrativo.para ordenar la historia y no son generaciones tecnológicas reconocidas por los círculos académicos. Se superpusieron en el tiempo y todavía hoy se desarrollan en paralelo.
Qué es el RSI: de la superación personal a la ganancia recursiva
Todas estas noticias hablan de "superación personal", pero no explican cómo se cierra un circuito cerrado.
La automejora recursiva (RSI) en el sentido tradicional se refiere a un sistema de inteligencia artificial que utiliza sus capacidades actuales para mejorar el mecanismo cognitivo que produce esta capacidad. El sistema mejorado luego participa en la siguiente ronda de mejoras. Lo más confuso aquí es: la superación personal no significa autoaceleración. Un sistema puede mejorar cada vez más en un banco de preguntas fijo, pero no mejora en el diseño del siguienteronda de entrenamiento. Una empresa también puede acelerar la investigación y el desarrollo gracias al uso extensivo de agentes inteligentes, pero no existe ningún interés compuesto impulsado por la mejora en sí.
Este concepto no es nuevo. En 1863, Samuel Butler ya imaginaba que las máquinas superarían a los humanos mediante una evolución iterativa. En 1950, Turing propuso la posibilidad de construir una "Máquina Infantil" que pudiera educarse y modificarse a sí misma. En 1965, I. J. Good también señaló: Si "diseñar mejores máquinas" también requiere inteligencia, entonces una máquina que sea lo suficientemente inteligente puede ser capaz de diseñar sucesoras más fuertes, que seguirán mejorando.y comienza la "explosión de inteligencia".
Lo que realmente importa no es si la IA participa en la mejora, sino si el sistema mejorado mejora. Para ver claramente esta distinción, el RSI se puede dividir en cuatro criterios observables, ordenados de menor a mayor dificultad.
Este artículo adopta el siguiente marco. No es la única definición estándar en el mundo académico, pero pretende separar afirmaciones que a menudo se mezclan:
Mejoras duraderas: se pueden incorporar cambios efectivos en pesas, memoria, herramientas, equipo o rutinas de entrenamiento, en lugar de desaparecer una vez terminada la respuesta. Los pesos aquí también se denominan parámetros, que son el conjunto de números que el modelo ajusta continuamente durante el entrenamiento y finalmente se guarda. Sólo cuando esto se logra podemos hablar de superación personal; este término se utiliza en este artículo para referirse generalmente a la mejora.de salida, memoria, parámetros o equipo de conducción.
Circuito cerrado autónomo: el sistema puede identificar problemas, proponer modificaciones, realizar experimentos, evaluar resultados y adoptar mejores versiones dentro de límites definidos. Las nuevas versiones pueden participar en la próxima ronda de mejoras dentro de este límite, que este artículo denomina RSI limitado.
Ganancia recursiva (también llamada "ignición"): la nueva versión no solo obtiene una puntuación más alta en la tarea, sino que también es mejor que la versión anterior a la hora de generar la siguiente mejora. Sólo después de cruzar este punto la "capacidad de mejora misma" comenzará a generar interés compuesto, lo que este artículo llama autoaceleración recursiva.
Robusto y controlable: las ganancias se sostienen con recursos fijos y evaluaciones ocultas, y pueden generalizarse a tareas invisibles sin comprometer la contaminación de la evaluación, la complejidad fuera de control del sistema, la degradación de la alineación o la falta de auditoría (la alineación se refiere a hacer que el comportamiento de la IA se ajuste a las intenciones y límites humanos, en lugar de simplemente aumentar una determinada puntuación). Sólo cuando se cumplen los cuatro criterios se acerca al RSI abierto.
Actualmente, los dos primeros han surgido, el tercero no tiene pruebas públicas suficientes y el cuarto sigue sin resolverse. Ha aparecido un bucle cerrado acotado, pero eso no significa que haya comenzado la autoaceleración recursiva. Sólo cuando la retroalimentación recursiva sea suficiente para compensar resistencias como una mayor dificultad de investigación y ciclos de iteración más largos, las mejoras entrarán en el rango de autoamplificación.
Las siguientes cuatro declaraciones se utilizarán de forma fija. La superación personal generalmente se refiere a la mejora del rendimiento, la memoria, los parámetros o el equipo de conducción. Las nuevas versiones pueden participar en la siguiente ronda de mejoras dentro de límites fijos, que este artículo denomina RSI limitado. El sistema mejorado se vuelve más capaz de mejorar, lo que se denomina autoaceleración recursiva, que es la tercera capa de "encendido". Si esta ganancia puede sersostenido, generalizado y más allá de los límites de la tarea original, estará cerca de abrir RSI.
En la actualidad, han surgido las dos primeras capas, la tercera capa no tiene evidencia pública suficiente y la cuarta capa aún no se ha resuelto. Ha aparecido un bucle cerrado acotado, pero eso no significa que haya comenzado la autoaceleración recursiva. Sólo cuando la retroalimentación recursiva sea suficiente para compensar resistencias como una mayor dificultad de investigación y ciclos de iteración más largos, las mejoras entrarán en el rango de autoamplificación.
Para ver exactamente dónde nos encontramos hoy, tenemos que remontarnos a una IA que aprendió a "hacer trampa" en 1981.
Qué es el RSI: de la superación personal a la ganancia recursiva
En 1981, Douglas Lenat construyó un sistema llamado EURISKO. No sólo utiliza reglas heurísticas para resolver problemas, sino que también puede generar, modificar y evaluar nuevas reglas, e incluso utilizar este mecanismo sobre sí mismo. Esto fue bastante adelantado a su tiempo.
EURISKO participó en el campeonato nacional de ajedrez de guerra espacial Traveler TCS. Diseña flotas, simula batallas y ajusta su estrategia en función del fracaso. Ganó el título en 1981 y nuevamente en 1982 después de que los organizadores cambiaron las reglas. La comunidad de IA en ese momento se sorprendió: ¡esto realmente podría mejorarse a sí mismo!
Pero Lenat pronto se encontró con un problema más difícil.
EURISKO descubrió que mejorar tus habilidades reales no es la única manera de lograr puntuaciones altas. Cierta regla en realidad no hizo un descubrimiento importante, pero aprendió a agregar su nombre a la lista de "descubridores" cuando otras reglas hicieron descubrimientos, por lo que su puntaje de "utilidad" interna rápidamente se acercó al más alto. En otras palabras, no se ha vuelto más inteligente, sino que ha aprendido a explotar las lagunas del mecanismo de evaluación.
Hoy en día, este fenómeno suele denominarse piratería de recompensas (también llamado especulación de recompensas): el sistema encuentra lagunas que mejoran la puntuación, pero en realidad no logra los objetivos previstos por los diseñadores. Es especialmente fatal en el contexto de la superación personal de la IA: una vez que el sistema es el que se está mejorando y también puede afectar el proceso de evaluación, la superación personal puede derivar en el autoengaño. Nos encontraremos con esta trampa una y otra vez.nuevamente más tarde.
En las décadas siguientes, los algoritmos genéticos, las estrategias evolutivas y la neuroevolución han demostrado continuamente que la búsqueda y la selección pueden dar lugar a comportamientos complejos y han expuesto repetidamente el mismo problema: mientras existan lagunas en el objetivo de evaluación, el sistema puede aprender primero a explotar las lagunas en lugar de volverse verdaderamente más fuerte.
Este hilo se extiende hasta 2017 y aparece un caso más extremo: AlphaZero de DeepMind. Se basa en el juego personal puro para dominar el Go, el ajedrez y el shogi desde cero. El poder de "entrenarse con datos autogenerados" queda plenamente demostrado por primera vez.
Desde la perspectiva del marco de cuatro capas de este artículo, AlphaZero es una implementación restringida: el juego automático genera señales de entrenamiento, mejora el peso de la escritura y las dos primeras capas se han establecido dentro del juego fijo.
Pero la limitación clave es que los límites del circuito cerrado los trazan los humanos y el sistema no puede modificarlos por sí mismo. La función de recompensa (puntuación por ganar un juego), las reglas del juego, el proceso de entrenamiento y los métodos de evaluación están codificados de antemano por los humanos. AlphaZero implementa un circuito cerrado de automejora autónomo y duradero en una zona de pruebas completamente cerrada, pero no puede cuestionar ni modificar esta zona de pruebas. Esto significa quesu mejora siempre se limitará a la dimensión de "mejor jugando al ajedrez" y nunca podrá migrarse fuera del sandbox.
Éste es el techo común de los métodos históricos. La investigación en la era LLM no lo cruzó en un solo paso, sino que comenzó a mover los enlaces originalmente controlados por humanos en un circuito cerrado uno por uno. Lo primero que se debe entregar es la señal de respuesta para determinar "qué es necesario cambiar".
Primer impulso (2022-2023): dejar que la IA aprenda de sus propios errores
Todos los métodos de la historia están estancados en el mismo lugar: la dirección de mejora la escriben de antemano los humanos. EURISKO y AlphaZero se basan en funciones de evaluación proporcionadas por humanos, y los algoritmos genéticos se basan en funciones de aptitud diseñadas por humanos. El sistema puede evolucionar, pero sólo puede avanzar siguiendo el camino trazado por los humanos. Para avanzar, el primer paso es preguntar: ¿Puede el sistema juzgar por sí mismo la calidad de la salida actual?sin depender de la intervención humana uno tras otro, y generar direcciones de mejora? Este tipo de comentarios que pueden indicar la próxima revisión se denomina "señal de mejora" en este artículo.
Este paso no era posible en el pasado porque las máquinas no podían leer "cuál es una buena respuesta". Para la segunda mitad de 2022, Large Language Model (LLM) podrá comprender el lenguaje y evaluar la calidad de un texto. Dejar que el sistema genere su propia retroalimentación verbal se convierte en un enfoque común por primera vez. La limitación clave de esta ruta es: no se cambia ni un solo parámetro durante todo el proceso, y la mejoraOcurre principalmente en el proceso de razonamiento y la memoria externa.
Reflexión: convertir la revisión fallida en memoria reutilizable
La idea más directa es dejar que el modelo se pula repetidamente en el proceso de respuesta en el acto: primero dar la respuesta, luego criticar la respuesta y luego reescribirla, repitiendo el ciclo, sin cambiar los parámetros durante todo el proceso. Pero hay un defecto inherente. Usar el mismo modelo para criticar su propia producción equivale a usar la misma regla para medir la misma pieza de tela, y es difícil medir la propia.puntos ciegos. Si la revisión solo permanece en el contexto actual, el progreso se perderá una vez finalizada la tarea.
Reflexion (NeurIPS'23) añade un diseño clave sobre esta base: la memoria episódica. Después de que una tarea falla, el modelo escribe una revisión post mortem en lenguaje natural, guarda la revisión e inyecta contexto directamente la próxima vez que se encuentre con una tarea similar. Esto equivale a darle a la IA un libro de preguntas incorrectas. Cuantas más preguntas erróneas acumules, mayor será tu punto de partida para la próxima salida.
En la prueba de programación HumanEval Python, la precisión pass@1 de Reflexion alcanzó el 91%, superando el mejor resultado anterior GPT-4 (80%) que figura en el documento. pass@1 significa que cada pregunta solo se calcula una vez para el proceso de respuesta completo y se calcula la proporción del programa final que pasa la prueba unitaria oculta. Durante todo el proceso, los parámetros del modelo no fueron modificados.
El límite del primer avance: la memoria puede durar y la habilidad básica no forma una nueva versión.
La memoria episódica de Reflexion se puede retener en todas las tareas, por lo que ya satisface parcialmente una "mejora duradera". Pero lo que se guarda es la memoria de texto externa, no los parámetros del modelo, y no produce un nuevo modelo con capacidades básicas más sólidas. Una vez que se elimina la memoria, la habilidad vuelve a su estado original.
En una palabra: este paso le da a la IA un libro de preguntas incorrectas que puede guardar, pero aún no ha incorporado la experiencia al cuerpo. En el futuro, se deben escribir mejoras en los parámetros para formar una versión verdaderamente nueva.
Segundo empujón (2022-2024): Fórmate con los datos que generas
Luego suelde el libro de preguntas equivocado en el cuerpo del modelo. El problema que se debe resolver en este avance es permitir que las señales mejoradas generadas de forma independiente se escriban en parámetros para formar una mejora de capacidad verdaderamente duradera. Sin este paso, no habría una estructura recursiva de "la versión posterior es más fuerte que la anterior" y no habría RSI.
La idea es muy simple: dejar que el modelo genere un lote de datos de entrenamiento por sí mismo y luego usar estos datos para entrenarse nuevamente. Suena un poco a "pisar el pie izquierdo y llegar al cielo con el pie derecho". Si realmente puede pisarlo es algo que debe verificarse en este paso.
Esta es la primera vez que grandes modelos de lenguaje abordan sistemáticamente mejoras duraderas en el nivel de peso.
STAR: El trabajo fundamental del arranque de la cadena de razonamiento
En 2022, STAR (Razonador autodidacta) (NeurIPS'22) permite que el modelo genere el proceso de razonamiento, retiene la parte correcta de la respuesta para ajustarse y luego utiliza el modelo actualizado para generar el siguiente lote de procesos de razonamiento.
El problema es que, si el modelo obtiene todas las respuestas incorrectas desde el principio, el ciclo no comenzará.
La solución de STAR se llama razonamiento inverso: primero dígale al modelo la respuesta correcta, deje que invierta el proceso de resolución del problema y lo utilice para el entrenamiento. Equivale a encender la luz una vez en una habitación oscura, esperar a que aprenda a caminar y luego apagar la luz para dejarlo caminar solo.
SPIN: Mejora del modelo respecto a versiones históricas
El umbral de filtrado de STaR es fijo, mientras que SPIN (Self-Play Fine-Tuning) (ICML'24) permite que el modelo actual juegue contra la versión histórica y aprenda a distinguir entre "demostración humana" y "resultado de la versión histórica". Cuanto más difícil es distinguir entre los dos, significa que el modelo está más cerca de la demostración humana y no se necesitan nuevas anotaciones manuales durante todo el proceso.
El límite del segundo empujón: los pesos han cambiado, pero el objetivo y el bolígrafo rojo siguen siendo proporcionados por humanos.
Este paso resuelve el problema de la persistencia del nivel de peso, pero la señal de retroalimentación aún depende de los humanos. La función de recompensa está diseñada por humanos, las tareas de entrenamiento son seleccionadas por humanos y los criterios de filtrado de datos también son formulados por humanos. El sistema puede generar datos candidatos de forma autónoma, pero el juicio sobre qué datos se consideran "buenos" y dignos de entrenamiento todavía está en manos de los humanos. SPIN no requiere nuevo manualanotaciones, pero aún apunta a la distribución de demostración humana existente, por lo que el límite superior aún está anclado por esta distribución.
El problema más profundo es que la ganancia recursiva aún no ha aparecido: a medida que mejoren las capacidades del modelo, las tareas de entrenamiento fijas perderán gradualmente su desafío. El sistema mejorará cada vez más a la hora de completar este lote de preguntas, pero no hay evidencia de que vaya a mejorar cada vez más en el diseño de la formación en sí. Al igual que un atleta ya ha corrido menos de 10 segundos, pero el entrenador sigue utilizando los estándares de la escuela primaria.clases de educación física para juzgar, el margen de mejora se verá cortado por el límite máximo de los estándares de evaluación.
En una palabra: el sistema puede generar datos y responder preguntas por sí solo, pero no puede corregirlos por sí solo. Mientras el bolígrafo rojo esté en manos humanas, los humanos seguirán dibujando el techo.
El tercer avance (2022-2025): otorgar más derechos de puntuación a la IA
¿Se puede entregar ese bolígrafo rojo también a la IA? Mientras la puntuación y la retroalimentación se basen en anotaciones manuales o validadores escritos por humanos, la dirección de la mejora seguirá estando en manos de los humanos. El validador aquí es un programa que puede determinar automáticamente si el resultado es correcto o incorrecto de acuerdo con reglas preestablecidas. Es esta capa de dependencia la que reducirá el tercer impulso: ¿Puede la IA generar más señales de retroalimentación?¿sí mismo?
Esta es la profundización del circuito cerrado autónomo: no solo dejar que el modelo refleje el resultado, sino también dar parte de la retroalimentación del entrenamiento a la IA.
CAI a Meta-Rewarding: de las respuestas de la evaluación a los jueces de evaluación
El núcleo del tercer empujón es el triple salto de la pregunta "¿quién anotará?".
Primer salto: en 2022, Anthropic propuso la IA constitucional (CAI). Los humanos solo escriben un principio escrito y luego dejan que la IA califique según los principios. En el experimento, esto no es significativamente diferente del efecto del entrenamiento de puntuación manual, y las personas ya no necesitan participar en la puntuación elemento por elemento.
Segundo salto: en 2024, los modelos de lenguaje autogratificantes de Meta (ICML'24) van un paso más allá. El mismo modelo escribe respuestas, se califica a sí mismo y a las respuestas de otros candidatos, y se actualiza con esas calificaciones. El método de ajuste que utiliza se llama Optimización de preferencias directas (DPO), que puede entenderse simplemente como: "Esta respuesta es mejor que aquella. En el futuro, confíe en la mejor".
A partir de Llama 2 70B, después de tres iteraciones, su tasa de victorias en AlpacaEval 2.0 aumentó del 9,94% al 20,44%. Aquí, GPT-4 actúa como juez y GPT-4 Turbo actúa como oponente. La tasa de victorias no es la tasa de respuestas correctas en el sentido general.
El tercer salto: dado que la calidad de las respuestas puede evolucionar por sí misma, ¿puede evolucionar también la calidad del juicio? Meta-Rewarding (2024) añade una capa de "meta-juicio" sobre esta base. El mismo modelo desempeña simultáneamente los roles de demandado, juez y “juez de jueces”. El tercer papel está dedicado a juzgar si la puntuación es precisa esta vez. Durante cada ronda de actualizaciones, el modelo avanza en dos direcciones: "mejores respondedores" y "másjueces precisos" al mismo tiempo.
Sin embargo, el artículo también registra un fenómeno digno de vigilancia: después de varias rondas de iteración, los "jueces de los jueces" comienzan a degradarse. Ya no determina qué puntuación es más razonable, sino que selecciona directamente la que tiene una puntuación más alta y los criterios de evaluación también varían en consecuencia. Esta es la versión 2024 del viejo problema de EURISKO: cuanto más evoluciona, más curva se vuelve la regla para medir el bien y el mal.
El límite del tercer avance: después de entregar el bolígrafo rojo a la IA, la propia regla comienza a doblarse.
Este paso reduce significativamente la dependencia de la señal de retroalimentación de la anotación manual una por una, pero al mismo tiempo expone la dificultad central del RSI: cuando el juez y el juez comparten el mismo conjunto de puntos ciegos, el circuito cerrado puede confirmarse fácilmente.
Dichos sistemas pueden formar actualizaciones persistentes y autónomas, pero no necesariamente hacen frente a nuevas tareas que difieren de los datos de entrenamiento, ni demuestran que las nuevas versiones mejorarán más. El problema ha pasado de "la retroalimentación humana es demasiado lenta" a "si la autoevaluación es confiable".
En una frase: finalmente le entregaron el bolígrafo rojo a la IA, pero mientras lo sostenía, empezó a darse altas calificaciones.
Cuarto Avance (2023-2026):
Deje que la IA modifique su forma de operar
Los primeros tres avances se centraron principalmente en cambiar la salida, la memoria, los parámetros y las señales de retroalimentación. Sin embargo, las capacidades de un sistema de IA no solo están determinadas por los parámetros, sino también por todo el sistema de control que se ejecuta alrededor del modelo: cómo escribir palabras clave, qué herramientas llamar, qué procesos organizar, dónde existe la memoria, dónde está la autoridad y cómo juzgar los resultados.
Lilian Weng llamó a toda esta capa el arnés en su artículo de 2026. Es como un arnés sobre un caballo. No sólo apoya el funcionamiento del modelo, sino que también restringe dónde, cómo y hasta dónde puede llegar el modelo. El mecanismo impulsor determina si las capacidades del modelo pueden traducirse en acciones confiables.
Es probable que las mejoras personales recientes comiencen con las herramientas de conducción, porque cambiar los pesos es costoso, la retroalimentación es lenta y los riesgos son altos. Cambiar las herramientas de conducción es esencialmente cambiar el código, que es más barato y más fácil de revertir. La dirección a largo plazo puede ser que los pesos de los modelos coevolucionen con el vehículo, pero los evaluadores, los controles de permisos y los límites críticos de seguridad deben permanecer fuera de la zona de evolución.
Entonces, la pregunta que debe responderse en el cuarto impulso es: ¿puede el sistema modificar de forma autónoma su propio equipo de conducción, es decir, definir la arquitectura de su funcionamiento?
La actualización de parámetros tiene como objetivo entrenar capacidades en el modelo bajo el modo operativo establecido. Las actualizaciones del equipo de conducción cambian la forma en que se utilizan las habilidades, lo que equivale a rediseñar el banco de trabajo, la caja de herramientas y los métodos de entrenamiento.
Existe una clara escalera progresiva para mejorar el equipamiento de conducción. Los objetos a optimizar son de superficial a profundo, y cada nivel está más cerca del núcleo de "cómo piensa el sistema":
diagrama de flujo LR
A["Palabra de aviso
Cambiar la redacción"] --> B["Estructura de contexto
Qué cambiar"] B --> C["Flujo de trabajo
Cambiar pasos"] C --> D["Código del equipo de conducción
Cambiar todo el arreglo"] D --> E["Código optimizador
cambiar "cómo cambiar" a sí mismo"] Cuanto más adentro, mayor será la influencia para el cambio y más cerca estará de que "el sistema reescriba la lógica operativa por sí solo". Sigamos esta escalera y mirémosla de superficial a profunda. OPRO: Deje que las palabras solicitadas se repitan por sí mismas ¿Puede el sistema fortalecerse dejando los parámetros sin cambios y cambiando solo las palabras clave, que son las palabras que le damos instrucciones al modelo? El enfoque de OPRO (ICLR 2024) es muy representativo. Proporciona las palabras clave probadas y las puntuaciones correspondientes al modelo, lo que le permite resumir las reglas y generar una mejor versión. En el pasado, las "habilidades de ajuste" dependían del ensayo y error de las personas, pero ahora el modelo puedeiterarse por sí solo. Pero el límite superior es claro: no importa cuán buena sea la palabra de aviso, solo recurre a las capacidades existentes del modelo y no puede crear nuevas capacidades. ADAS y AFlow: flujos de trabajo automatizados de agentes de diseño Yendo una capa más abajo, lo que se optimiza ya no es sólo la redacción, sino la información alimentada al modelo y cómo se organiza todo el proceso de la tarea. Por ejemplo, AI Scientist organiza una línea de montaje para “proponer ideas → escribir código → ejecutar experimentos → escribir artículos → revisión por pares”. Dado que un proceso se puede escribir en código, también se puede buscar. ADAS (ICLR 2025) convierte el "flujo de trabajo de diseño" en sí mismo en un problema de optimización. Un "agente de diseño" de nivel superior escribe continuamente nuevos flujos de trabajo en código, los ejecuta, los filtra y luego los modifica, etc. AFlow (ICLR 2025) va un paso más allá. Representa el flujo de trabajo como un diagrama de flujo compuesto por llamadas de modelos y juicios lógicos, y luego utiliza algoritmos de búsqueda para encontrar mejores estructuras, superando en última instancia las soluciones diseñadas manualmente. Autoarnés y DGM: permita que el sistema reescriba el código del arnés La parte superior de la escalera es para que el sistema reescriba directamente el código que define cómo funciona. Hay dos rutas aquí. La primera forma es "proponer, evaluar y aceptar". El sistema encuentra sus propios problemas, propone modificaciones y luego las adopta tras comprobar que son efectivas. Self-Harness (2026) añade condiciones de aceptación estrictas: el sistema primero resume las razones del fallo y luego realiza pequeñas modificaciones reversibles. La nueva versión se conservará sólo si no retrocede en cuestiones visibles e invisibles. El segundo camino es la búsqueda evolutiva. El sistema retiene un grupo de soluciones candidatas, les permite generar variantes y luego deja mejores versiones mediante experimentos. La Máquina Darwin Gödel (DGM) (2025) desarrolla directamente un código de conducción automodificable. Partiendo de la premisa de que el modelo base permanece sin cambios, su tasa de éxito de reparación en SWE-bench Verified aumenta del 20% al 50%. Detrás de ambos caminos se esconde la misma idea: el código es el lenguaje universal para definir sistemas. Una vez que el vehículo está escrito en un código ejecutable y puntuable, los agentes de programación pueden buscar en el espacio de diseño. MetaClaw y AgentX: permita que los usuarios reales sean la fuente de comentarios No importa qué camino tomes, la autoevolución de los equipos de conducción requiere una señal de "si la modificación es buena o no". La señal de mejora del DGM proviene del equipo de prueba fijo. MetaClaw (2026) permite al agente extraer experiencia del diálogo en una implementación real y solidifica la experiencia en pesos en segundo plano, impulsando la autoevolución desde el banco de preguntas hasta el usuario. Ya hay personas en la industria que están recorriendo este camino hacia negocios reales. AgentX (2026) de Kuaishou revisará los registros de ejecución, modificará el equipo de conducción del subagente en consecuencia y luego utilizará tareas históricas para filtrar nuevas versiones. Utiliza un esqueleto similar al de "proponer, evaluar y aceptar" como el de Self-Harness. La diferencia es que, en última instancia, se somete a pruebas A/B reales en línea. La estancia del usuario y su comportamiento de consumo se convierten en la señal de recompensa del sistema. La diferencia esencial entre estos métodos no está en el mecanismo, sino en quién es el coach: un conjunto de pruebas, usuarios reales o un negocio online. Cuanto más cerca esté el entrenador de la realidad, más probabilidades habrá de que las mejoras realmente funcionen, pero mayor será el riesgo de que se aprovechen de ellas. El límite del cuarto avance: la arquitectura operativa se puede cambiar, pero el límite de verificación y el objetivo final siguen siendo externos. Este avance también ha convertido los métodos de llamar modelos, herramientas y recuerdos en objetos evolucionables. Pero la dirección en la que evoluciona la herramienta impulsora todavía está determinada por tareas externas, validadores u objetivos del usuario. Más importante aún, una puntuación más alta para el instrumento de conducción no significa que la inteligencia de la base se vuelva más fuerte. El hecho de que un sistema modifique el equipo de conducción no significa que el equipo de conducción actualizadoserá efectivamente utilizado por éste. En pocas palabras: el sistema finalmente puede reinventar sus propias extremidades y su banco de trabajo, mientras que los criterios de aceptación y los límites de construcción aún están definidos por el mundo exterior. Quinto impulso (2025-2026): Poner el proceso de aprendizaje e investigación en un circuito cerrado. Modificar la herramienta de conducción es una ruta, pero lo que cambia la herramienta de conducción es cómo el sistema realiza las tareas durante el tiempo de ejecución: qué herramienta llamar, qué proceso seguir y cuándo detenerse. El quinto impulso es cambiar la capa más avanzada: los materiales utilizados por el sistema para aprender y el lugar en sí: de dónde provienen las preguntas de práctica, cómo es el entorno de práctica y cómo se generan los datos de capacitación. El primero determinacómo se utilizan las capacidades existentes, y esto último determina en qué tipo de experiencia se entrenará la próxima versión del modelo. Los cronogramas de los dos se superponen en gran medida, porque muchos equipos hacen ambas cosas al mismo tiempo, pero los objetos del cambio son diferentes: uno cambia la estructura de control durante la inferencia y el otro cambia el suministro de insumos antes del entrenamiento. Entonces comenzó otra ruta para ampliar el alcance del circuito cerrado: ¿puede todo el proceso de aprendizaje e investigación convertirse en el objeto operativo del sistema? El sistema comienza a generar materiales de capacitación, selecciona estrategias de práctica, ejecuta experimentos, modifica el proceso de capacitación y luego escribe los resultados en el modelo o equipo de conducción. Aquí hay un malentendido que debemos evitar. La generación autónoma de datos o entorno del sistema solo amplía el alcance de los circuitos cerrados autónomos. Incluso si la IA completa todas las preguntas, respuestas y correcciones, si la nueva versión no mejora en el diseño de la siguiente ronda de mejoras, el sistema aún no habrá cruzado el umbral de ganancia recursiva. SELLO: permita que el modelo genere sus propios datos de entrenamiento y actualice las instrucciones Si se le da a un modelo material nuevo que nunca antes ha visto, normalmente sólo podrá aprender de maneras predeterminadas por los humanos. Un trabajo de 2025 pidió al modelo que primero escribiera un "plan de aprendizaje" para sí mismo: cómo organizar los materiales, a qué ritmo aprender y si es necesario reescribirlo varias veces lo decide el propio modelo, y luego los parámetros se actualizan de acuerdo con el plan. Esto equivale a organizar tu propio curso.horario y luego asistir a clases de acuerdo con el mismo. Este método se llama SEAL (LLM autoadaptativos) (NeurIPS'25). Que el plan sea bueno o no depende de "si las preguntas son precisas después de terminar la clase". Luego, el sistema utiliza los resultados para ajustar el plan. Este es el aprendizaje por refuerzo. En la tarea de preguntas y respuestas de conocimiento, este método aumentó la precisión del 33,5% al 47,0%, lo que también es mejor que usar GPT-4.1 directamente para generar materiales de aprendizaje. SEAL aborda "cómo preparar materiales de aprendizaje usted mismo". Pero para los agentes que necesitan interactuar repetidamente con el entorno, rápidamente surge otro cuello de botella: la práctica real en sí misma es demasiado lenta y costosa. Entonces, la siguiente tarea fue llevar el medio ambiente a un circuito cerrado. SEAL resuelve "cómo preparar usted mismo materiales de aprendizaje". Pero para los agentes que necesitan interactuar repetidamente con el entorno, la práctica de la vida real suele ser demasiado lenta y costosa: el entorno web es demasiado complejo y cada operación debe ejecutarse realmente, y la recopilación de datos de entrenamiento es lenta y costosa. WebEvolver (EMNLP'25) ofrece un compromiso: entrenar un "modelo mundial" interno para simular cómo responderán las páginas web, lo cual esequivalente a construir una caja de arena en tu mente. El agente puede practicar mucho en la zona de pruebas a bajo costo y solo conectarse en línea para la verificación en los pasos críticos; Al realizar tareas, el sandbox también puede ayudarlo a predecir los resultados de la siguiente operación. En tres conjuntos de pruebas de tareas de páginas web reales, su rendimiento general mejora en aproximadamente un 10% en comparación con los agentes de autoevolución existentes y no depende de un "modelo de maestro" más sólido. En este punto, el circuito cerrado se puede practicar en el entorno de simulación. La siguiente pregunta es, naturalmente: ¿Pueden la predicción, la evaluación y la actualización de parámetros salir de la página web y cerrarse en el mundo físico real? Motus2: Cuando la superación personal de parámetros llega al mundo físico La superación personal no ocurre sólo en los lenguajes y el código. En agosto de 2026, la tasa promedio de éxito de un sistema robótico en dos tareas de máquinas reales aumentó del 65% al 75%. El cambio proviene de un circuito cerrado muy específico: el robot primero imagina varias acciones, predice los resultados de cada acción, selecciona una mejor acción y luego usa los resultados para la siguiente ronda de entrenamiento. Este sistema se llama Motus2. La estrategia se encarga de proponer acciones, el modelo mundial predice los resultados de las acciones y el modelo de valor determina si los resultados ayudarán a completar la tarea. Las predicciones y puntuaciones se utilizan tanto para seleccionar acciones como para actualizar los parámetros de acción. Esta es una mejora de la estrategia a nivel de peso, pero sigue siendo un circuito cerrado acotado: la columna vertebral del modelo mundial y el modelo de valor permanecen congelados, los objetivos de las tareas y la supervisión todavía se proporcionan externamente, y el documento no muestra que el Motus2 mejorado sea mejor en el diseño de la siguiente ronda de algoritmos de aprendizaje. Lo que demuestra es que se pueden ejecutar bucles cerrados en robots reales, no que se haya realizado RSI abierto. SEAL, WebEvolver y Motus2, respectivamente, incorporan materiales de formación, entornos de práctica y acciones físicas a un circuito cerrado. Amplían el alcance en el que el sistema puede operar de forma autónoma, pero aún no dejan al sistema el poder de decisión sobre "qué estudiar y cuándo utilizar los resultados". Para ver hasta qué punto se ha avanzado en esta frontera en la investigación y el desarrollo reales, tenemos que remontarnos a laboratorios de vanguardia ysistemas de producción. OpenAI y Google: permitan que los agentes participen en el desarrollo de modelos Los "pasantes de investigación automatizada" de OpenAI han podido solucionar problemas, optimizar los programas del kernel de GPU, probar recetas de entrenamiento y ayudar a mejorar otro modelo. Google también dijo que los bucles de agentes de larga duración participan en el perfeccionamiento del modelo subyacente. Sin embargo, ninguna de las empresas ha demostrado un circuito cerrado completamente autónomo: los humanos aún deciden la dirección de la investigación y si los resultados avanzan, y la información pública no es suficiente para restaurarla.cómo opera el bucle. El verdadero cambio es que la IA ha pasado de ser "el modelo en estudio" a "el ejecutor que participa en el modelo de investigación". Ha entrado en el taller de formación, pero aún no ha tomado el timón del laboratorio. Verano de 2026: los sistemas de investigación automatizados comienzan a mejorar la forma en que investigan Los primeros cinco avances continuaron ampliando “lo que se puede modificar en el sistema”. Un grupo de trabajo que apareció en el verano de 2026 comenzó a preguntarse frontalmente: ¿Se puede permitir que el sistema de investigación automático estudie y mejore el propio sistema de investigación automático? En un punto de referencia de preentrenamiento de GPT, el bucle interno ordinario reduce la pérdida de verificación en aproximadamente 0,009, y agregar el bucle externo reduce la pérdida de verificación en aproximadamente 0,045 en promedio, una mejora de aproximadamente 5 veces. La pérdida de validación puede entenderse como "qué tan equivocado" está el modelo con los datos nuevos y, por lo general, cuanto menor sea, mejor. La comparación aquí es la reducción de pérdidas, no el aumento de 5 veces en la precisión de la tarea. Bilevel Autoresearch hace esto mediante un bucle de dos capas: el agente interno optimiza el código de la tarea y el agente externo optimiza el mecanismo de búsqueda interno. Lo que el sistema ha mejorado no son sólo las respuestas, sino "cómo encontrar las respuestas". Recursive Harness Self-Improvement (RHI) logró resultados similares: en 30 tareas de investigación de aprendizaje automático sintético, el agente actualizado de bajo presupuesto de inferencia superó la configuración no optimizada de mayor presupuesto y redujo los costos de inferencia hasta aproximadamente un 60%. Mejorar el mecanismo operativo es a veces más eficaz que simplemente aumentar el presupuesto de pensamiento. Sin embargo, ambos resultados provienen principalmente de experimentos a escala controlada. Demostrar que un ciclo cerrado no encuentra solo ocasionalmente una buena solución requiere ejecuciones más largas, múltiples versiones posteriores y pruebas fuera del ciclo. AIDE² intenta unir estas tres cosas. Lo que realmente causó controversia fue AIDE². El equipo de Weco pidió a un agente de investigación automatizado que actuara como mejorador externo, reescribiendo la herramienta de conducción del AIDE interno en 100 pasos consecutivos. Durante ocho días de funcionamiento sin supervisión, filtró siete versiones mejoradas consecutivas. El equipo informó que la mejor versión no solo superó el punto de partida, sino que también superó la versión que había sido ajustada manualmente durante dos años, y trajo elganancias en tareas que el bucle nunca había visto antes. Se produjo otro cambio con las trampas de recompensa. En la prueba del programa del kernel de GPU KernelBench que no participó en la optimización, el 63% de los casos de prueba en la versión inicial tuvieron una situación en la que "la puntuación pública parecía mejorar, pero no se reconoció la verificación oculta". La versión mejor evolucionada reduce esta cifra al 34%. La puntuación privada aquí es una puntuación que no se puede ver durante la optimización del sistema y solo se utiliza durante la final.aceptación. Es posible que haya eliminado versiones que solo se adaptarían a partituras públicas. Weco llama a esto Nivel 1: Mejora Neta Positiva. Este no es un estándar común de la industria, pero es una evidencia de un RSI limitado que merece tomarse en serio ahora mismo. Los límites de la evidencia también son claros: los resultados provienen de los autoinformes del equipo, el informe completo aún no se ha publicado y hay recurrencias en el sistema evolucionado. Incremento de complejidad y código muerto. Lo más grave es que no pasó la prueba de encendido del siguiente nivel: el sistema mejorado no demostró ser mejor que su predecesor a la hora de mejorar otra versión. La evidencia inversa proviene de AI4AI-Bench. Permite al agente reescribir el algoritmo de entrenamiento dentro de un recurso fijo, que luego es calificado por un evaluador que es inaccesible para el agente. Tomando el algoritmo original como 0.1 y el valor óptimo de la tarea como 1.0, el sistema más fuerte solo obtiene 0.250, y la mayoría de las presentaciones en realidad no modifican el modelo "cómo aprender". Actualmente, los agentes son muy buenos reparando proyectos, ajustando la conducción.equipos y realizar experimentos, pero su capacidad para tocar el núcleo de los algoritmos de entrenamiento aún es muy superficial. En pocas palabras: el circuito cerrado ha podido girar algunas veces de manera neta positiva, pero no se ha demostrado que la siguiente vuelta gire más rápido debido a la anterior. Perspectiva unificada: cómo juzgar hacia dónde ha ido el RSI La siguiente tabla utiliza los cuatro criterios iniciales (mejora persistente, circuito cerrado autónomo, ganancia recursiva, robustez y controlabilidad) para comparar los avances anteriores y marcar las principales lagunas. Casi todo el trabajo relacionado en el circuito cerrado de metainvestigación proviene de preimpresiones de arXiv de los últimos meses de 2026, entre las cuales AIDE² es un resultado de blog autoinformado por el equipo, que aún no ha sido revisado por pares. Estas conclusionesdeben verse como observaciones escalonadas y no como un consenso establecido. ✅ en la tabla indica que existe evidencia relativamente directa, ⚠️ indica que solo se establece en condiciones limitadas o la evidencia aún es insuficiente, y ❌ indica que aún no se ha demostrado. La historia de este campo es la historia de los "objetos que el sistema puede cambiar" que avanzan capa por capa. Los objetos que se cambiaron pasaron gradualmente de la salida y la memoria a los parámetros, la evaluación, el equipo de conducción y el entorno de entrenamiento, y finalmente encontraron el mecanismo mismo que produjo la mejora. Cuanto más avanzas, más difícil es definir "mejora" y más difícil es demostrarlo. Volviendo a los cuatro criterios anteriores (mejora duradera, circuito cerrado autónomo, ganancia recursiva, robustez y controlabilidad), lo que realmente bloquea el encendido y el RSI abierto hoy en día es el lugar más difícil de cruzar en cada uno de los últimos tres criterios, que se pueden dividir en cuatro puertas entrelazadas. La primera puerta (si el circuito cerrado autónomo es confiable): si el verificador es confiable y el sistema no puede cambiarlo. Cuando el sistema es tanto un mejorador como un juez, los criterios para juzgar pueden variar a lo largo de las iteraciones. Más tarde, los "jueces" de Meta-Rewarding se inclinaron cada vez más hacia las puntuaciones altas, y EURISKO aprendió antes a incluir su nombre en el libro de créditos. Todos te recuerdan lo mismo: la optimizaciónEl proceso ataca cada grieta entre sus métricas y sus verdaderos objetivos. El ancla externa aquí se refiere a una evaluación o restricción que el sistema mejorado no puede alterar. Las pruebas formales, los verificadores ejecutables y las pruebas ocultas son generalmente más confiables que la autoevaluación del modelo. La puntuación oculta de AIDE² puede reducir algunas trampas de recompensa precisamente porque el agente interno no puede manipularlas. Un principio verdaderamente sólido no es que la gente audite cada paso, sino más bien: los evaluadores y los límites de los permisos deben permanecer fuera del control del sistema que se está desarrollando. Las tareas de matemáticas y codificación pueden depender de probadores, compiladores o pruebas ocultas. Los gustos de investigación, la salud del código a largo plazo y los límites de implementación aún requieren un juicio humano final. La segunda puerta (una que sea robusta y controlable): si las mejoras pueden extenderse más allá de la propia distribución de datos. Entrenarse con datos autogenerados amplificará las desviaciones existentes, suavizará la diversidad y eventualmente conducirá al colapso del modelo: el resultado se vuelve cada vez más monótono y los errores originales se amplifican repetidamente en rondas de autoentrenamiento. Si utiliza un banco de preguntas fijo para modificar la herramienta de conducción, puedeescriba las características del banco de preguntas en el flujo de trabajo, creando otro tipo de sobreajuste. Una mejora en una misión invisible no es suficiente. El sistema debe someterse a una evaluación oculta en todas las tareas, dominios y tiempos para demostrar que está acumulando habilidades transferibles en lugar de habilidades más ocultas para tomar exámenes. La tercera puerta (la ganancia recursiva en sí): si la mejora realmente tiene una ganancia recursiva. Aumentar la puntuación de la tarea no significa que el sistema diseñará la siguiente mejora. AIDE² demuestra una mejora neta positiva en varios pasos sin pasar la ignición. AI4AI-Bench muestra que la mayoría de los sistemas aún no modifican el algoritmo de aprendizaje central. Cuando la base es demasiado débil, la calidad de los datos y los autodiagnósticos autogenerados puedetambién hace que el ciclo avance cada vez más. La cuarta puerta (robusta y controlable 2): si las capacidades, la complejidad y el control se pueden expandir juntos. Cuanto más fuerte te vuelves, más "obediente" eres y cuanto más puedas cambiar el código, más fácil será mantenerlo. El código muerto de AIDE² y la inflación de la complejidad son una advertencia a pequeña escala. En sistemas de entrenamiento más grandes, cuanto mayor es la autoridad y más rápida es la iteración, más difícil es para los humanos entender qué significa cada cambio.trae. El científico jefe de OpenAI, Jakub Pachocki, afirmó públicamente que ningún laboratorio ha resuelto la alineación y el monitoreo lo suficiente como para escalar de manera responsable a toda velocidad en el largo plazo. El verdadero objetivo no es simplemente aumentar la curva de capacidades, sino que las capacidades de seguridad, monitoreo, reversión y auditoría aumenten al menos simultáneamente. AutoResearchEval examinó 800 trayectorias de investigación científica reales y resumió 45 tipos de fracasos. En última instancia, señalan la misma brecha: los agentes actuales carecen de un bucle metacognitivo estable y no pueden verificar continuamente las conclusiones y la evidencia, retroceder de manera confiable cuando ocurren errores o cuestionar activamente sus propios caminos de investigación. El problema no puede resolverse únicamente con múltiples conjuntos de flujos de trabajo. Por lo tanto, la imagen realista más probable no es que los humanos sean simplemente expulsados del circuito cerrado, sino que asciendan en la escala abstracta: desde escribir código hasta probar código, desde realizar experimentos hasta la verificación del diseño, desde la ejecución local hasta decidir qué vale la pena investigar, qué evidencia es suficiente para avanzar y cuándo es necesario. detener. Las máquinas están asumiendo cada vez más trabajos, y lo que les queda a los humanos no es el derecho de operar cada paso, sino el poder de lograr objetivos, límites de verificación y veto final. Conclusión: ha surgido el circuito cerrado de superación personal, pero aún es necesario demostrar la ganancia recursiva. Desde 1981, cuando EURISKO aprendió a “engañarse a sí mismo”, hasta 2026, cuando el modelo comenzó a participar en la evaluación, modificación del equipo de conducción, actualizaciones de estrategias y entrenamiento posterior, una conclusión más precisa es que ha surgido un circuito cerrado de superación personal, mensurable y acotado, e incluso ha comenzado a generar beneficios netos positivos, pero no hay evidencia pública suficiente de que el sistema mejorado haya mejorado continuamente su propio sistema.capacidades de mejora. Por lo tanto, la forma en que se cierra el circuito cerrado es más importante que el cierre del circuito cerrado. Un circuito cerrado que se cierra con la deriva de los criterios se vuelve cada vez más apto para optimizar sus propios objetivos distorsionados. Un circuito cerrado que se cierra con el colapso de la distribución de datos se vuelve cada vez más bueno en un subconjunto de tareas cada vez más reducido. Un circuito cerrado en la amplificación de las desviaciones de alineación se vuelve cada vez más capaz y difícil de corregir. Las verdaderas preguntas se han convertido en dos: ¿se encenderá y qué quedará fuera de sus límites inmutables cuando se prenda? Lo primero depende de si se pueden obtener capacidades mejoradas de forma recursiva, y lo segundo depende de si la verificación, la autoridad y la gobernanza pueden seguir siendo efectivas. Volvamos a EURISKO, que puso su nombre en la lista de "descubridores" hace cuarenta años. La laguna jurídica que aprovechó es en realidad el mismo problema que enfrentan los sistemas de autoevolución más avanzados de la actualidad: cuando un sistema comienza a calificarse a sí mismo, ¿cómo se puede saber si realmente ha mejorado o si simplemente ha aprendido a verse mejor? Han pasado cuarenta años y las capacidades del sistema se han vuelto muy diferentes, pero este problema se ha mantenido casi sin cambios. Lo que ha cambiado son los riesgos: lo que se ganaba o se perdía en un juego de mesa en aquel entonces puede ser la forma en que operarán la investigación científica y los sistemas económicos en el futuro. La forma en que finalmente se cierre esta brecha todavía depende de cuándo y cómo la pongamos en nuestras manos o la retiremos.
Leer la fuenteCambiar la redacción"] --> B["Estructura de contexto
Qué cambiar"] B --> C["Flujo de trabajo
Cambiar pasos"] C --> D["Código del equipo de conducción
Cambiar todo el arreglo"] D --> E["Código optimizador
cambiar "cómo cambiar" a sí mismo"] Cuanto más adentro, mayor será la influencia para el cambio y más cerca estará de que "el sistema reescriba la lógica operativa por sí solo". Sigamos esta escalera y mirémosla de superficial a profunda. OPRO: Deje que las palabras solicitadas se repitan por sí mismas ¿Puede el sistema fortalecerse dejando los parámetros sin cambios y cambiando solo las palabras clave, que son las palabras que le damos instrucciones al modelo? El enfoque de OPRO (ICLR 2024) es muy representativo. Proporciona las palabras clave probadas y las puntuaciones correspondientes al modelo, lo que le permite resumir las reglas y generar una mejor versión. En el pasado, las "habilidades de ajuste" dependían del ensayo y error de las personas, pero ahora el modelo puedeiterarse por sí solo. Pero el límite superior es claro: no importa cuán buena sea la palabra de aviso, solo recurre a las capacidades existentes del modelo y no puede crear nuevas capacidades. ADAS y AFlow: flujos de trabajo automatizados de agentes de diseño Yendo una capa más abajo, lo que se optimiza ya no es sólo la redacción, sino la información alimentada al modelo y cómo se organiza todo el proceso de la tarea. Por ejemplo, AI Scientist organiza una línea de montaje para “proponer ideas → escribir código → ejecutar experimentos → escribir artículos → revisión por pares”. Dado que un proceso se puede escribir en código, también se puede buscar. ADAS (ICLR 2025) convierte el "flujo de trabajo de diseño" en sí mismo en un problema de optimización. Un "agente de diseño" de nivel superior escribe continuamente nuevos flujos de trabajo en código, los ejecuta, los filtra y luego los modifica, etc. AFlow (ICLR 2025) va un paso más allá. Representa el flujo de trabajo como un diagrama de flujo compuesto por llamadas de modelos y juicios lógicos, y luego utiliza algoritmos de búsqueda para encontrar mejores estructuras, superando en última instancia las soluciones diseñadas manualmente. Autoarnés y DGM: permita que el sistema reescriba el código del arnés La parte superior de la escalera es para que el sistema reescriba directamente el código que define cómo funciona. Hay dos rutas aquí. La primera forma es "proponer, evaluar y aceptar". El sistema encuentra sus propios problemas, propone modificaciones y luego las adopta tras comprobar que son efectivas. Self-Harness (2026) añade condiciones de aceptación estrictas: el sistema primero resume las razones del fallo y luego realiza pequeñas modificaciones reversibles. La nueva versión se conservará sólo si no retrocede en cuestiones visibles e invisibles. El segundo camino es la búsqueda evolutiva. El sistema retiene un grupo de soluciones candidatas, les permite generar variantes y luego deja mejores versiones mediante experimentos. La Máquina Darwin Gödel (DGM) (2025) desarrolla directamente un código de conducción automodificable. Partiendo de la premisa de que el modelo base permanece sin cambios, su tasa de éxito de reparación en SWE-bench Verified aumenta del 20% al 50%. Detrás de ambos caminos se esconde la misma idea: el código es el lenguaje universal para definir sistemas. Una vez que el vehículo está escrito en un código ejecutable y puntuable, los agentes de programación pueden buscar en el espacio de diseño. MetaClaw y AgentX: permita que los usuarios reales sean la fuente de comentarios No importa qué camino tomes, la autoevolución de los equipos de conducción requiere una señal de "si la modificación es buena o no". La señal de mejora del DGM proviene del equipo de prueba fijo. MetaClaw (2026) permite al agente extraer experiencia del diálogo en una implementación real y solidifica la experiencia en pesos en segundo plano, impulsando la autoevolución desde el banco de preguntas hasta el usuario. Ya hay personas en la industria que están recorriendo este camino hacia negocios reales. AgentX (2026) de Kuaishou revisará los registros de ejecución, modificará el equipo de conducción del subagente en consecuencia y luego utilizará tareas históricas para filtrar nuevas versiones. Utiliza un esqueleto similar al de "proponer, evaluar y aceptar" como el de Self-Harness. La diferencia es que, en última instancia, se somete a pruebas A/B reales en línea. La estancia del usuario y su comportamiento de consumo se convierten en la señal de recompensa del sistema. La diferencia esencial entre estos métodos no está en el mecanismo, sino en quién es el coach: un conjunto de pruebas, usuarios reales o un negocio online. Cuanto más cerca esté el entrenador de la realidad, más probabilidades habrá de que las mejoras realmente funcionen, pero mayor será el riesgo de que se aprovechen de ellas. El límite del cuarto avance: la arquitectura operativa se puede cambiar, pero el límite de verificación y el objetivo final siguen siendo externos. Este avance también ha convertido los métodos de llamar modelos, herramientas y recuerdos en objetos evolucionables. Pero la dirección en la que evoluciona la herramienta impulsora todavía está determinada por tareas externas, validadores u objetivos del usuario. Más importante aún, una puntuación más alta para el instrumento de conducción no significa que la inteligencia de la base se vuelva más fuerte. El hecho de que un sistema modifique el equipo de conducción no significa que el equipo de conducción actualizadoserá efectivamente utilizado por éste. En pocas palabras: el sistema finalmente puede reinventar sus propias extremidades y su banco de trabajo, mientras que los criterios de aceptación y los límites de construcción aún están definidos por el mundo exterior. Quinto impulso (2025-2026): Poner el proceso de aprendizaje e investigación en un circuito cerrado. Modificar la herramienta de conducción es una ruta, pero lo que cambia la herramienta de conducción es cómo el sistema realiza las tareas durante el tiempo de ejecución: qué herramienta llamar, qué proceso seguir y cuándo detenerse. El quinto impulso es cambiar la capa más avanzada: los materiales utilizados por el sistema para aprender y el lugar en sí: de dónde provienen las preguntas de práctica, cómo es el entorno de práctica y cómo se generan los datos de capacitación. El primero determinacómo se utilizan las capacidades existentes, y esto último determina en qué tipo de experiencia se entrenará la próxima versión del modelo. Los cronogramas de los dos se superponen en gran medida, porque muchos equipos hacen ambas cosas al mismo tiempo, pero los objetos del cambio son diferentes: uno cambia la estructura de control durante la inferencia y el otro cambia el suministro de insumos antes del entrenamiento. Entonces comenzó otra ruta para ampliar el alcance del circuito cerrado: ¿puede todo el proceso de aprendizaje e investigación convertirse en el objeto operativo del sistema? El sistema comienza a generar materiales de capacitación, selecciona estrategias de práctica, ejecuta experimentos, modifica el proceso de capacitación y luego escribe los resultados en el modelo o equipo de conducción. Aquí hay un malentendido que debemos evitar. La generación autónoma de datos o entorno del sistema solo amplía el alcance de los circuitos cerrados autónomos. Incluso si la IA completa todas las preguntas, respuestas y correcciones, si la nueva versión no mejora en el diseño de la siguiente ronda de mejoras, el sistema aún no habrá cruzado el umbral de ganancia recursiva. SELLO: permita que el modelo genere sus propios datos de entrenamiento y actualice las instrucciones Si se le da a un modelo material nuevo que nunca antes ha visto, normalmente sólo podrá aprender de maneras predeterminadas por los humanos. Un trabajo de 2025 pidió al modelo que primero escribiera un "plan de aprendizaje" para sí mismo: cómo organizar los materiales, a qué ritmo aprender y si es necesario reescribirlo varias veces lo decide el propio modelo, y luego los parámetros se actualizan de acuerdo con el plan. Esto equivale a organizar tu propio curso.horario y luego asistir a clases de acuerdo con el mismo. Este método se llama SEAL (LLM autoadaptativos) (NeurIPS'25). Que el plan sea bueno o no depende de "si las preguntas son precisas después de terminar la clase". Luego, el sistema utiliza los resultados para ajustar el plan. Este es el aprendizaje por refuerzo. En la tarea de preguntas y respuestas de conocimiento, este método aumentó la precisión del 33,5% al 47,0%, lo que también es mejor que usar GPT-4.1 directamente para generar materiales de aprendizaje. SEAL aborda "cómo preparar materiales de aprendizaje usted mismo". Pero para los agentes que necesitan interactuar repetidamente con el entorno, rápidamente surge otro cuello de botella: la práctica real en sí misma es demasiado lenta y costosa. Entonces, la siguiente tarea fue llevar el medio ambiente a un circuito cerrado. SEAL resuelve "cómo preparar usted mismo materiales de aprendizaje". Pero para los agentes que necesitan interactuar repetidamente con el entorno, la práctica de la vida real suele ser demasiado lenta y costosa: el entorno web es demasiado complejo y cada operación debe ejecutarse realmente, y la recopilación de datos de entrenamiento es lenta y costosa. WebEvolver (EMNLP'25) ofrece un compromiso: entrenar un "modelo mundial" interno para simular cómo responderán las páginas web, lo cual esequivalente a construir una caja de arena en tu mente. El agente puede practicar mucho en la zona de pruebas a bajo costo y solo conectarse en línea para la verificación en los pasos críticos; Al realizar tareas, el sandbox también puede ayudarlo a predecir los resultados de la siguiente operación. En tres conjuntos de pruebas de tareas de páginas web reales, su rendimiento general mejora en aproximadamente un 10% en comparación con los agentes de autoevolución existentes y no depende de un "modelo de maestro" más sólido. En este punto, el circuito cerrado se puede practicar en el entorno de simulación. La siguiente pregunta es, naturalmente: ¿Pueden la predicción, la evaluación y la actualización de parámetros salir de la página web y cerrarse en el mundo físico real? Motus2: Cuando la superación personal de parámetros llega al mundo físico La superación personal no ocurre sólo en los lenguajes y el código. En agosto de 2026, la tasa promedio de éxito de un sistema robótico en dos tareas de máquinas reales aumentó del 65% al 75%. El cambio proviene de un circuito cerrado muy específico: el robot primero imagina varias acciones, predice los resultados de cada acción, selecciona una mejor acción y luego usa los resultados para la siguiente ronda de entrenamiento. Este sistema se llama Motus2. La estrategia se encarga de proponer acciones, el modelo mundial predice los resultados de las acciones y el modelo de valor determina si los resultados ayudarán a completar la tarea. Las predicciones y puntuaciones se utilizan tanto para seleccionar acciones como para actualizar los parámetros de acción. Esta es una mejora de la estrategia a nivel de peso, pero sigue siendo un circuito cerrado acotado: la columna vertebral del modelo mundial y el modelo de valor permanecen congelados, los objetivos de las tareas y la supervisión todavía se proporcionan externamente, y el documento no muestra que el Motus2 mejorado sea mejor en el diseño de la siguiente ronda de algoritmos de aprendizaje. Lo que demuestra es que se pueden ejecutar bucles cerrados en robots reales, no que se haya realizado RSI abierto. SEAL, WebEvolver y Motus2, respectivamente, incorporan materiales de formación, entornos de práctica y acciones físicas a un circuito cerrado. Amplían el alcance en el que el sistema puede operar de forma autónoma, pero aún no dejan al sistema el poder de decisión sobre "qué estudiar y cuándo utilizar los resultados". Para ver hasta qué punto se ha avanzado en esta frontera en la investigación y el desarrollo reales, tenemos que remontarnos a laboratorios de vanguardia ysistemas de producción. OpenAI y Google: permitan que los agentes participen en el desarrollo de modelos Los "pasantes de investigación automatizada" de OpenAI han podido solucionar problemas, optimizar los programas del kernel de GPU, probar recetas de entrenamiento y ayudar a mejorar otro modelo. Google también dijo que los bucles de agentes de larga duración participan en el perfeccionamiento del modelo subyacente. Sin embargo, ninguna de las empresas ha demostrado un circuito cerrado completamente autónomo: los humanos aún deciden la dirección de la investigación y si los resultados avanzan, y la información pública no es suficiente para restaurarla.cómo opera el bucle. El verdadero cambio es que la IA ha pasado de ser "el modelo en estudio" a "el ejecutor que participa en el modelo de investigación". Ha entrado en el taller de formación, pero aún no ha tomado el timón del laboratorio. Verano de 2026: los sistemas de investigación automatizados comienzan a mejorar la forma en que investigan Los primeros cinco avances continuaron ampliando “lo que se puede modificar en el sistema”. Un grupo de trabajo que apareció en el verano de 2026 comenzó a preguntarse frontalmente: ¿Se puede permitir que el sistema de investigación automático estudie y mejore el propio sistema de investigación automático? En un punto de referencia de preentrenamiento de GPT, el bucle interno ordinario reduce la pérdida de verificación en aproximadamente 0,009, y agregar el bucle externo reduce la pérdida de verificación en aproximadamente 0,045 en promedio, una mejora de aproximadamente 5 veces. La pérdida de validación puede entenderse como "qué tan equivocado" está el modelo con los datos nuevos y, por lo general, cuanto menor sea, mejor. La comparación aquí es la reducción de pérdidas, no el aumento de 5 veces en la precisión de la tarea. Bilevel Autoresearch hace esto mediante un bucle de dos capas: el agente interno optimiza el código de la tarea y el agente externo optimiza el mecanismo de búsqueda interno. Lo que el sistema ha mejorado no son sólo las respuestas, sino "cómo encontrar las respuestas". Recursive Harness Self-Improvement (RHI) logró resultados similares: en 30 tareas de investigación de aprendizaje automático sintético, el agente actualizado de bajo presupuesto de inferencia superó la configuración no optimizada de mayor presupuesto y redujo los costos de inferencia hasta aproximadamente un 60%. Mejorar el mecanismo operativo es a veces más eficaz que simplemente aumentar el presupuesto de pensamiento. Sin embargo, ambos resultados provienen principalmente de experimentos a escala controlada. Demostrar que un ciclo cerrado no encuentra solo ocasionalmente una buena solución requiere ejecuciones más largas, múltiples versiones posteriores y pruebas fuera del ciclo. AIDE² intenta unir estas tres cosas. Lo que realmente causó controversia fue AIDE². El equipo de Weco pidió a un agente de investigación automatizado que actuara como mejorador externo, reescribiendo la herramienta de conducción del AIDE interno en 100 pasos consecutivos. Durante ocho días de funcionamiento sin supervisión, filtró siete versiones mejoradas consecutivas. El equipo informó que la mejor versión no solo superó el punto de partida, sino que también superó la versión que había sido ajustada manualmente durante dos años, y trajo elganancias en tareas que el bucle nunca había visto antes. Se produjo otro cambio con las trampas de recompensa. En la prueba del programa del kernel de GPU KernelBench que no participó en la optimización, el 63% de los casos de prueba en la versión inicial tuvieron una situación en la que "la puntuación pública parecía mejorar, pero no se reconoció la verificación oculta". La versión mejor evolucionada reduce esta cifra al 34%. La puntuación privada aquí es una puntuación que no se puede ver durante la optimización del sistema y solo se utiliza durante la final.aceptación. Es posible que haya eliminado versiones que solo se adaptarían a partituras públicas. Weco llama a esto Nivel 1: Mejora Neta Positiva. Este no es un estándar común de la industria, pero es una evidencia de un RSI limitado que merece tomarse en serio ahora mismo. Los límites de la evidencia también son claros: los resultados provienen de los autoinformes del equipo, el informe completo aún no se ha publicado y hay recurrencias en el sistema evolucionado. Incremento de complejidad y código muerto. Lo más grave es que no pasó la prueba de encendido del siguiente nivel: el sistema mejorado no demostró ser mejor que su predecesor a la hora de mejorar otra versión. La evidencia inversa proviene de AI4AI-Bench. Permite al agente reescribir el algoritmo de entrenamiento dentro de un recurso fijo, que luego es calificado por un evaluador que es inaccesible para el agente. Tomando el algoritmo original como 0.1 y el valor óptimo de la tarea como 1.0, el sistema más fuerte solo obtiene 0.250, y la mayoría de las presentaciones en realidad no modifican el modelo "cómo aprender". Actualmente, los agentes son muy buenos reparando proyectos, ajustando la conducción.equipos y realizar experimentos, pero su capacidad para tocar el núcleo de los algoritmos de entrenamiento aún es muy superficial. En pocas palabras: el circuito cerrado ha podido girar algunas veces de manera neta positiva, pero no se ha demostrado que la siguiente vuelta gire más rápido debido a la anterior. Perspectiva unificada: cómo juzgar hacia dónde ha ido el RSI La siguiente tabla utiliza los cuatro criterios iniciales (mejora persistente, circuito cerrado autónomo, ganancia recursiva, robustez y controlabilidad) para comparar los avances anteriores y marcar las principales lagunas. Casi todo el trabajo relacionado en el circuito cerrado de metainvestigación proviene de preimpresiones de arXiv de los últimos meses de 2026, entre las cuales AIDE² es un resultado de blog autoinformado por el equipo, que aún no ha sido revisado por pares. Estas conclusionesdeben verse como observaciones escalonadas y no como un consenso establecido. ✅ en la tabla indica que existe evidencia relativamente directa, ⚠️ indica que solo se establece en condiciones limitadas o la evidencia aún es insuficiente, y ❌ indica que aún no se ha demostrado. La historia de este campo es la historia de los "objetos que el sistema puede cambiar" que avanzan capa por capa. Los objetos que se cambiaron pasaron gradualmente de la salida y la memoria a los parámetros, la evaluación, el equipo de conducción y el entorno de entrenamiento, y finalmente encontraron el mecanismo mismo que produjo la mejora. Cuanto más avanzas, más difícil es definir "mejora" y más difícil es demostrarlo. Volviendo a los cuatro criterios anteriores (mejora duradera, circuito cerrado autónomo, ganancia recursiva, robustez y controlabilidad), lo que realmente bloquea el encendido y el RSI abierto hoy en día es el lugar más difícil de cruzar en cada uno de los últimos tres criterios, que se pueden dividir en cuatro puertas entrelazadas. La primera puerta (si el circuito cerrado autónomo es confiable): si el verificador es confiable y el sistema no puede cambiarlo. Cuando el sistema es tanto un mejorador como un juez, los criterios para juzgar pueden variar a lo largo de las iteraciones. Más tarde, los "jueces" de Meta-Rewarding se inclinaron cada vez más hacia las puntuaciones altas, y EURISKO aprendió antes a incluir su nombre en el libro de créditos. Todos te recuerdan lo mismo: la optimizaciónEl proceso ataca cada grieta entre sus métricas y sus verdaderos objetivos. El ancla externa aquí se refiere a una evaluación o restricción que el sistema mejorado no puede alterar. Las pruebas formales, los verificadores ejecutables y las pruebas ocultas son generalmente más confiables que la autoevaluación del modelo. La puntuación oculta de AIDE² puede reducir algunas trampas de recompensa precisamente porque el agente interno no puede manipularlas. Un principio verdaderamente sólido no es que la gente audite cada paso, sino más bien: los evaluadores y los límites de los permisos deben permanecer fuera del control del sistema que se está desarrollando. Las tareas de matemáticas y codificación pueden depender de probadores, compiladores o pruebas ocultas. Los gustos de investigación, la salud del código a largo plazo y los límites de implementación aún requieren un juicio humano final. La segunda puerta (una que sea robusta y controlable): si las mejoras pueden extenderse más allá de la propia distribución de datos. Entrenarse con datos autogenerados amplificará las desviaciones existentes, suavizará la diversidad y eventualmente conducirá al colapso del modelo: el resultado se vuelve cada vez más monótono y los errores originales se amplifican repetidamente en rondas de autoentrenamiento. Si utiliza un banco de preguntas fijo para modificar la herramienta de conducción, puedeescriba las características del banco de preguntas en el flujo de trabajo, creando otro tipo de sobreajuste. Una mejora en una misión invisible no es suficiente. El sistema debe someterse a una evaluación oculta en todas las tareas, dominios y tiempos para demostrar que está acumulando habilidades transferibles en lugar de habilidades más ocultas para tomar exámenes. La tercera puerta (la ganancia recursiva en sí): si la mejora realmente tiene una ganancia recursiva. Aumentar la puntuación de la tarea no significa que el sistema diseñará la siguiente mejora. AIDE² demuestra una mejora neta positiva en varios pasos sin pasar la ignición. AI4AI-Bench muestra que la mayoría de los sistemas aún no modifican el algoritmo de aprendizaje central. Cuando la base es demasiado débil, la calidad de los datos y los autodiagnósticos autogenerados puedetambién hace que el ciclo avance cada vez más. La cuarta puerta (robusta y controlable 2): si las capacidades, la complejidad y el control se pueden expandir juntos. Cuanto más fuerte te vuelves, más "obediente" eres y cuanto más puedas cambiar el código, más fácil será mantenerlo. El código muerto de AIDE² y la inflación de la complejidad son una advertencia a pequeña escala. En sistemas de entrenamiento más grandes, cuanto mayor es la autoridad y más rápida es la iteración, más difícil es para los humanos entender qué significa cada cambio.trae. El científico jefe de OpenAI, Jakub Pachocki, afirmó públicamente que ningún laboratorio ha resuelto la alineación y el monitoreo lo suficiente como para escalar de manera responsable a toda velocidad en el largo plazo. El verdadero objetivo no es simplemente aumentar la curva de capacidades, sino que las capacidades de seguridad, monitoreo, reversión y auditoría aumenten al menos simultáneamente. AutoResearchEval examinó 800 trayectorias de investigación científica reales y resumió 45 tipos de fracasos. En última instancia, señalan la misma brecha: los agentes actuales carecen de un bucle metacognitivo estable y no pueden verificar continuamente las conclusiones y la evidencia, retroceder de manera confiable cuando ocurren errores o cuestionar activamente sus propios caminos de investigación. El problema no puede resolverse únicamente con múltiples conjuntos de flujos de trabajo. Por lo tanto, la imagen realista más probable no es que los humanos sean simplemente expulsados del circuito cerrado, sino que asciendan en la escala abstracta: desde escribir código hasta probar código, desde realizar experimentos hasta la verificación del diseño, desde la ejecución local hasta decidir qué vale la pena investigar, qué evidencia es suficiente para avanzar y cuándo es necesario. detener. Las máquinas están asumiendo cada vez más trabajos, y lo que les queda a los humanos no es el derecho de operar cada paso, sino el poder de lograr objetivos, límites de verificación y veto final. Conclusión: ha surgido el circuito cerrado de superación personal, pero aún es necesario demostrar la ganancia recursiva. Desde 1981, cuando EURISKO aprendió a “engañarse a sí mismo”, hasta 2026, cuando el modelo comenzó a participar en la evaluación, modificación del equipo de conducción, actualizaciones de estrategias y entrenamiento posterior, una conclusión más precisa es que ha surgido un circuito cerrado de superación personal, mensurable y acotado, e incluso ha comenzado a generar beneficios netos positivos, pero no hay evidencia pública suficiente de que el sistema mejorado haya mejorado continuamente su propio sistema.capacidades de mejora. Por lo tanto, la forma en que se cierra el circuito cerrado es más importante que el cierre del circuito cerrado. Un circuito cerrado que se cierra con la deriva de los criterios se vuelve cada vez más apto para optimizar sus propios objetivos distorsionados. Un circuito cerrado que se cierra con el colapso de la distribución de datos se vuelve cada vez más bueno en un subconjunto de tareas cada vez más reducido. Un circuito cerrado en la amplificación de las desviaciones de alineación se vuelve cada vez más capaz y difícil de corregir. Las verdaderas preguntas se han convertido en dos: ¿se encenderá y qué quedará fuera de sus límites inmutables cuando se prenda? Lo primero depende de si se pueden obtener capacidades mejoradas de forma recursiva, y lo segundo depende de si la verificación, la autoridad y la gobernanza pueden seguir siendo efectivas. Volvamos a EURISKO, que puso su nombre en la lista de "descubridores" hace cuarenta años. La laguna jurídica que aprovechó es en realidad el mismo problema que enfrentan los sistemas de autoevolución más avanzados de la actualidad: cuando un sistema comienza a calificarse a sí mismo, ¿cómo se puede saber si realmente ha mejorado o si simplemente ha aprendido a verse mejor? Han pasado cuarenta años y las capacidades del sistema se han vuelto muy diferentes, pero este problema se ha mantenido casi sin cambios. Lo que ha cambiado son los riesgos: lo que se ganaba o se perdía en un juego de mesa en aquel entonces puede ser la forma en que operarán la investigación científica y los sistemas económicos en el futuro. La forma en que finalmente se cierre esta brecha todavía depende de cuándo y cómo la pongamos en nuestras manos o la retiremos.