Escrito por: Bitpush
El "caso de ruptura" más caro de Silicon Valley, finalmente se revelan los detalles.
Recientemente, The Atlantic Monthly publicó el primer extracto del nuevo libro "The AGI Chronicles" de Kevin Roose, un conocido autor estadounidense de bestsellers y presentador de podcasts. Para este libro, Roose entrevistó a más de 150 expertos de OpenAI, Anthropic y Google DeepMind, además de una gran cantidad de documentos y memorandos internos de la empresa no divulgados, para reconstruir la ruptura más sensacional en Silicon Valley.
Si solo sabes que Dario Amodei dejó OpenAI con un grupo de personas a finales de 2020 y fundó Anthropic, eso es solo la punta del iceberg. Lo que realmente sorprendió a la gente fue la "pelea en el palacio" antes de que él se fuera.
“Proyecto Nacional”: Una loca propuesta para subastar AGI
Amodei alguna vez tuvo grandes expectativas para OpenAI. En 2016, dejó Google para unirse a la joven organización de investigación sin fines de lucro. Según la narrativa de Roose, fue una figura importante en impulsar OpenAI hacia la ruta del modelo de lenguaje grande, y el equipo que dirigió participó en el desarrollo de GPT-2 y GPT-3.
A medida que avanza la investigación, Amodei se convence cada vez más de que los modelos a mayor escala pueden conducir a AGI (inteligencia general artificial). Pero al mismo tiempo, su confianza en el liderazgo de la empresa siguió erosionándose.
Una de las primeras cosas que le molestó ocurrió en 2017.
En ese momento, el apoyo financiero de Musk a OpenAI comenzó a flaquear y el laboratorio necesitaba encontrar urgentemente una nueva salida. El cofundador Greg Brockman y el científico jefe Ilya Sutskever idearon un plan interno que se conoció como el "plan de los países".
Este plan era bastante decente al principio. La idea era formar una alianza internacional y todos gestionarían conjuntamente los riesgos de AGI y compartirían los beneficios.
Pero cuando Brockman y Sutskever lo presentaron formalmente a los empleados en una reunión interna, el panorama había salido completamente mal: se había convertido en un evento de recaudación de fondos para "subastar" los derechos de uso de la futura tecnología AGI a varios gobiernos, incluidos Estados Unidos, China y Rusia.
La lógica de ambas personas es la siguiente: AGI implica seguridad nacional y, tarde o temprano, los gobiernos se la arrebatarárán a la empresa que la creó. Como tienes que entregarlo de todos modos, es mejor venderlo a un mejor precio mientras te falta dinero.
Un informante que escuchó la manifestación se quejó: "Parecía que unos pocos técnicos vendían un loco proyecto empresarial y, al final de la frase, simplemente dejaban que el gobierno pagara la cuenta".
Dario Amodei era entonces vicepresidente de investigación de OpenAI. Después de escuchar esto, envió un correo electrónico bastante contundente directamente a Brockman, Sutskever y otros ejecutivos. Escribió en un correo electrónico que el plan "exacerbará en lugar de reducir la carrera armamentista", podría "conducir a atrocidades contra los derechos humanos" que les permitiría hacer "cosas atroces" contra su propio pueblo - y "socavaría la legitimidad moral de OpenAI".
Traducido a palabras humanas: ¿Quieres venderles la tecnología más poderosa de la humanidad? Enloquecerse.
Afortunadamente, la gran inversión posterior de Microsoft salvó el día y este plan finalmente no llegó a buen término. La respuesta de OpenAI fue que la empresa "consideró brevemente si convertir OpenAI en una colaboración internacional", pero "no consideró vender AGI a China o Rusia".
El plan nunca llegó a buen término, pero Amodei nunca olvidó que la dirección había discutido seriamente una idea que él encontraba tan objetable.
De Microsoft a Kanye West, la brecha de confianza se hace más profunda
Desde entonces, cosas aparentemente menores han seguido profundizando su desconfianza.
Durante la versión beta interna de GPT-3, Amodei le pidió a Altman una lista de clientes a los que se les permitía usar el modelo. Altman le dio una, pero Amodei afirma que luego encontró una lista más larga. Comenzó a sospechar que la información que veía había sido filtrada.
Una disputa en torno a la inversión de Microsoft profundizó sus dudas.
Hay un acuerdo bastante especial en los estatutos públicos de OpenAI: si un proyecto con valores consistentes y énfasis en la seguridad se acerca primero a la realización de AGI, OpenAI dejará de competir con él y en su lugar ayudará a la otra parte. Esto significa que, en determinadas situaciones, la misión de la empresa debe tener prioridad sobre ganar el juego.
Según el nuevo libro de Roose, al negociar una inversión de mil millones de dólares con Microsoft, Amodei quería asegurarse de que Microsoft aceptara la adquisición de OpenAI que podría usarse para implementar este compromiso. Altman le dijo que Microsoft no aceptaba las condiciones.
Amodei no cree que sea tan sencillo. Sospechaba que para facilitar el trato lo más rápido posible, Altman pudo haber abandonado la lucha, o incluso no haber hecho ninguna solicitud, sino que pasó la responsabilidad a Microsoft.
A los ojos de Amodei, el problema es cada vez más difícil de resolver a través de discusiones comerciales: ha comenzado a dudar de que Altman, que está sentado frente a él, esté dispuesto a explicarle todo el proceso de negociación.
En 2020, Kanye West, el rapero que más tarde expresó públicamente su admiración por Hitler, apareció accidentalmente en esta lista cada vez mayor de agravios.
Roose citó a dos personas familiarizadas con el asunto diciendo que Altman se ofreció a permitirle participar en una prueba beta privada de GPT-3 después de conocer a Kanye.
En ese momento, GPT-3 aún no se había lanzado públicamente y era el activo principal de OpenAI. Jack Clark, director de políticas de OpenAI en ese momento, detuvo la propuesta. Mencionó que Kanye había publicado recientemente un vídeo en el que parecía orinar en el premio Grammy y su comportamiento público era preocupante. Luego, Kanye no tardó mucho en expresar abiertamente su admiración por Hitler.
Esta invitación fracasó, pero agravó aún más el descontento de Amodei con el juicio de Altman. Roose escribió que la mayoría de incidentes similares por sí solos no fueron suficientes para obligarlo a renunciar, pero la acumulación le hizo difícil creer que Altman fuera apto para dominar una tecnología tan poderosa como AGI.
Roose reveló en el libro que para 2020, Amodei estaba completamente decepcionado con el liderazgo de OpenAI. Describió a Altman como un "manipulador de dos caras" y creía que Brockman estaba "hambriento de poder e imprudente".
De hecho, el conflicto central entre ellos son sólo dos palabras: confianza.
Se dice que Amodei mantuvo un diario privado durante su mandato en OpenAI, anotando momentos en los que sentía que Altman lo había engañado.
En una nota, escribió: "El problema de OpenAI reside en el propio Sam".
¿Formar pandillas y pequeños grupos?
Por otro lado, también hay gente dentro de OpenAI que cada vez es más incapaz de soportar a Amodei.
Según el informe de Roose, Amodei y su hermana Daniela fueron reuniendo poco a poco un grupo de colegas con ideas similares. Establecieron canales de chat privados, celebraron reuniones separadas y discutieron con frecuencia cuestiones de seguridad. Desde la perspectiva de algunos empleados fuera del círculo, cada vez es más difícil trabajar con este grupo de personas.
Un ex colega se quejó ante Roose de que Amodei a menudo decidía que una determinada elección era moralmente correcta, como si simplemente citar la seguridad debiera poner fin al debate. Esto molestó a los otros equipos.
Amodei considera que los objetivos comerciales siempre prevalecerán sobre los compromisos de seguridad; algunos colegas creen que ha convertido la seguridad en un argumento difícil de refutar. El descontento entre ambas partes se extendió desde decisiones específicas hasta métodos de trabajo y juicios de personalidad.
En última instancia, el conflicto se centró en un poder real: ¿puede el equipo de seguridad vetar el lanzamiento de un nuevo producto?
Según Roose, Amodei propuso un conjunto de condiciones a Altman para quedarse antes de irse, incluido otorgar al equipo de seguridad ese poder de veto. Espera que la presión de los investigadores centrales que posiblemente se vayan en masa impulse a Altman a aceptar el cambio.
En el chat grupal secreto comienza la cuenta regresiva para una "separación familiar"
Mientras continuaban las negociaciones, también se preparaba una retirada.
Amodei y seis colegas crearon un canal privado en Slack llamado "BATNA", que significa Mejores Alternativas Cuando las Negociaciones No Pueden Llegar a un Acuerdo. Los miembros incluyen a la hermana Daniela, así como a Jack Clark, Sam McCandlish, Tom Brown, Chris Olah y Jared Kaplan.
El propio nombre de este grupo ilustra su situación en aquel momento: todavía hablando, pero listos para partir.
Cuando no se pudieron negociar los términos de retención, ambas partes contrataron abogados y comenzaron a negociar lo que internamente se llamó el divorcio.
Según el informe de Roose, Altman acordó darles a estas personas unas semanas para reclutar empleados de OpenAI, a cambio de no cazar gente furtivamente dentro de un año; Las dos partes también acordaron no menospreciarse mutuamente en público.
En diciembre de 2020, OpenAI celebró una reunión online para todos los empleados.
El comienzo parece el mismo de siempre. Altman informó sobre el progreso de la investigación, presentó a los nuevos empleados y luego entregó el mensaje a Amodei.
A continuación, Amodei anunció que él y otros seis líderes se irían para establecer una nueva organización centrada en la seguridad de la IA.
Según la descripción de Roose, la ventana de chat se llenó rápidamente de mensajes y expresiones de sorpresa. Al final de la reunión, Jack Clark escribió una línea en el cuadro de chat: "Los amo a todos", y de repente la pantalla se volvió negra.
Siete miembros principales de OpenAI, incluidos Dario Amodei y su hermana Daniela Amodei, fueron expulsados de la reunión al mismo tiempo, y sus permisos de correo electrónico y Slack fueron revocados en el acto.
Luego, a principios de 2021, se estableció Anthropic.
¿Cuándo terminó el rencor?
Y empezar un nuevo negocio no le permitió a Amodei deshacerse de los problemas que lo aquejaban.
Anthropic también necesita recaudar fondos, ampliar la potencia informática y desarrollar modelos más potentes. Sólo dominando la tecnología de punta podremos estudiar los riesgos más vanguardistas; pero para mantenernos a la vanguardia, debemos seguir invirtiendo y enfrentar la persecución de competidores. A medida que la empresa crece, Amodei debe responder una pregunta familiar: cuando la seguridad, los negocios y la competencia chocan, ¿cuál cede primero?
El resentimiento mutuo entre las dos partes no ha desaparecido en absoluto.
Personas familiarizadas con el asunto dijeron que Amodei una vez describió a Altman y OpenAI como "malvados"; Al mismo tiempo, algunas personas dentro de OpenAI también creían que los hermanos Amodei se presentaban a sí mismos como modelos morales, pero estaban igualmente interesados en el poder; Estaban particularmente insatisfechos con la advertencia pública de Anthropic sobre los riesgos de la IA mientras aceleraba su participación en la competencia.
En el libro, Roose describe a estos líderes de IA como "una telaraña de hostilidad enredada": Hassabis menosprecia a Altman, Amodei menosprecia a Altman, Altman menosprecia a Amodei y Altman menosprecia a Musk.
Han pasado algunos años, pero esta red no se ha desatado. En cambio, cada uno de ellos tiene nuevos problemas. Según Bloomberg, Anthropic busca salir a bolsa a mediados de noviembre, con una valoración objetivo de hasta 2 billones de dólares; pero el prospecto también muestra otra cara: los ingresos en 2025 serán de aproximadamente 4.600 millones de dólares, pero las pérdidas operativas superarán los 8.000 millones de dólares, y ha prometido invertir más de 500.000 millones de dólares en la creación de potencia informática en el futuro. Altman es cauteloso con respecto a la IPO y dice que no hay prisa por salir a bolsa antes de que se resuelvan la seguridad y la alineación, pero OpenAI también se ha visto plagado de incidentes de seguridad de IA recientemente.
Amodei dejó Altman porque no confiaba en él y quería construir una empresa cuyas promesas de seguridad realmente contaran. Ahora su propia empresa tiene que afrontar el mismo problema: sostenibilidad del crecimiento + preocupaciones de seguridad, ninguna de las partes puede ceder. Aún no han entregado esta pregunta.