Écrit par : Bitpush
Le « cas de rupture » le plus coûteux de la Silicon Valley, les détails sont enfin révélés.
Récemment, The Atlantic Monthly a publié le premier extrait du nouveau livre « The AGI Chronicles » de Kevin Roose, auteur américain à succès et animateur de podcast bien connu. Pour ce livre, Roose a interviewé plus de 150 initiés d'OpenAI, Anthropic et Google DeepMind, ainsi qu'un grand nombre de documents d'entreprise et de mémos internes non divulgués, pour reconstituer la rupture la plus sensationnelle de la Silicon Valley.
Si vous savez seulement que Dario Amodei a quitté OpenAI avec un groupe de personnes fin 2020 et a fondé Anthropic, ce n'est que la pointe de l'iceberg. Ce qui a vraiment choqué les gens, c'est le « combat de palais » avant son départ.
« Projet National » : une proposition folle de vente aux enchères d'AGI
Amodei avait autrefois de grandes attentes envers OpenAI. En 2016, il quitte Google pour rejoindre la jeune organisation de recherche à but non lucratif. Selon le récit de Roose, il a joué un rôle important dans la poussée d'OpenAI vers la voie des grands modèles de langage, et l'équipe qu'il dirigeait a participé au développement de GPT-2 et GPT-3.
À mesure que la recherche progresse, Amodei devient de plus en plus convaincu que des modèles à plus grande échelle peuvent conduire à l’AGI, l’intelligence générale artificielle. Mais dans le même temps, sa confiance dans les dirigeants de l’entreprise a continué de s’éroder.
L’une des premières choses qui l’a dérangé s’est produite en 2017.
À cette époque, le soutien financier d’Elon Musk à OpenAI commençait à faiblir et le laboratoire devait de toute urgence trouver une nouvelle issue. Le co-fondateur Greg Brockman et le scientifique en chef Ilya Sutskever ont élaboré un plan interne connu sous le nom de « plan national ».
Ce plan était plutôt correct au début. L’idée était de former une alliance internationale dans laquelle chacun gérerait conjointement les risques de l’AGI et partagerait les bénéfices.
Mais au moment où Brockman et Sutskever l'ont officiellement présenté aux employés lors d'une réunion interne, le tableau avait complètement mal tourné : il s'était transformé en un événement de collecte de fonds visant à « vendre aux enchères » les droits d'utilisation de la future technologie AGI à divers gouvernements, dont les États-Unis, la Chine et la Russie.
La logique des deux personnes est la suivante : l’AGI implique la sécurité nationale, et tôt ou tard les gouvernements l’arracheront à l’entreprise qui l’a créé. Puisqu’il faut de toute façon le céder, mieux vaut le vendre à un meilleur prix tant que l’on manque d’argent.
Un proche qui a entendu la manifestation s'est plaint : "Cela ressemblait à quelques techniciens vendant un projet entrepreneurial fou, et à la fin de la phrase - laissez simplement le gouvernement payer la note."
Dario Amodei était à l’époque vice-président de la recherche d’OpenAI. Après avoir entendu cela, il a envoyé un e-mail plutôt brutal directement à Brockman, Sutskever et à d'autres dirigeants. Il a écrit dans un e-mail que le plan « exacerbera plutôt que réduira la course aux armements », pourrait « conduire à des atrocités en matière de droits de l'homme » qui leur permettraient de commettre des « choses indescriptibles » contre leur propre peuple – et « saperait la légitimité morale d'OpenAI ».
Traduit en mots humains : Voulez-vous leur vendre la technologie la plus puissante de l’humanité ? Devenir fou.
Heureusement, l'investissement important ultérieur de Microsoft a sauvé la mise, et ce plan n'a finalement pas abouti. La réponse d'OpenAI a été que la société "a brièvement envisagé de transformer OpenAI en une collaboration internationale", mais "n'a pas envisagé de vendre AGI à la Chine ou à la Russie".
Le projet n’a jamais abouti, mais Amodei n’a jamais oublié que la direction avait sérieusement discuté d’une idée qu’il trouvait si répréhensible.
De Microsoft à Kanye West, le fossé de confiance se creuse
Depuis lors, des choses apparemment mineures ont continué à accroître sa méfiance.
Lors de la version bêta interne de GPT-3, Amodei a demandé à Altman une liste de clients autorisés à utiliser le modèle. Altman lui en a donné une, mais Amodei affirme avoir trouvé plus tard une liste plus longue. Il a commencé à soupçonner que les informations qu’il avait vues avaient été filtrées.
Un différend autour de l'investissement de Microsoft a renforcé ses doutes.
Il existe un accord assez spécial dans la charte publique d'OpenAI : si un projet avec des valeurs cohérentes et mettant l'accent sur la sécurité s'approche d'abord de la réalisation de l'AGI, OpenAI cessera de rivaliser avec lui et assistera plutôt l'autre partie. Cela signifie que, dans certaines situations, la mission de l'entreprise doit primer sur la victoire.
Selon le nouveau livre de Roose, lors de la négociation d'un investissement d'un milliard de dollars avec Microsoft, Amodei voulait s'assurer que Microsoft acceptait l'acquisition d'OpenAI qui pourrait être utilisée pour mettre en œuvre cet engagement. Altman lui a dit que Microsoft n'acceptait pas les conditions.
Amodei ne croit pas que ce soit aussi simple. Il soupçonnait que pour faciliter l'accord le plus rapidement possible, Altman avait peut-être abandonné le combat, voire n'avait fait aucune demande du tout, mais avait transféré la responsabilité à Microsoft.
Aux yeux d'Amodei, le problème devient de plus en plus difficile à résoudre par des discussions commerciales : il commence à douter de la volonté d'Altman, qui est assis en face de lui, de lui expliquer l'ensemble du processus de négociation.
En 2020, Kanye West – le rappeur qui a ensuite exprimé publiquement son admiration pour Hitler – est apparu accidentellement sur cette liste de griefs qui ne cesse de s’accumuler.
Roose a cité deux personnes proches du dossier disant qu'Altman avait proposé de le laisser participer à un test bêta privé de GPT-3 après avoir rencontré Kanye.
À cette époque, GPT-3 n’avait pas encore été rendu public et c’était l’atout principal d’OpenAI. Jack Clark, alors directeur politique d'OpenAI, a arrêté la proposition. Il a mentionné que Kanye avait récemment publié une vidéo qui semblait uriner sur les Grammy Awards et que son comportement public était inquiétant. Ensuite, il n’a pas fallu longtemps à Kanye pour exprimer ouvertement son admiration pour Hitler.
Cette invitation a échoué, mais elle a encore aggravé le mécontentement d'Amodei à l'égard du jugement d'Altman. Roose a écrit que la plupart des incidents similaires ne suffisaient pas à eux seuls à le faire démissionner, mais que leur accumulation lui rendait difficile de croire qu'Altman était apte à maîtriser une technologie aussi puissante que l'AGI.
Roose a révélé dans le livre qu’en 2020, Amodei était complètement déçu du leadership d’OpenAI. Il a décrit Altman comme un « manipulateur à deux visages » et a estimé que Brockman était « avide de pouvoir et imprudent ».
En fait, le conflit fondamental qui les oppose se résume à deux mots : confiance.
Amodei aurait tenu un journal privé pendant son mandat chez OpenAI, notant les moments où il avait le sentiment qu'Altman l'avait induit en erreur.
Dans une note, il écrit : « Le problème d’OpenAI vient de Sam lui-même. »
Former des gangs et des petits groupes ?
D’un autre côté, il y a aussi des gens au sein d’OpenAI qui sont de moins en moins capables de supporter Amodei.
Selon le rapport de Roose, Amodei et sa sœur Daniela ont progressivement rassemblé un groupe de collègues partageant les mêmes idées. Ils ont mis en place des canaux de discussion privés, tenu des réunions séparées et discuté fréquemment des problèmes de sécurité. Du point de vue de certains employés extérieurs au cercle, il est de plus en plus difficile de travailler avec ce groupe de personnes.
Un ancien collègue s'est plaint à Roose qu'Amodei décidait souvent qu'un certain choix était moralement juste, comme si le simple fait d'invoquer la sécurité devait mettre fin au débat. Cela a agacé les autres équipes.
Amodei estime que les objectifs commerciaux l'emporteront toujours sur les engagements en matière de sécurité ; certains collègues estiment qu'il a fait de la sécurité un argument difficile à réfuter. Le mécontentement entre les deux parties s'étend des décisions spécifiques aux méthodes de travail et aux jugements de personnalité.
En fin de compte, le conflit s’est concentré sur un véritable pouvoir : l’équipe de sécurité peut-elle opposer son veto au lancement d’un nouveau produit ?
Selon Roose, Amodei a proposé un ensemble de conditions à Altman pour qu'il reste avant de partir, notamment en donnant à l'équipe de sécurité un tel pouvoir de veto. Il espère que la pression des chercheurs principaux qui pourraient partir en masse incitera Altman à accepter le changement.
Dans le chat de groupe secret, le compte à rebours avant une "séparation familiale" commence
Pendant que les négociations se poursuivaient, une retraite se préparait également.
Amodei et six collègues ont créé une chaîne Slack privée appelée « BATNA », qui signifie Meilleures alternatives lorsque les négociations ne peuvent pas parvenir à un accord. Les membres comprennent sœur Daniela, ainsi que Jack Clark, Sam McCandlish, Tom Brown, Chris Olah et Jared Kaplan.
Le nom même de ce groupe illustre leur situation à cette époque : toujours en discussion, mais prêt à partir.
Lorsque les conditions de rétention n’ont pas pu être négociées, les deux parties ont engagé des avocats et ont commencé à négocier ce qu’on appelait en interne le divorce.
Selon le rapport de Roose, Altman a accepté de donner à ces personnes quelques semaines pour recruter des employés d'OpenAI, en échange de ne pas braconner de personnes d'ici un an ; les deux parties ont également convenu de ne pas se dénigrer en public.
En décembre 2020, OpenAI a organisé une réunion en ligne pour tous les employés.
Le début ressemble à d’habitude. Altman a rendu compte des progrès de la recherche, a présenté les nouveaux employés, puis a transmis le message à Amodei.
Ensuite, Amodei a annoncé que lui et six autres dirigeants partiraient pour créer une nouvelle organisation axée sur la sécurité de l'IA.
Selon la description de Roose, la fenêtre de discussion s'est rapidement remplie de messages et d'expressions de surprise. À la fin de la réunion, Jack Clark a tapé une ligne dans la boîte de discussion : « Je vous aime tous », puis l'écran est soudainement devenu noir.
Sept membres principaux d'OpenAI, dont Dario Amodei et sa sœur Daniela Amodei, ont été expulsés de la réunion au même moment, et leurs autorisations de courrier électronique et Slack ont été révoquées sur-le-champ.
Puis début 2021, Anthropic a été créée.
Quand la rancune a-t-elle pris fin ?
Et démarrer une nouvelle entreprise n’a pas permis à Amodei de se débarrasser des problèmes qui le troublaient.
Anthropic doit également lever des fonds, augmenter sa puissance de calcul et développer des modèles plus puissants. Ce n’est qu’en maîtrisant les technologies de pointe que nous pourrons étudier les risques les plus pointus ; mais pour rester à la pointe, nous devons continuer à investir et faire face à la poursuite des concurrents. À mesure que l’entreprise se développe, Amodei doit répondre à une question familière : lorsque la sécurité, les affaires et la concurrence entrent en collision, laquelle cède en premier ?
Le ressentiment mutuel entre les deux parties n’a pas du tout disparu.
Des personnes proches du dossier ont déclaré qu'Amodei avait un jour décrit Altman et OpenAI comme « maléfiques » ; dans le même temps, certaines personnes au sein d'OpenAI pensaient également que les frères et sœurs Amodei se présentaient comme des modèles moraux, mais étaient également friands de pouvoir ; ils étaient particulièrement mécontents de l'avertissement public d'Anthropic sur les risques liés à l'IA tout en accélérant sa participation au concours.
Dans le livre, Roose décrit ces leaders de l'IA comme « une toile d'araignée d'hostilité enchevêtrée » : Hassabis méprise Altman, Amodei méprise Altman, Altman méprise Amodei et Altman méprise Musk.
Quelques années ont passé, mais ce réseau n'est pas délié. Au lieu de cela, chacun d’eux a de nouveaux problèmes. Selon Bloomberg, Anthropic cherche à être introduite en bourse dès la mi-novembre, avec une valorisation cible pouvant atteindre 2 000 milliards de dollars américains ; mais le prospectus montre également un autre aspect : les revenus en 2025 seront d'environ 4,6 milliards de dollars, mais les pertes d'exploitation dépasseront 8 milliards de dollars, et l'entreprise a promis d'investir plus de 500 milliards de dollars dans le développement de la puissance de calcul à l'avenir. Altman est prudent concernant l'introduction en bourse, affirmant qu'il n'y a pas d'urgence à la rendre publique avant que la sécurité et l'alignement ne soient résolus, mais OpenAI a également été en proie à des incidents de sécurité liés à l'IA récemment.
Amodei a quitté Altman parce qu'il ne lui faisait pas confiance et voulait créer une entreprise dont les promesses en matière de sécurité comptent vraiment. Aujourd'hui, sa propre entreprise est confrontée au même problème : durabilité de la croissance + soucis de sécurité, aucun des deux côtés ne peut être relâché. Ils n'ont pas encore posé cette question.