Geschrieben von: Bitpush
Der teuerste „Trennungsfall“ im Silicon Valley, die Details werden endlich enthüllt.
Kürzlich veröffentlichte The Atlantic Monthly den ersten Auszug aus dem neuen Buch „The AGI Chronicles“ von Kevin Roose, einem bekannten amerikanischen Bestsellerautor und Podcast-Moderator. Für dieses Buch interviewte Roose mehr als 150 Insider von OpenAI, Anthropic und Google DeepMind sowie eine große Anzahl nicht offengelegter Unternehmensdokumente und interner Memos, um die aufsehenerregendste Trennung im Silicon Valley zusammenzustellen.
Wenn Sie nur wissen, dass Dario Amodei Ende 2020 mit einer Gruppe von Leuten OpenAI verlassen und Anthropic gegründet hat, ist das nur die Spitze des Eisbergs. Was die Menschen wirklich schockierte, war der „Palastkampf“ vor seiner Abreise.
„Project National“: Ein verrückter Vorschlag zur Versteigerung von AGI
Amodei hatte einst hohe Erwartungen an OpenAI. 2016 verließ er Google, um sich der jungen gemeinnützigen Forschungsorganisation anzuschließen. Laut Rooses Erzählung war er eine wichtige Figur dabei, OpenAI auf dem Weg zu großen Sprachmodellen voranzutreiben, und das von ihm geleitete Team war an der Entwicklung von GPT-2 und GPT-3 beteiligt.
Mit fortschreitender Forschung wird Amodei zunehmend davon überzeugt, dass größere Modelle zu AGI – künstlicher allgemeiner Intelligenz – führen könnten. Doch gleichzeitig schwächte sich sein Vertrauen in die Führung des Unternehmens weiter ab.
Eines der ersten Dinge, die ihn störten, geschah im Jahr 2017.
Zu diesem Zeitpunkt geriet Musks finanzielle Unterstützung für OpenAI ins Wanken und das Labor musste dringend einen neuen Ausweg finden. Mitbegründer Greg Brockman und Chefwissenschaftler Ilya Sutskever entwickelten einen internen Plan, der als „Länderplan“ bekannt wurde.
Dieser Plan war am Anfang ganz anständig. Die Idee bestand darin, eine internationale Allianz zu bilden, in der alle gemeinsam die Risiken von AGI bewältigen und die Vorteile teilen würden.
Doch als Brockman und Sutskever es den Mitarbeitern bei einer internen Besprechung offiziell vorstellten, war das Bild völlig aus den Fugen geraten: Es hatte sich in eine Spendenaktion verwandelt, um die Rechte zur Nutzung der künftigen AGI-Technologie an verschiedene Regierungen, darunter die Vereinigten Staaten, China und Russland, zu „versteigern“.
Die Logik der beiden Leute ist folgende: AGI betrifft die nationale Sicherheit, und früher oder später werden Regierungen es dem Unternehmen entreißen, das es geschaffen hat. Da Sie es sowieso abgeben müssen, ist es besser, es zu einem besseren Preis zu verkaufen, während Sie knapp bei Kasse sind.
Ein Insider, der die Demonstration hörte, beschwerte sich: „Es klang, als würden ein paar Technikleute ein verrücktes Unternehmerprojekt verkaufen und am Ende des Satzes – einfach die Regierung die Rechnung bezahlen lassen.“
Dario Amodei war zu dieser Zeit Vizepräsident für Forschung bei OpenAI. Nachdem er das gehört hatte, schickte er eine ziemlich unverblümte E-Mail direkt an Brockman, Sutskever und andere Führungskräfte. Er schrieb in einer E-Mail, dass der Plan „das Wettrüsten eher verschärfen als verringern wird“, „zu Menschenrechtsgräueltaten führen“ könnte, die es ihnen ermöglichen würden, „unaussprechliche Dinge“ gegen ihr eigenes Volk zu tun – und „die moralische Legitimität von OpenAI untergraben würde“.
In menschliche Worte übersetzt: Wollen Sie ihnen die leistungsfähigste Technologie der Menschheit verkaufen? Werde verrückt.
Glücklicherweise rettete die anschließende große Investition von Microsoft den Tag und dieser Plan wurde letztendlich nicht verwirklicht. Die Antwort von OpenAI war, dass das Unternehmen „kurz darüber nachgedacht hat, OpenAI in eine internationale Zusammenarbeit umzuwandeln“, aber „nicht darüber nachgedacht hat, AGI an China oder Russland zu verkaufen“.
Der Plan wurde nie verwirklicht, aber Amodei vergaß nie, dass das Management ernsthaft über eine Idee diskutiert hatte, die er so anstößig fand.
Von Microsoft bis Kanye West wird die Vertrauenskluft immer tiefer
Seitdem haben scheinbar kleinere Dinge sein Misstrauen immer weiter verstärkt.
Während der internen Beta von GPT-3 bat Amodei Altman um eine Liste der Kunden, die das Modell nutzen durften. Altman gab ihm eine, aber Amodei behauptet, er habe später eine längere Liste gefunden. Er begann zu vermuten, dass die Informationen, die er sah, gefiltert worden waren.
Ein Streit um die Investition von Microsoft verstärkte seine Zweifel.
In der öffentlichen Charta von OpenAI gibt es eine ganz besondere Vereinbarung: Wenn sich ein Projekt mit konsistenten Werten und Schwerpunkt auf Sicherheit zuerst der Realisierung von AGI nähert, wird OpenAI aufhören, mit ihm zu konkurrieren, und stattdessen die andere Partei unterstützen. Das bedeutet, dass in bestimmten Situationen die Mission des Unternehmens Vorrang vor dem Gewinn des Spiels haben sollte.
Laut Rooses neuem Buch wollte Amodei bei den Verhandlungen über eine Investition in Höhe von 1 Milliarde US-Dollar mit Microsoft sicherstellen, dass Microsoft die OpenAI-Übernahme akzeptierte, die zur Umsetzung dieser Verpflichtung genutzt werden könnte. Altman teilte ihm mit, dass Microsoft die Bedingungen nicht akzeptiert habe.
Amodei glaubt nicht, dass es so einfach ist. Er vermutete, dass Altman, um den Deal so schnell wie möglich zu ermöglichen, den Kampf aufgegeben oder überhaupt keine Anfrage gestellt, sondern die Verantwortung auf Microsoft abgewälzt hatte.
In Amodeis Augen wird es immer schwieriger, das Problem durch Geschäftsgespräche zu lösen: Er beginnt zu zweifeln, ob Altman, der ihm gegenübersitzt, bereit ist, ihm den gesamten Verhandlungsprozess zu erklären.
Im Jahr 2020 tauchte Kanye West – der Rapper, der später öffentlich seine Bewunderung für Hitler zum Ausdruck brachte – zufällig auf dieser immer länger werdenden Beschwerdeliste auf.
Roose zitierte zwei mit der Angelegenheit vertraute Personen mit den Worten, Altman habe angeboten, ihn nach einem Treffen mit Kanye an einem privaten Betatest von GPT-3 teilnehmen zu lassen.
Zu diesem Zeitpunkt war GPT-3 noch nicht öffentlich veröffentlicht worden und es war das Kernstück von OpenAI. Jack Clark, der damalige politische Direktor von OpenAI, stoppte den Vorschlag. Er erwähnte, dass Kanye kürzlich ein Video veröffentlicht hatte, in dem es offenbar darum ging, auf den Grammy Award zu urinieren, und dass sein öffentliches Verhalten besorgniserregend sei. Dann dauerte es nicht lange, bis Kanye seine Bewunderung für Hitler offen zum Ausdruck brachte.
Diese Einladung scheiterte, aber sie verschärfte Amodeis Unzufriedenheit mit Altmans Urteil noch weiter. Roose schrieb, dass die meisten ähnlichen Vorfälle allein nicht ausreichten, um ihn zum Rücktritt zu bewegen, aber die Häufung machte es ihm schwer zu glauben, dass Altman geeignet sei, eine so leistungsstarke Technologie wie AGI zu beherrschen.
Roose enthüllte in dem Buch, dass Amodei im Jahr 2020 von der Führung von OpenAI völlig enttäuscht war. Er beschrieb Altman als „Manipulator mit zwei Gesichtern“ und glaubte, dass Brockman „machtgierig und rücksichtslos“ sei.
Tatsächlich besteht der Kernkonflikt zwischen ihnen nur aus zwei Worten: Vertrauen.
Amodei soll während seiner Amtszeit bei OpenAI ein privates Tagebuch geführt haben, in dem er Momente aufschrieb, in denen er das Gefühl hatte, Altman habe ihn in die Irre geführt.
In einer Notiz schrieb er: „Das Problem von OpenAI liegt bei Sam selbst.“
Banden und Kleingruppen gründen?
Andererseits gibt es auch innerhalb von OpenAI Menschen, die Amodei zunehmend nicht mehr ertragen können.
Laut Rooses Bericht versammelten Amodei und seine Schwester Daniela nach und nach eine Gruppe von Kollegen mit ähnlichen Ideen. Sie richteten private Chat-Kanäle ein, hielten separate Treffen ab und diskutierten häufig Sicherheitsfragen. Aus Sicht einiger Mitarbeiter außerhalb des Kreises wird die Zusammenarbeit mit diesem Personenkreis immer schwieriger.
Ein ehemaliger Kollege beschwerte sich bei Roose darüber, dass Amodei oft entschied, dass eine bestimmte Entscheidung moralisch richtig sei, als ob die Debatte allein durch die Berufung auf die Sicherheit beendet werden sollte. Das verärgerte die anderen Teams.
Amodei ist davon überzeugt, dass Geschäftsziele stets Vorrang vor Sicherheitsverpflichtungen haben. Einige Kollegen glauben, dass er die Sicherheit zu einem Argument gemacht hat, das schwer zu widerlegen ist. Die Unzufriedenheit zwischen beiden Seiten reichte von konkreten Entscheidungen bis hin zu Arbeitsweisen und Persönlichkeitsurteilen.
Letztlich konzentrierte sich der Konflikt auf eine echte Macht: Kann das Sicherheitsteam ein Veto gegen die Einführung eines neuen Produkts einlegen?
Laut Roose schlug Amodei Altman eine Reihe von Bedingungen für den Verbleib vor, bevor er ging, einschließlich der Gewährung eines solchen Vetorechts für das Sicherheitsteam. Er hofft, dass der Druck von Kernforschern, die möglicherweise massenhaft abwandern, Altman dazu veranlassen wird, Veränderungen zu akzeptieren.
Im geheimen Gruppenchat beginnt der Countdown zur „Familientrennung“.
Während die Verhandlungen liefen, wurde auch ein Rückzug vorbereitet.
Amodei und sechs Kollegen haben einen privaten Slack-Kanal namens „BATNA“ eingerichtet, der für „Best Alternatives When Negotiations Can't Reach a Agreement“ steht. Zu den Mitgliedern gehören Schwester Daniela sowie Jack Clark, Sam McCandlish, Tom Brown, Chris Olah und Jared Kaplan.
Schon der Name dieser Gruppe verdeutlicht ihre damalige Situation: noch redend, aber bereit zum Aufbruch.
Als die Bedingungen für die Zurückbehaltung nicht ausgehandelt werden konnten, beauftragten beide Parteien Anwälte und begannen mit den Verhandlungen über das, was intern als Scheidung bezeichnet wurde.
Laut Rooses Bericht stimmte Altman zu, diesen Leuten ein paar Wochen Zeit zu geben, um OpenAI-Mitarbeiter zu rekrutieren, als Gegenleistung dafür, dass sie innerhalb eines Jahres keine Leute abwerben; Die beiden Parteien einigten sich außerdem darauf, einander nicht öffentlich zu verunglimpfen.
Im Dezember 2020 hielt OpenAI ein Online-Meeting für alle Mitarbeiter ab.
Der Anfang sieht wie immer aus. Altman berichtete über den Fortschritt der Forschung, stellte neue Mitarbeiter vor und übergab die Nachricht dann an Amodei.
Als nächstes kündigte Amodei an, dass er und sechs weitere Führungskräfte das Unternehmen verlassen würden, um eine neue Organisation zu gründen, die sich auf KI-Sicherheit konzentriert.
Laut Rooses Beschreibung füllte sich das Chatfenster schnell mit überraschten Nachrichten und Gesichtsausdrücken. Am Ende des Meetings tippte Jack Clark eine Zeile in die Chatbox: „Ich liebe euch alle“, und dann wurde der Bildschirm plötzlich schwarz.
Sieben Kernmitglieder von OpenAI, darunter Dario Amodei und seine Schwester Daniela Amodei, wurden gleichzeitig aus dem Treffen ausgeschlossen und ihre E-Mail- und Slack-Berechtigungen wurden sofort widerrufen.
Dann, Anfang 2021, wurde Anthropic gegründet.
Wann endete der Groll?
Und die Gründung eines neuen Unternehmens ermöglichte es Amodei nicht, die Probleme loszuwerden, die ihn geplagt hatten.
Anthropic muss außerdem Gelder beschaffen, die Rechenleistung erweitern und leistungsfähigere Modelle entwickeln. Nur durch die Beherrschung modernster Technologie können wir die modernsten Risiken untersuchen. Aber um auf dem neuesten Stand zu bleiben, müssen wir weiter investieren und uns der Verfolgung durch die Konkurrenz stellen. Während das Unternehmen wächst, muss Amodei eine vertraute Frage beantworten: Wenn Sicherheit, Geschäft und Konkurrenz aufeinanderprallen, wer gibt zuerst nach?
Der gegenseitige Unmut zwischen beiden Seiten ist keineswegs verschwunden.
Mit der Angelegenheit vertraute Personen sagten, Amodei habe Altman und OpenAI einmal als „böse“ bezeichnet; Gleichzeitig glaubten einige Leute innerhalb von OpenAI auch, dass die Amodei-Geschwister sich als moralische Vorbilder präsentierten, aber gleichermaßen auf Macht bedacht waren; Sie waren besonders unzufrieden mit der öffentlichen Warnung von Anthropic vor KI-Risiken und der gleichzeitigen Beschleunigung seiner Teilnahme am Wettbewerb.
In dem Buch beschreibt Roose diese KI-Anführer als „ein Spinnennetz aus verflochtener Feindseligkeit“: Hassabis blickt auf Altman herab, Amodei blickt auf Altman herab, Altman blickt auf Amodei herab und Altman blickt auf Musk herab.
Es sind einige Jahre vergangen, aber dieses Netzwerk wurde nicht aufgelöst. Stattdessen hat jeder von ihnen neue Probleme. Laut Bloomberg strebt Anthropic bereits Mitte November einen Börsengang an, mit einer angestrebten Bewertung von bis zu 2 Billionen US-Dollar; Der Prospekt zeigt aber auch eine andere Seite: Der Umsatz wird im Jahr 2025 etwa 4,6 Milliarden US-Dollar betragen, die Betriebsverluste werden jedoch 8 Milliarden US-Dollar übersteigen, und das Unternehmen hat versprochen, in Zukunft mehr als 500 Milliarden US-Dollar in den Aufbau von Rechenleistung zu investieren. Altman ist hinsichtlich des Börsengangs vorsichtig und sagt, dass es keine Eile gibt, an die Börse zu gehen, bevor Sicherheit und Ausrichtung geklärt sind, aber OpenAI wurde in letzter Zeit auch von KI-Sicherheitsvorfällen geplagt.
Amodei verließ Altman, weil er ihm nicht vertraute und ein Unternehmen aufbauen wollte, dessen Sicherheitsversprechen wirklich zählt. Jetzt steht sein eigenes Unternehmen vor dem gleichen Problem: Nachhaltigkeit des Wachstums + Sicherheitsbedenken, keine Seite lässt sich lockern. Sie haben diese Frage noch nicht eingereicht.