Написал: Bitpush
Самое дорогое «дело о расставании» в Кремниевой долине, наконец-то раскрыты подробности.
Недавно издание The Atlantic Monthly опубликовало первый отрывок из новой книги «Хроники AGI» Кевина Роуза, известного американского автора бестселлеров и ведущего подкастов. Для этой книги Руз взял интервью у более чем 150 инсайдеров из OpenAI, Anthropic и Google DeepMind, а также большого количества нераскрытых документов компаний и внутренних заметок, чтобы собрать воедино самый сенсационный разрыв в Кремниевой долине.
Если вы только знаете, что Дарио Амодей покинул OpenAI с группой людей в конце 2020 года и основал Anthropic, это лишь верхушка айсберга. Что действительно шокировало людей, так это «дворцовая драка» перед его отъездом.
«Проект Национальный»: безумное предложение выставить AGI на аукцион
Когда-то Амодей возлагал большие надежды на OpenAI. В 2016 году он покинул Google, чтобы присоединиться к молодой некоммерческой исследовательской организации. Согласно рассказу Руза, он был важной фигурой в продвижении OpenAI на путь создания больших языковых моделей, а возглавляемая им команда участвовала в разработке GPT-2 и GPT-3.
По мере продвижения исследований Амодей все больше убеждается в том, что более масштабные модели могут привести к созданию AGI — общего искусственного интеллекта. Но в то же время его уверенность в руководстве компании продолжала разрушаться.
Одно из первых событий, которые его обеспокоили, произошло в 2017 году.
В тот момент финансовая поддержка OpenAI со стороны Маска начала ослабевать, и лаборатории срочно потребовалось искать новый выход. Соучредитель Грег Брокман и главный научный сотрудник Илья Суцкевер разработали внутренний план, который стал известен как «план страны».
Этот план поначалу был вполне приличным. Идея заключалась в том, чтобы сформировать международный альянс, в котором каждый мог бы совместно управлять рисками ОИИ и делиться выгодами.
Но к тому времени, когда Брокман и Суцкевер официально представили ее сотрудникам на внутреннем совещании, картина совершенно испортилась: все превратилось в мероприятие по сбору средств на «аукцион» прав на использование будущей технологии AGI различным правительствам, включая США, Китай и Россию.
Логика этих двух людей такова: AGI предполагает национальную безопасность, и рано или поздно правительства отберут его у компании, которая его создала. Поскольку сдавать его все равно придется, то лучше продать подороже, пока денег мало.
Инсайдер, слышавший демонстрацию, пожаловался: «Это звучало так, будто несколько технических специалистов продают сумасшедший предпринимательский проект, а в конце предложения — просто позвольте правительству оплатить счета».
Дарио Амодей в то время был вице-президентом OpenAI по исследованиям. Услышав это, он отправил довольно резкое электронное письмо непосредственно Брокману, Сатскеверу и другим руководителям. В электронном письме он написал, что этот план «скорее усугубит, чем сократит гонку вооружений», может «привести к злодеяниям в области прав человека», которые позволят им совершать «невыразимые вещи» против собственного народа – и «подорвут моральную легитимность OpenAI».
В переводе на человеческие слова: вы хотите продать им самые мощные технологии человечества? Сойти с ума.
К счастью, последующие крупные инвестиции Microsoft спасли положение, и этот план в конечном итоге не был реализован. Ответ OpenAI заключался в том, что компания «кратко обдумывала, стоит ли превращать OpenAI в международный проект», но «не рассматривала возможность продажи AGI Китаю или России».
План так и не был реализован, но Амодей никогда не забывал, что руководство серьезно обсуждало идею, которую он нашел столь нежелательной.
От Microsoft до Канье Уэста: разрыв в доверии становится глубже
С тех пор, казалось бы, мелочи продолжали усугублять его недоверие.
Во время внутреннего бета-тестирования GPT-3 Амодей попросил Альтмана предоставить список клиентов, которым разрешено использовать эту модель. Альтман дал ему один, но Амодей утверждает, что позже он нашел более длинный список. Он начал подозревать, что информация, которую он видел, была отфильтрована.
Спор вокруг инвестиций Microsoft усугубил его сомнения.
В публичном уставе OpenAI есть довольно особое соглашение: если проект с последовательными ценностями и упором на безопасность первым подойдет к реализации AGI, OpenAI перестанет с ним конкурировать и вместо этого будет помогать другой стороне. Это означает, что в определенных ситуациях миссия компании должна иметь приоритет над победой в игре.
Согласно новой книге Руза, при переговорах с Microsoft об инвестициях в 1 миллиард долларов Амодей хотел убедиться, что Microsoft согласилась на приобретение OpenAI, которое можно было бы использовать для реализации этого обязательства. Альтман сказал ему, что Microsoft не приняла условия.
Амодей не верит, что это так просто. Он подозревал, что для того, чтобы как можно быстрее облегчить сделку, Альтман, возможно, отказался от борьбы или даже вообще не обращался с просьбой, а переложил ответственность на Microsoft.
По мнению Амодеи, проблему становится все труднее решить посредством деловых дискуссий: он начал сомневаться в том, что Альтман, сидящий напротив него, готов объяснить ему весь переговорный процесс.
В 2020 году в этом постоянно накапливающемся списке обид случайно появился Канье Уэст — рэпер, который позже публично выразил свое восхищение Гитлером.
Руз процитировал двух человек, знакомых с этим вопросом, которые сказали, что Альтман предложил ему принять участие в частном бета-тестировании GPT-3 после встречи с Канье.
В то время GPT-3 еще не был публично выпущен и был основным активом OpenAI. Джек Кларк, в то время политический директор OpenAI, отклонил это предложение. Он упомянул, что Канье недавно выпустил видео, в котором, похоже, мочится на церемонии вручения премии Грэмми, и его поведение на публике вызывает беспокойство. Затем Канье не потребовалось много времени, чтобы открыто выразить свое восхищение Гитлером.
Это приглашение не удалось, но оно еще больше усугубило недовольство Амодея решением Альтмана. Руз писал, что одних только подобных инцидентов было недостаточно, чтобы заставить его уйти в отставку, но из-за их накопления ему было трудно поверить в то, что Альтман способен овладеть такой мощной технологией, как AGI.
Руз рассказал в книге, что к 2020 году Амодей полностью разочаровался в руководстве OpenAI. Он описал Альтмана как «двуликого манипулятора» и считал, что Брокман был «властолюбивым и безрассудным».
На самом деле, основной конфликт между ними состоит всего из двух слов: доверие.
Говорят, что Амодей во время своего пребывания в OpenAI вел личный дневник, записывая моменты, когда он чувствовал, что Альтман ввел его в заблуждение.
В одной из заметок он написал: «Проблема OpenAI лежит на самом Сэме».
Формируете банды и небольшие группы?
С другой стороны, в OpenAI есть люди, которые все больше не могут терпеть Амодея.
Согласно отчету Русе, Амодей и его сестра Даниэла постепенно собрали группу коллег со схожими идеями. Они создавали частные каналы чата, проводили отдельные встречи и часто обсуждали вопросы безопасности. С точки зрения некоторых сотрудников, не входящих в круг, с этой группой людей становится все труднее работать.
Бывший коллега пожаловался Рузу, что Амодей часто решает, что тот или иной выбор является морально правильным, как будто простое упоминание о безопасности должно положить конец дебатам. Это раздражало другие команды.
Амодей считает, что бизнес-цели всегда будут важнее обязательств по обеспечению безопасности; некоторые коллеги считают, что он превратил безопасность в аргумент, который трудно опровергнуть. Недовольство между двумя сторонами распространялось от конкретных решений до методов работы и личных суждений.
В конечном итоге конфликт сосредоточился вокруг одной реальной силы: может ли команда безопасности наложить вето на запуск нового продукта?
По словам Руза, Амодей предложил Альтману ряд условий для того, чтобы он остался там перед отъездом, в том числе предоставил команде безопасности такое право вето. Он надеется, что давление основных исследователей, которые, возможно, массово уйдут, побудит Альтмана принять перемены.
В секретном групповом чате начинается обратный отсчет до «разлучения семьи»
Пока шли переговоры, готовилось и отступление.
Амодей и шесть его коллег создали частный канал в Slack под названием «BATNA», что означает «Лучшие альтернативы, когда переговоры не могут привести к соглашению». Среди участников - сестра Даниэла, а также Джек Кларк, Сэм МакКэндлиш, Том Браун, Крис Ола и Джаред Каплан.
Само название этой группы иллюстрирует их ситуацию на тот момент: они еще разговаривают, но готовы уйти.
Когда условия удержания не удалось согласовать, обе стороны наняли адвокатов и начали переговоры о том, что внутри компании называлось разводом.
Согласно отчету Руза, Альтман согласился дать этим людям несколько недель на набор сотрудников OpenAI в обмен на то, что они не будут переманивать людей в течение года; обе стороны также договорились не унижать друг друга публично.
В декабре 2020 года OpenAI провела онлайн-встречу для всех сотрудников.
Начало выглядит как обычно. Альтман доложил о ходе исследования, представил новых сотрудников, а затем передал сообщение Амодею.
Затем Амодей объявил, что он и шесть других лидеров уйдут, чтобы основать новую организацию, занимающуюся безопасностью ИИ.
По описанию Руза, окно чата быстро наполнилось удивленными сообщениями и выражениями. В конце встречи Джек Кларк набрал в окне чата строчку — «Я люблю вас всех», а затем экран внезапно потемнел.
Семь основных членов OpenAI, включая Дарио Амодей и его сестру Даниэлу Амодей, были одновременно исключены из собрания, а их электронная почта и разрешения Slack были немедленно отозваны.
Затем, в начале 2021 года, была основана Anthropic.
Когда обида закончилась?
И начало нового дела не позволило Амодею избавиться от беспокоивших его проблем.
Anthropic также необходимо привлечь средства, расширить вычислительные мощности и разработать более мощные модели. Только овладев передовыми технологиями, мы сможем изучить самые передовые риски; но чтобы оставаться на передовой, мы должны продолжать инвестировать и сталкиваться с преследованием конкурентов. По мере роста компании Amodei должен ответить на знакомый вопрос: когда сталкиваются безопасность, бизнес и конкуренция, кто из них уступает место первым?
Взаимная неприязнь между двумя сторонами ничуть не исчезла.
Люди, знакомые с ситуацией, рассказали, что Амодей однажды назвал Альтмана и OpenAI «злом»; в то же время некоторые люди в OpenAI также считали, что братья и сестры Амодеи позиционируют себя как моральные модели, но в равной степени стремятся к власти; они были особенно недовольны публичным предупреждением Anthropic о рисках ИИ, одновременно ускоряя его участие в конкурсе.
В книге Руз описывает этих лидеров искусственного интеллекта как «паутину запутанной враждебности»: Хассабис смотрит на Альтмана свысока, Амодей смотрит свысока на Альтмана, Альтман смотрит свысока на Амодея, а Альтман смотрит свысока на Маска.
Прошло несколько лет, но эта сеть не развязалась. Вместо этого у каждого из них появляются новые неприятности. По данным Bloomberg, Anthropic планирует провести публичную акцию уже в середине ноября с целевой оценкой до 2 триллионов долларов США; но проспект показывает и другую сторону: выручка в 2025 году составит примерно 4,6 миллиарда долларов США, но операционные убытки превысят 8 миллиардов долларов США, и компания пообещала инвестировать более 500 миллиардов долларов США в наращивание вычислительных мощностей в будущем. Альтман осторожно относится к IPO, заявляя, что не стоит спешить с публичной публикацией до того, как будут решены проблемы безопасности и согласованности, но OpenAI в последнее время также страдает от инцидентов, связанных с безопасностью ИИ.
Амодей покинул Альтмана, потому что не доверял ему и хотел построить компанию, чьи обещания в области безопасности действительно имеют значение. Теперь его собственная компания столкнулась с той же проблемой: устойчивость роста + проблемы безопасности, ни одна из сторон не может быть ослаблена. Они еще не сдали этот вопрос.