작성자: 비트푸시
실리콘밸리에서 가장 비싼 '파산 사건', 드디어 그 실체가 밝혀진다.
최근 The Atlantic Monthly는 미국의 유명 베스트셀러 작가이자 팟캐스트 진행자인 Kevin Roose의 신간 "The AGI Chronicles"에서 첫 번째 발췌문을 게재했습니다. 이 책에서 Roose는 OpenAI, Anthropic 및 Google DeepMind의 150명 이상의 내부자와 공개되지 않은 수많은 회사 문서 및 내부 메모를 인터뷰하여 실리콘 밸리에서 가장 놀라운 이별을 정리했습니다.
Dario Amodei가 2020년 말에 여러 사람들과 함께 OpenAI를 떠나 Anthropic을 설립했다는 사실만 알고 있다면 그것은 빙산의 일각에 불과합니다. 사람들을 정말 충격에 빠뜨린 것은 그가 떠나기 전 벌어진 '궁전 싸움'이었다.
“Project National”: AGI 경매에 대한 미친 제안
Amodei는 한때 OpenAI에 대한 기대가 높았습니다. 2016년에 그는 Google을 떠나 젊은 비영리 연구 조직에 합류했습니다. Roose의 설명에 따르면 그는 OpenAI를 대규모 언어 모델 경로로 추진하는 데 중요한 인물이었으며 그가 이끄는 팀은 GPT-2 및 GPT-3 개발에 참여했습니다.
연구가 진행됨에 따라 Amodei는 대규모 모델이 AGI(인공 일반 지능)로 이어질 수 있다는 확신을 점점 더 갖게 되었습니다. 그러나 동시에 회사 리더십에 대한 그의 신뢰는 계속해서 약화되었습니다.
그를 괴롭힌 첫 번째 일 중 하나는 2017년에 일어났습니다.
당시 OpenAI에 대한 Musk의 재정적 지원이 흔들리기 시작했고 연구소는 새로운 탈출구를 긴급히 찾아야 했습니다. 공동 창립자 Greg Brockman과 수석 과학자 Ilya Sutskever는 "국가 계획"으로 알려진 내부 계획을 내놓았습니다.
이 계획은 처음에는 꽤 괜찮았습니다. 아이디어는 국제 동맹을 형성하고 모든 사람이 AGI의 위험을 공동으로 관리하고 혜택을 공유하는 것이었습니다.
그러나 Brockman과 Sutskever가 내부 회의에서 이를 직원들에게 공식적으로 발표했을 때 상황은 완전히 바뀌었습니다. 미국, 중국, 러시아를 포함한 다양한 정부에 미래 AGI 기술을 사용할 권리를 "경매"하는 기금 모금 행사로 바뀌었습니다.
두 사람의 논리는 이렇습니다. AGI는 국가 안보와 관련되어 있으며 조만간 정부가 이를 만든 회사로부터 이를 빼앗아 갈 것이라는 것입니다. 어차피 넘겨줘야 하기 때문에 돈이 부족할 때 더 좋은 가격에 파는 게 낫습니다.
시위를 들은 한 내부자는 "기술자들 몇 명이 미친 기업 프로젝트를 파는 것처럼 들렸고, 결국 정부가 그 비용을 부담하게 놔두는 것 같았다"고 불평했다.
Dario Amodei는 당시 OpenAI의 연구 부사장이었습니다. 이 말을 들은 그는 Brockman, Sutskever 및 기타 임원들에게 직접 다소 직설적인 이메일을 보냈습니다. 그는 이메일에서 이 계획이 "군비 경쟁을 줄이기는커녕 악화시킬 것"이며 "인권 잔학행위로 이어질 수 있고" "말할 수 없는 일"을 자국민에 대해 저지를 수 있으며 "OpenAI의 도덕적 정당성을 훼손할 것"이라고 썼습니다.
인간의 말로 번역하면: 인류의 가장 강력한 기술을 그들에게 팔고 싶습니까? 미쳐버려.
다행스럽게도 Microsoft의 후속 대규모 투자로 인해 상황이 해결되었지만 이 계획은 궁극적으로 결실을 맺지 못했습니다. OpenAI의 반응은 "OpenAI를 국제 협력으로 전환할지 여부를 잠시 고려"했지만 "AGI를 중국이나 러시아에 판매하는 것은 고려하지 않았다"는 것입니다.
그 계획은 결코 결실을 맺지 못했지만, 아모데이는 자신이 그토록 불쾌하다고 생각하는 아이디어에 대해 경영진이 진지하게 논의했다는 사실을 결코 잊지 않았습니다.
마이크로소프트부터 카니예 웨스트까지, 신뢰의 균열은 더욱 깊어진다
그 이후로 겉보기에 사소해 보이는 것들이 계속해서 그의 불신을 심화시켰다.
GPT-3 내부 베타 기간 동안 Amodei는 Altman에게 해당 모델을 사용할 수 있는 고객 목록을 요청했습니다. Altman은 그에게 하나를 주었지만 Amodei는 나중에 더 긴 목록을 발견했다고 주장합니다. 그는 자신이 본 정보가 필터링된 것이라고 의심하기 시작했습니다.
마이크로소프트의 투자를 둘러싼 분쟁은 그의 의심을 더욱 심화시켰다.
OpenAI의 공개 헌장에는 다소 특별한 합의가 있습니다. 일관된 가치와 보안을 강조하는 프로젝트가 먼저 AGI 구현에 접근하면 OpenAI는 해당 프로젝트와의 경쟁을 중단하고 대신 상대방을 지원할 것입니다. 이는 특정 상황에서는 회사의 사명이 게임 승리보다 우선시되어야 함을 의미합니다.
Roose의 새 책에 따르면, Amodei는 Microsoft와 10억 달러 투자 협상을 할 때 Microsoft가 이 약속을 이행하는 데 사용될 수 있는 OpenAI 인수를 수락하도록 하고 싶었습니다. Altman은 Microsoft가 조건을 수락하지 않았다고 말했습니다.
Amodei는 그것이 그렇게 간단하다고 믿지 않습니다. 그는 가능한 한 빨리 거래를 촉진하기 위해 Altman이 싸움을 포기했거나 전혀 요청하지 않고 책임을 Microsoft에 넘겼을 것이라고 의심했습니다.
Amodei의 눈에는 비즈니스 논의를 통해 문제를 해결하기가 점점 더 어려워지고 있습니다. 그는 건너편에 앉아 있는 Altman이 협상 과정 전체를 그에게 기꺼이 설명할 의향이 있는지 의심하기 시작했습니다.
2020년에는 나중에 히틀러에 대한 존경심을 공개적으로 표현한 래퍼 Kanye West가 우연히 이 계속해서 누적되는 불만 목록에 등장했습니다.
Roose는 이 문제에 대해 잘 아는 두 사람의 말을 인용하여 Altman이 Kanye를 만난 후 GPT-3의 비공개 베타 테스트에 참여하도록 제안했다고 말했습니다.
당시 GPT-3은 아직 공개되지 않았으며 OpenAI의 핵심 자산이었습니다. 당시 OpenAI의 정책 책임자였던 잭 클라크(Jack Clark)는 제안을 중단했습니다. 그는 Kanye가 최근 그래미 어워드에서 소변을 보는 것처럼 보이는 비디오를 공개했으며 그의 공개적인 행동이 걱정스럽다고 언급했습니다. 그런 다음 Kanye가 히틀러에 대한 존경심을 공개적으로 표현하는 데 오랜 시간이 걸리지 않았습니다.
이 초대는 실패했지만 알트만의 판단에 대한 아모데이의 불만은 더욱 가중됐다. Roose wrote that most of the similar incidents alone were not enough to make him resign, but the accumulation made it difficult for him to believe that Altman was suitable to master such a powerful technology as AGI.
Roose는 책에서 2020년까지 Amodei가 OpenAI의 리더십에 완전히 실망했다고 밝혔습니다. 그는 Altman을 "양면 조작자"로 묘사했으며 Brockman이 "권력에 굶주리고 무모하다"고 믿었습니다.
사실 그들 사이의 핵심 갈등은 바로 신뢰라는 두 단어에 불과합니다.
Amodei는 OpenAI 재직 기간 동안 Altman이 자신을 잘못 인도했다고 느꼈던 순간을 기록하는 개인 일기를 작성했다고 합니다.
한 메모에서 그는 "OpenAI의 문제는 Sam 자신에게 있습니다."라고 썼습니다.
갱단이나 소그룹을 형성하나요?
반면, OpenAI 내부에는 점점 Amodei를 견디지 못하는 사람들도 있습니다.
Roose의 보고서에 따르면 Amodei와 그의 여동생 Daniela는 비슷한 생각을 가진 동료 그룹을 점차 모았습니다. 그들은 비공개 채팅 채널을 설정하고 별도의 회의를 열었으며 보안 문제에 대해 자주 논의했습니다. 서클 외부의 일부 직원의 관점에서 볼 때 이 그룹의 사람들은 함께 일하는 것이 점점 더 어려워지고 있습니다.
이전 동료는 마치 안전을 언급하는 것만으로도 논쟁이 끝나야 하는 것처럼 Amodei가 종종 특정 선택이 도덕적으로 옳다고 결정했다고 Roose에게 불평했습니다. 이는 다른 팀들을 짜증나게 했다.
Amodei는 비즈니스 목표가 항상 안전 약속보다 우선한다고 생각합니다. 일부 동료들은 그가 안전을 반박하기 어려운 주장으로 변질시켰다고 믿습니다. 양측의 불만은 구체적인 의사결정부터 업무 방식, 성격 판단까지 확산됐다.
궁극적으로 갈등은 하나의 실제 권력에 집중되었습니다. 보안 팀이 신제품 출시를 거부할 수 있습니까?
Roose에 따르면 Amodei는 보안 팀에 거부권을 부여하는 것을 포함하여 떠나기 전에 Altman에게 머물 수 있는 일련의 조건을 제안했습니다. 그는 핵심 연구원들이 한꺼번에 떠날 수 있다는 압력이 Altman이 변화를 받아들이도록 유도하기를 바라고 있습니다.
비밀 단체대화에서 '가족 이별'을 향한 카운트다운이 시작된다
협상이 진행되는 동안 퇴각도 준비되고 있었다.
Amodei와 6명의 동료는 "BATNA"라는 개인 Slack 채널을 설정했습니다. BATNA는 협상이 합의에 도달할 수 없을 때 최고의 대안을 의미합니다. 회원으로는 Daniela 자매와 Jack Clark, Sam McCandlish, Tom Brown, Chris Olah 및 Jared Kaplan이 있습니다.
이 그룹의 이름 자체가 그 당시의 상황을 보여줍니다. 여전히 말하고 있지만 떠날 준비가 되어 있는 것입니다.
보존 조건을 협상할 수 없게 되자 양측은 변호사를 고용해 내부적으로 이혼이라고 불리는 협상을 시작했습니다.
Roose의 보고서에 따르면 Altman은 1년 이내에 사람들을 밀렵하지 않는 대가로 OpenAI 직원을 모집할 수 있도록 이들에게 몇 주를 주기로 동의했습니다. 두 당사자는 또한 공개적으로 서로를 비난하지 않기로 합의했습니다.
2020년 12월, OpenAI는 전 직원을 대상으로 온라인 회의를 진행했습니다.
시작은 평소와 같습니다. 알트만은 연구 진행 상황을 보고하고 신입사원을 소개한 뒤 그 메시지를 아모데이에 넘겼다.
다음으로 Amodei는 자신과 6명의 다른 리더들이 AI 보안에 초점을 맞춘 새로운 조직을 설립하기 위해 떠날 것이라고 발표했습니다.
루즈의 설명에 따르면 채팅창은 금세 놀란 메시지와 표정들로 가득 찼다. 회의가 끝나자 잭 클락은 채팅창에 "모두 사랑해요"라는 문구를 입력했는데 갑자기 화면이 검게 변했다.
다리오 아모데이(Dario Amodei)와 그의 여동생 다니엘라 아모데이(Daniela Amodei) 등 오픈AI 핵심 멤버 7명이 동시에 회의에서 퇴장당했고, 이들의 이메일과 슬랙 권한도 그 자리에서 취소됐다.
그러다가 2021년 초에 Anthropic이 설립되었습니다.
원한은 언제 끝났나요?
그리고 새로운 사업을 시작해도 Amodei는 그를 괴롭혔던 문제들을 제거할 수 없었습니다.
Anthropic은 또한 자금을 모으고 컴퓨팅 성능을 확장하며 더욱 강력한 모델을 개발해야 합니다. 최첨단 기술을 숙지해야만 가장 최첨단의 위험을 연구할 수 있습니다. 그러나 최첨단을 유지하려면 계속해서 투자하고 경쟁사의 추격에 직면해야 합니다. 회사가 성장함에 따라 Amodei는 다음과 같은 익숙한 질문에 대답해야 합니다. 보안, 비즈니스, 경쟁이 충돌할 때 어느 것이 먼저 무너지는가?
양측의 상호 적개심은 조금도 사라지지 않았다.
이 문제에 대해 잘 아는 사람들은 Amodei가 한때 Altman과 OpenAI를 "악"으로 묘사했다고 말했습니다. 동시에 OpenAI 내의 일부 사람들은 Amodei 형제자매가 스스로를 도덕적 모델로 포장했지만 똑같이 권력에 열중하고 있다고 믿었습니다. 그들은 경쟁 참여를 가속화하면서 AI 위험에 대한 Anthropic의 공개 경고에 특히 불만족했습니다.
책에서 Roose는 이러한 AI 리더들을 "얽힌 적대감의 거미줄"로 묘사합니다. Hassabis는 Altman을 내려다보고, Amodei는 Altman을 내려다보고, Altman은 Amodei를 내려다보고, Altman은 Musk를 내려다봅니다.
몇 년이 지났지만 이 네트워크는 풀리지 않았습니다. 대신, 그들 각각은 새로운 문제를 안고 있습니다. Bloomberg에 따르면 Anthropic은 이르면 11월 중순에 기업공개를 추진하고 있으며 목표 가치는 최대 2조 달러입니다. 그러나 투자 설명서에는 또 다른 측면도 나와 있습니다. 2025년 매출은 약 46억 달러가 될 것이지만 영업 손실은 80억 달러를 초과할 것이며 앞으로 컴퓨팅 성능 구축에 5000억 달러 이상을 투자하겠다고 약속했습니다. 알트만은 보안과 조정 문제가 해결되기 전에 서둘러 상장할 필요는 없다며 IPO에 대해 조심스러운 입장을 밝혔지만, OpenAI도 최근 AI 보안 사고로 몸살을 앓고 있다.
Amodei는 Altman을 신뢰하지 않았기 때문에 떠났고 보안 약속이 진정으로 중요한 회사를 만들고 싶었습니다. 이제 그의 회사도 같은 문제에 직면해야 합니다. 성장의 지속 가능성 + 안전 문제, 어느 쪽도 느슨해질 수 없습니다. 그들은 아직 이 질문을 제출하지 않았습니다.