토요일 오전에 발표된 긴 에세이에서 Anthropic CEO Dario Amodei는 AI 산업이 의도적으로 AI 개발 속도를 늦춰야 한다고 말했습니다. Amodei는 “미개척지의 속도 조절”이라고 부르는 3가지 계획을 제안했는데, 이는 역사상 최대 규모의 IPO를 향해 달려가는 회사 대표의 놀라운 메시지입니다.
Amodei가 X에 대한 에세이를 공유한 직후 OpenAI CEO인 Sam Altman은 라이벌의 제안을 공개적으로 받아들였습니다. “나는 우리가 개척에 속도를 내야 한다는 Dario의 의견에 동의합니다. 이것은 최근 몇 주 동안 OpenAI에서 나눈 토론의 주요 주제였습니다.”
이 트윗은 현재 사용할 수 없습니다. 로드 중이거나 제거되었을 수 있습니다.
Amodei는 자신의 개인 사이트에서 최근 두 가지 발전을 중심으로 자신의 주장을 정리하면서 업계에 더 많은 주의가 필요하다고 확신했습니다. 첫 번째는 차세대 AI를 구축하는 데 도움이 되는 모델이 점점 더 많이 사용되면서 여름 이후 AI 기능이 급격히 가속화된 것입니다. 이러한 현상을 재귀적 자기 개선이라고 합니다. 두 번째이자 더 주목할만한 우려는 불량 AI 에이전트 떼가 보안 샌드박스를 탈출하여 제3자를 공격한 OpenAI-Hugging Face 사건이었습니다.
이 때문에 Amodei는 수정 사항을 제공하고 싶지만 모델 훈련을 중단하고 싶지 않다는 점을 분명히 밝혔습니다. Amodei가 제안한 3가지 계획은 다음과 같습니다.
-
Anthropic은 은행 규제 기관이 때때로 금융 회사에 참여하는 방식과 유사하게 외부 평가자(예: 안전 그룹 METR)에게 직원과 같은 영구적인 액세스 권한을 일방적으로 부여하여 관행을 확인할 수 있습니다.
-
민주주의 국가 내 AI 기업은 공유된 안전 표준을 조정해야 합니다.
-
셋째, 가장 어려운 점은 중국을 포함해 전 세계적으로 조정이 확대되기를 원하지만 중국이 확실히 이를 준수할지는 의심스럽다는 점입니다.
그는 또한 이것을 중국에 대한 지속적인 칩 수출 제한과 모델 도난에 대한 보안 강화와 같은 일부 매파적인 요구와 결합했습니다. Amodei는 이를 “권위주의 정권”에 대한 미국의 우위를 유지하는 동시에 업계에 안전하게 보조할 여지를 제공하는 데 필요한 것으로 구성했습니다.
매쉬 가능한 광속
공백 상태에 있는 동안 이것은 주요 AI CEO가 요구하고 싶은 종류의 일이며, 이는 누가 AI 안전 정책을 정의하는지에 대한 업계의 훨씬 더 큰 싸움의 일부입니다. 몇 주 전, 캘리포니아의 SB 53 프론티어 AI 안전법에 반대했던 OpenAI는 방향을 바꾸고 법이 다음과 같이 요구되었습니다. 강화된 허깅 페이스 사건 이후. 한 분석가는 Fortune에 이러한 움직임이 진짜일 수도 있지만 OpenAI가 소규모 경쟁업체에 대한 기준을 높이고 자체 실패 후 규제 기관에 심각성을 알림으로써 OpenAI가 선두를 확고히 하는 데 도움이 될 수도 있다고 말했습니다.
TechCrunch는 OpenAI CEO인 Sam Altman과 Amodei 사이의 “명백한 적대감”과 조정된 경기 둔화로 인해 독점 금지 조사가 발생할 수 있다는 우려를 고려할 때 주요 연구소 간의 조정이 거의 불가능하다고 지적합니다.
또한 Anthropic은 이르면 10월 중순에 약 2조 달러에 달하는 가치로 나스닥 상장을 목표로 하고 있는 것으로 알려졌습니다. 회사가 독특하게 안전을 중시한다는 점을 소개하는 세간의 이목을 끄는 에세이는 외부 평가자에게 문을 열어주기 때문에 도움이 될 수 있습니다.
이 중 어느 것도 Amodei의 근본적인 우려를 잘못된 것으로 만들지 않습니다. 여러 연구실의 연구자들은 비슷한 위험을 지적했습니다. 바로 이번 주에 Anthropic 직원이 회사를 떠나 AI가 “통제 불능”이라고 경고하면서 무모하다고 공개적으로 비난했습니다.
공개: Mashable의 모회사인 Ziff Davis는 2025년 4월 OpenAI가 AI 시스템 교육 및 운영에 있어 Ziff Davis의 저작권을 침해했다고 주장하며 OpenAI를 상대로 소송을 제기했습니다.
공식 정보 바로가기