Anthropic CEO이자 공동 창립자인 Dario Amodei는 자신의 개인 웹사이트에 게시된 38페이지 분량의 새로운 에세이에서 초지능 AI의 위험을 해결하기 위한 긴급 조치를 호소합니다.
Amodei는 이러한 유형의 자기 개선 AI가 단 1~2년 뒤에 실현될 수 있다고 썼으며 위험에는 인류의 노예화 및 “대량 파괴”가 포함된다고 경고합니다.
“기술의 청소년기(The Adolescent of Technology)”라는 에세이는 알려지거나 알려지지 않은 AI 위험을 다룹니다. CEO는 AI 기반 생물 테러, 악의적 AI가 통제하는 드론 군대, 사회 전반에 걸쳐 인간 노동자를 쓸모없게 만드는 AI의 가능성에 대해 길게 이야기합니다.
이러한 위험을 해결하기 위해 Amodei는 AI 산업 내 자체 규제부터 미국 헌법 개정에 이르기까지 다양한 개입을 제안합니다.
Anthropic CEO는 AI가 사무직 일자리의 절반을 파괴할 것이라고 경고합니다.
Amodei의 에세이는 사려 깊고 잘 연구되었습니다. 그러나 그것은 또한 AI 글쓰기의 근본적인 죄를 범합니다. 그는 AI를 의인화하는 것을 거부할 수 없습니다.
그리고 자신의 제품을 의식이 있는 살아있는 존재처럼 취급함으로써 Amodei는 자신이 경고했던 바로 그 함정에 빠지게 됩니다.
동시에 말하지만, 뉴욕 타임즈 “AI 정신병”에 대한 대규모 조사를 발표했습니다. 이는 정확한 의학적 정의가 없는 포괄적인 용어로, ChatGPT나 Claude와 같은 AI 챗봇으로 인해 악화되는 광범위한 정신 건강 문제를 의미합니다. 여기에는 망상, 편집증 또는 현실과의 완전한 단절이 포함될 수 있습니다.
“그러나 AI 세일즈맨이 AI가 농업 혁명에 따라 세상을 바꾸는 막을 수 없는 기술이라고 말하면… 당신은 이 예측이 무엇인지, 즉 판매 홍보로 받아들여야 합니다.”
이러한 사례에는 한 가지 공통점이 있습니다. 취약한 사람이 AI 챗봇과 너무 오랫동안 대화를 나누다 보니 챗봇이 살아 있다고 믿기 시작합니다. ChatGPT와 같은 플랫폼을 구동하는 LLM(대형 언어 모델)은 인간 대화의 실제와 같은 복사본을 생성할 수 있으며, 시간이 지남에 따라 사용자는 챗봇에 대한 정서적 의존도를 높일 수 있습니다.
프로그래밍된 기계와 너무 오랫동안 대화를 나누는 경우 소리 공감적이며, 그 기계가 항상 존재하고 참여에 최적화되어 있으면 화면 뒤에서 일하는 마음이 없다는 사실을 잊기 쉽습니다.
‘AI 정신병’으로 알려진 현상을 설명하다
LLM은 강력한 단어 예측 엔진이지만 의식이나 감정, 공감 능력이 없습니다. “기술의 청소년기”를 읽으면서 나는 Amodei가 자신의 기계에 너무 많은 감정적 연결을 맺은 것은 아닌지 궁금해지기 시작했습니다.
Amodei는 세계에서 가장 강력한 챗봇 중 하나를 만드는 일을 담당하고 있습니다. 그는 의심할 바 없이 Claude를 사용하고, 이야기하고, 테스트하고, 개선하는 데 셀 수 없이 많은 시간을 보냈습니다. 그도 기계 속에서 신을 보기 시작한 걸까요?
이 에세이에서는 AI 챗봇이 “심리적으로 복잡하다”고 설명합니다. 그는 AI가 마치 그 자체의 동기와 목표를 갖고 있는 것처럼 이야기합니다. 그는 Anthropic의 기존 모델이 “좋은 사람”이라는 강력한 “자기 정체성”을 갖고 있다고 설명합니다.
매쉬 가능한 광속
간단히 말해서, 그는 생성적 AI를 의인화하고 있습니다. 이는 단순히 미래의 초지능형 AI가 아니라 오늘날의 LLM 기반 AI입니다.
AI의 멸망이 항상 코앞에 다가온 이유
AI의 위험성에 관한 대화의 대부분은 공상 과학 소설에서 직접 가져온 것입니다. Amodei는 이를 인정하지만 그 역시 동일한 접근 방식에 대해 유죄입니다.
에세이는 Amodei가 AI 위험에 대해 논의하는 “가장 현명하지 못한” 목소리와 가장 “선정적인” 목소리를 비판하는 “파멸론 방지”라는 섹션으로 시작됩니다. “이러한 목소리는 종교나 SF를 연상시키는 불쾌한 언어를 사용했습니다.”라고 그는 썼습니다.
그러나 Amodei의 에세이는 반복적으로 공상 과학 소설을 연상시킵니다. 그리고 종교에 관해서는, 그는 AI 초지능이 가까워졌다는 신앙과 같은 믿음을 품고 있는 것 같습니다.
이전에 이런 말을 들어본 적이 있다면 멈추십시오. “AI가 본질적으로 모든 면에서 인간보다 낫기까지는 몇 년이 채 걸리지 않을 것입니다. 사실, 그 그림은 아마도 발전 가능성을 과소평가했을 것입니다.”
AI 파멸자들에게 초지능은 언제나 모퉁이만 돌면 됩니다. 좀 더 유토피아적인 성향을 지닌 이전 에세이인 “사랑하는 은혜의 기계(Machines of Loving Grace)”에서 Amodei는 슈퍼 AI가 단 1~2년 뒤에 나올 수 있다고 썼습니다. (해당 에세이는 1~2년 전인 2024년 10월에 출간되었습니다.)
이제 그는 동일한 추정을 하고 있습니다. 초지능은 1~2년 뒤에 실현될 것입니다. 또, 그것은 단지 모퉁이 돌면. 머지않아 Claude와 같은 생성적 AI 도구는 자신을 개선하는 방법을 학습하여 이전에 지구에서 본 적이 없는 지능의 폭발적인 수준을 달성하게 될 것입니다. AI 부스터들은 특이점이 곧 다가오고 있다고 말합니다. 우리를 믿으세요.
그러나 어떤 일이 영원히 임박할 수는 없습니다. AI 산업이 수익 체감의 벽에 부딪히는 것처럼 보이는 상황에서도 생성적 AI가 기하급수적으로 계속 발전할 것으로 예상해야 할까요?
다보스 버블에서 AI 리더들은 실제 AI 버블을 보지 못한다
확실히 AI CEO라면 누구나 그렇게 생각할 강한 동기를 갖고 있을 것입니다. AI 인프라 개발에는 이미 전례 없는 금액이 투자됐다. AI 산업은 어떤 대가를 치르더라도 개방된 상태를 유지하기 위해 자금 마개를 필요로 합니다.
지난주 다보스에서 NVIDIA의 Jensen Huang은 AI 인프라에 대한 투자가 너무 커서 거품이 될 수 없다고 제안했습니다. 당신을 “실패하기에는 너무 크다”는 사람들로부터 “팝하기에는 너무 크다”라는 새로운 히트곡이 나옵니다.
나는 AI 기술의 이점을 보아왔고 그것이 강력한 도구라고 믿습니다. 그러나 AI 세일즈맨이 AI는 농업 혁명처럼 세상을 바꿀 수 없는 기술이거나 원자폭탄처럼 세상을 바꾸는 위협이며, AI 도구가 곧 “모든 일을 할 수 있게 될 것”이라고 말할 때, 당신은 이 예측을 판매 홍보로 받아들여야 합니다.
AI Doomerism은 항상 자기 아첨의 한 형태였습니다. 그것은 인간에게 새로운 형태의 생명을 창조하는 신과 같은 힘이 있다고 말하고, 실리콘 밸리의 과두제를 세계의 기초를 형성할 수 있는 힘을 가진 거인으로 묘사합니다.
나는 진실이 훨씬 더 간단하다고 생각합니다. AI는 강력한 도구입니다. 그리고 모든 강력한 도구는 잘못된 사람의 손에 들어가면 위험할 수 있습니다. AI 기업의 무분별한 성장, 환경에 미치는 영향, 부의 불평등 증가를 제한하기 위한 법률이 필요합니다.
Amodei는 그의 에세이에서 r-word를 10번 언급하면서 산업 규제를 요구했습니다. 그러나 그는 그 과정에서 SF 소설을 과학적 사실로 착각하기도 합니다.
LLM이 결코 Amodei가 그렇게 열정적으로 믿는 유형의 초지능으로 이어지지 않을 것이라는 증거가 늘어나고 있습니다. 한 Apple 연구 논문에 따르면 LLM은 “사고의 환상”만을 제공하는 것 같습니다. 오랫동안 기다려온 GPT-5는 ChatGPT의 열렬한 팬들을 크게 실망시켰습니다. 그리고 많은 대규모 AI 기업 프로젝트가 최대 95%까지 중단되고 불타오르는 것 같습니다.
스카이넷과 같은 종말의 도깨비에 대해 걱정하는 대신 우리는 AI의 구체적인 해악, 즉 과신한 AI 투영과 합의되지 않은 딥페이크 포르노에서 영감을 받은 불필요한 해고에 초점을 맞춰야 합니다.
인간에게 좋은 소식은 인간의 마음을 합치면 이러한 문제가 해결 가능하다는 것입니다. 공상 과학 소설 사고 실험이 필요하지 않습니다.
주제
인공지능
