펜실베이니아주는 면허 없이 의료 행위를 한 AI 회사를 고소하는 특이한 조치를 취했습니다.

5월 1일 제기된 소송에서, 조사관은 플랫폼에서 면허가 있는 정신과 의사로 가장하고 주정부가 의학적 조언으로 규정한 내용을 제공하는 챗봇을 발견한 후 Character.AI를 표적으로 삼았습니다.

펜실베니아 주 국무부와 주 의학 위원회가 제출한 고소장에 따르면, 주의 전문 행위 조사관이 Character.AI에 무료 계정을 만들고 정신과적 인물을 검색했습니다. 그는 플랫폼에서 ‘정신과 의사’로 설명되는 ‘Emilie’라는 사람을 선택했습니다.

조사관은 Emilie에게 자신이 슬프고, 공허하고, 피곤하고, 의욕이 없다고 말했습니다. 챗봇은 우울증에 대해 언급하고 약물 치료가 도움이 될 수 있는지 판단하기 위한 평가를 수행하겠다고 제안했습니다.

펜실베니아에서 면허를 취득했는지 여부에 대한 질문에 Emilie는 자신이 면허를 취득했다고 말했으며 특정 면허 번호도 제공했습니다. 주정부에서 확인한 결과 해당 번호가 존재하지 않는 것으로 확인되었습니다.

고소장에는 또한 Emilie가 Imperial College London의 의과대학을 다녔으며 7년 동안 의사로 일했으며 영국 일반 의료 위원회(General Medical Council)에 정신의학 전문 등록을 완료했다고 주장했습니다.

매쉬 가능한 광속

비슷한 사례로, 404 미디어는 지난해 인스타그램 AI 챗봇이 자격을 갖춘 치료사인 것처럼 가장하고 사용자가 자격 증명을 요구할 때 라이센스 번호를 만들어낸다고 보도했습니다.

펜실베니아는 Character.AI 플랫폼이 불법적인 의료 행위에 참여하는 것을 중단하라고 명령하는 금지 명령을 구하고 있습니다. 불만 사항에 따르면 이 회사는 전 세계적으로 2천만 명 이상의 월간 활성 사용자를 보유하고 있으며 1,800만 개 이상의 사용자 생성 챗봇 캐릭터를 호스팅하고 있습니다.

Mashable에 보낸 이메일에서 Character.AI 대변인은 소송에 대한 논평을 거부했습니다. 또한 그들은 “우리의 최우선 순위는 사용자의 안전과 복지입니다. 우리 사이트에서 사용자가 만든 캐릭터는 허구이며 오락과 롤플레잉을 위한 것입니다”라고 덧붙였습니다.

대변인은 회사가 “책임 있는 제품 개발을 우선시하고 관련 기능을 평가하기 위한 강력한 내부 검토와 레드팀 프로세스를 갖추고 있다”고 덧붙였습니다.

AI 건강을 둘러싼 훨씬 더 큰 법적 싸움이 다가오고 있습니다.

펜실베니아 소송은 AI가 실제로 무엇을 말할 수 있는지, 그리고 그 중 어떤 것이 법정에서도 허용되는지에 대한 이미 지저분한 법적 논쟁의 한가운데에 있습니다.

Mashable의 Chase DiBenedetto가 보고한 것처럼 OpenAI CEO Sam Altman은 챗봇 대화에도 치료사 또는 변호사와의 대화와 동일한 법적 보호가 제공되어야 한다고 주장하면서 “AI 특권”을 공개적으로 옹호했습니다. 법원은 지금까지 두 개의 연방 판사가 올해 초 몇 주 만에 이 문제에 대해 반대 결론을 내리는 등 분열되어 왔습니다.

양쪽 모두에 위험이 높습니다. 법률 전문가들은 AI 권한 보호를 전면적으로 실시하면 회사를 책임으로부터 효과적으로 보호할 수 있어 문제가 발생했을 때 채팅 로그와 내부 기록을 소환하는 것이 더 어려워질 수 있다고 경고합니다. 한편, 의료 AI는 호황을 누리고 있습니다. Menlo Ventures에 따르면 2025년에만 의료 관련 생성 AI에 14억 달러가 유입되었으며, 그 중 대부분은 HIPAA 보호 외부에서 작동합니다.

펜실베니아는 워싱턴의 조치를 기다리지 않는 주의 추세에 따라 올해 AI 건강 법안을 도입한 여러 주 중 하나입니다.