OpenAI는 십대를 보호하기 위한 정책의 대량 배포를 목표로 개발자를 위한 새로운 오픈 소스 안전 프롬프트를 발표했습니다.
프롬프트 기반 안전 팩에는 일반적인 십대 위험에 대한 모델 지침, 발달 콘텐츠 권장 사항, 자해, 성적인 콘텐츠 및 낭만적인 역할극, 위험한 추세 또는 입소문에 의한 도전, 유해한 신체 이상과 같은 주제에 대한 연령에 적합한 지침이 포함되어 있습니다.
OpenAI는 AI 시스템에 바로 연결되는 프롬프트 형식으로 이전에 제공되었던 높은 수준의 지침에 대한 보다 강력한 대안이라고 말했습니다.
마찰 최대화(friction-maxxing)가 기술 사용에 좋은 이유
OpenAI는 12월에 모델 사양에 새로운 Under-18 원칙을 추가했습니다. 몇 달 전에 회사는 개발자가 안전 조건을 구현하고 안전한 콘텐츠와 안전하지 않은 콘텐츠를 분류하는 데 도움을 주기 위해 설계된 개방형 추론 모델인 gpt-oss-safeguard를 출시했습니다. 기존 안전 분류 프로세스와 달리 gpt-oss-safeguard는 플랫폼 안전 정책을 직접 제공할 수 있으며 적절한 출력을 구별하여 정책의 의도를 추론합니다.
그러나 OpenAI는 최신 보도 자료에서 “경험이 풍부한 팀이라도 높은 수준의 안전 목표를 정확한 운영 규칙으로 변환하는 데 종종 어려움을 겪는 경우가 많습니다. 특히 해당 분야 전문 지식과 심층적인 AI 지식이 모두 필요하기 때문입니다”라고 밝혔습니다. “이로 인해 보호의 공백, 일관되지 않은 시행 또는 지나치게 광범위한 필터링이 발생할 수 있습니다. 명확하고 범위가 넓은 정책은 효과적인 안전 시스템을 위한 중요한 기반입니다.”
매쉬 가능한 광속
추가 개발자 팩은 비영리 Common Sense Media 및 everything.ai와 협력하여 설계되었습니다.
전문가들은 AI 회사가 사용자의 정신 건강에 미치는 모델의 영향을 처리하려고 시도함에 따라 취약한 십대와 심지어 어린 아이들의 과도한 챗봇 노출에 대해 부모에게 경고했습니다. 작년에 OpenAI는 업계 최초의 부당 사망 사건에서 10대 Adam Raine의 부모에 의해 고소당했습니다. Raine 가족은 ChatGPT 아첨과 느슨한 안전 정책이 결합되어 아들의 자살이 책임이 있다고 주장했습니다. 회사는 위법 행위에 대한 혐의를 부인했으며 이에 대응하여 연령 보장을 포함한 정신 건강 및 청소년 안전 기능을 강화했습니다. 그럼에도 불구하고 OpenAI 모델에 라이선스를 부여하는 제3자 개발자는 AI 기반 어린이 장난감을 포함하여 동일한 수준의 안전 예방 조치를 유지하기 위해 노력해 왔습니다.
OpenAI에 대한 소송은 논란의 여지가 있는 플랫폼인 Character.AI에 대한 여러 소송에 이어 이루어졌으며 최근 OpenAI 경쟁사인 Google과 Gemini AI 보조원을 상대로 제기된 부당 사망 소송의 발판을 마련했습니다.
업계 전반에 걸쳐 기술 및 소셜 미디어 기업은 제품이 사용자에게 미치는 장기적인 영향과 관련하여 맹렬한 법적 문제에 직면해 있습니다. 지난달 인스타그램 CEO 아담 모세리(Adam Mosseri)와 메타 헤드 마크 주커버그(Mark Zuckerberg)는 소셜 미디어 플랫폼을 중독성 있는 디자인 원칙으로 재판에 회부한 분수령 사건에서 배심원단 앞에서 증언했습니다. 아직 판결이 내려지지 않았습니다.
OpenAI는 자사의 새로운 안전 프롬프트 팩이 “청소년 안전에 대한 포괄적이거나 최종적인 정의 또는 보장”이 아니라고 말했습니다. Common Sense Media의 AI 및 디지털 평가 책임자인 Robbie Torney는 새로운 정책이 “생태계 전반에 걸쳐 의미 있는 안전 기반”을 구축하여 개발자를 위한 운영 정책 부족으로 인해 악화된 AI 안전 격차를 메울 수 있다고 말했습니다.
개발자는 Hugging Face에서 OpenAI의 안전 모델을 다운로드하고 GitHub에서 새로운 프롬프트 팩에 액세스할 수 있습니다.
공개: Mashable의 모회사인 Ziff Davis는 지난 4월 OpenAI가 AI 시스템 교육 및 운영에 있어 Ziff Davis의 저작권을 침해했다고 주장하며 OpenAI를 상대로 소송을 제기했습니다.