2026년 10월 24일, ‘Harm Is Behavioural, Moderation Is Lexical’라는 제목의 학술 논문이 arXiv 플랫폼에 게재되었으며(번호 2610.31047v1), 주류 자동화 콘텐츠 안전 시스템이 위험 식별에서 근본적인 결함을 지니고 있음을 체계적으로 규명했다. 이들 시스템은 메시지의 실제 행동 의도보다는 어휘와 표면적 형식에 지나치게 의존하여, 다양한 언어 공동체와 문화적 표현 간에 심각한 불공정을 초래한다.
연구는 실증적 테스트를 통해 여러 가지 주요 편향을 발견했다: 자동 분류기는 아프리카계 미국인 영어(AAE)를 ‘모욕적’으로 표시하는 빈도가 다른 영어 변이체에 비해 최대 두 배에 달했다; 일부 시스템은 유명한 드레스업 여왕의 소셜미디어 계정에 부여한 ‘독성’ 점수가 백인 우월주의자 계정보다 더 높았다; 그리고 영어에서는 비교적 잘 작동하던 안전 정책도 저자원 언어(예: 아랍어, 로마자 표기 인도어)에서는 거의 무력화되었으며, 이러한 언어들에서의 시스템 정확도는 우연히 맞출 확률 수준에 근접했다.
논문은 일곱 가지 실패 패턴을 도출하고, 검증 가능한 가설을 제시한다: 진정으로 언어 간 안정성을 보이는 것은 ‘유해한 어휘’가 아니라 유해한 행동 그 자체이다(예를 들어 비밀 유지 요구, 금전 요구, 타인의 고립 시도 등). 연구팀은 새로운 평가 프로토콜을 설계하여, 키워드 사전과 두 종류의 다국어 보호 모델을 포함한 다섯 개의 오픈소스 시스템 및 열한 개 언어에서 이를 검증한 결과, 55개의 시스템-언어 조합 중 51개에서 원어민이 구분하는 ‘유해한 기능’과 ‘무해한 형태’ 간의 정확도를 달성하지 못했다. 모델의 성능이 높아질수록 아홉 개 언어에서 차별 현상이 더욱 두드러졌으며, 아랍어와 로마자 표기 인도어는 거의 무작위 수준에 머물러 있어, 기술 발전에도 불구하고 언어 간 서비스 격차는 오히려 확대되는 것으로 나타났다.
이 연구는 또한 한 가지 위험한 역설을 지적한다: 특정 시스템은 동일한 언어에 대해 심각한 오분류(거짓 양성)와 동시에 심각한 누락(거짓 음성)을 동시에 겪고 있다. 더욱 우려스러운 점은, 오분류율(거짓 양성)만 보고될 경우 가장 열악한 언어가 오히려 ‘가장 공정하게 처리된다’는 잘못된 인식으로 비치게 되며, 이는 실제 위험의 불균형적인 분배를 은폐한다는 것이다. 논문은 행동 중심의 평가 패러다임으로 전환해야만 콘텐츠 검열 시스템의 신뢰성과 포용성을 회복할 수 있다고 강조한다.