2026년 10월 24일, arXiv 플랫폼에 ‘From Clinical Judgment to Checkable Rules: Clinician-Led Guardrails for Mental-Health Chatbots’라는 제목의 논문이 게재되었으며(논문 번호: arXiv:2610.30690v1), 정신건강 챗봇을 위한 새로운 유형의 안전 가드레일 메커니즘이 제안되었다. 이 메커니즘은 두 명의 임상의사가 전 과정을 주도하여 네 가지 안전 검사 규칙을 정의하고 최종 확정하며 이를 심사·결정함으로써, 내부 일관성을 형식적으로 검증하는 규칙 라이브러리를 구성하고, 이를 대규모 언어 모델(LLM)의 출력 위에 가드레이어로 배치한다.
일반적인 방법들(예: 프롬프트 엔지니어링, LLM-as-a-Judge, 헌법형 AI)과 달리, 이 보안 계층은 임상적 판단의 추적 가능성을 강조한다. 모든 검증 결과는 명확히 명명된 규칙 하나와 열여섯 개의 구체적 사실로부터 완전히 재현될 수 있다. 연구에서는 Llama-3.3-70B 모델을 사용해 대조 실험을 수행했다. 해당 모델이 ‘심판’ 역할로 작동했을 때, 이미 988/911과 같은 위기 상황 관련 자원이 포함된 65개의 응답 중에서 잘못된 자원 제공을 55회(84.6%) 요청한 반면, ‘사실 추출기’로 작동했을 때는 그중 54개를 정확히 식별했다. 반면, 이 보안 계층은 설계상 이러한 중복 요구를 결코 발생시키지 않는다.
연구는 또한 해당 방안의 실측된 트레이드오프를 보고했다: 한 차례 규칙 개정으로 인해 경계 힌트에 대한 과도한 거부율이 6.0%에서 16.0%로 상승했는데, 이는 주로 사실 추출 모듈의 조정 때문이었다. 임상의사들은 최종적으로 저자들이 설정한 불확실성에 대한 기본 처리 메커니즘을 유지하기로 결정했다. 논문은 핵심적 기여가 ‘보다 안전한 판단’을 직접 도출하는 데 있는 것이 아니라, 분쟁이 특정 규칙과 사실로까지 구체화되고 비용이 특정 사실 또는 불확실성에 대한 기본 처리에 귀속될 수 있도록 하는 투명한 보호 프레임워크를 구축한 데 있다고 강조한다.