요약: 다단계 분석 작업에서는 LLM 에이전트가 중간 단계의 근거를 활용해 계속 진행할지, 경로를 변경할지, 아니면 중단할지를 결정해야 한다. 에이전트가 자신의 출력을 비판하는 자기성찰은 널리 연구되어 왔지만, 이러한 비판만으로는 근거가 다음 행동에 어떤 영향을 미쳤는지 여부를 파악하기 어렵다. 우리는 이러한 능력을 ‘자기억제’라고 부른다. 기존의 에이전트 벤치마크는 주로 작업 완료 여부나 출력 품질을 측정할 뿐, 이 능력은 검증되지 않은 상태였다. DMAIC-Bench는 린 식스 시그마의 명시적 통계적 전제 조건을 바탕으로 구성된 4개 산업 분야의 15개 산업 사례에 걸쳐 97개의 초기 설정된 과제를 통해 이를 평가한다. 대조적인 역설적 변형 과제들은 동일한 워크플로우 지점에서 서로 반대되는 행동을 요구함으로써, 정당화된 억제와 무분별한 중단을 구분할 수 있게 한다. 우리는 자체 개발한 스코어러를 이용해 실행 흐름을 평가하고, 최종 결론은 독립적인 전문가 검토를 통해 확인한다. 6개 공급업체의 13개 모델을 대상으로 한 결과, 일치하는 GO 결정에서는 실행 수준 라우팅 정확도가 평균 92%를 기록했으며, NO-GO 결정에서는 19%를 보였다. 여기서 ‘라우팅 오류’란 금지된 하위 계산이 발생한 경우를 모두 포함한다. 실행 흐름 분석에 따르면, 에이전트들은 해당 결과가 허용하지 않는 분석을 수행하기 전에 올바른 진단을 보고하는 모습을 보인다. 한편, 감사 대상 11개 에이전트에 대해 실시한 맹검 전문가 검토 결과, 도달한 NO-GO 결정의 47%에서 보고서가 타당하지 않은 근거에 기반해 작성된 것으로 추정되며, 그 범위는 31%에서 61%까지 다양했다. 명시적인 중단 권한은 일부 모델에게는 유용하긴 하지만, GO 및 NO-GO 분기에서 모두 정확한 결정을 일관되게 복구하는 데에는 한계가 있다. 또한, 리보핵산 시퀀싱(RNA-seq)과 사례-대조군 전체 유전체 연관성 연구(GWAS) 등 생명과학 분야의 16개 과제를 통해, 동일한 프레임워크가 산업 워크플로우를 넘어 증거에 의존하는 의사결정을 평가할 수 있음을 입증했다. 프로젝트의 코드와 데이터는 다음 HTTPS URL에서 확인할 수 있다.
제출 기록
Access Paper:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
구글 학술 검색
시멘틱 스콜라
북마크
기관
arXivLabs는 협업자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 협력하는 개인과 조직 모두는 개방성, 커뮤니티, 탁월성, 그리고 사용자 데이터 프라이버시라는 당사의 가치를 수용하고 이를 준수해 왔습니다. arXiv은 이러한 가치에 전념하며, 이들 가치를 준수하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.