오디오-언어 모델에서 제어 가능한 화법 캡션 작성의 벤치마크

arXiv:2610.33036v1 발표 유형: 신규 초록: 스피킹 스타일 캡션링(SSC)은 음성의 톤, 억양, 표현력 등과 같은 비언어적 특성을 포착하여, 말이 전달되는 방식에 대한 자연스러운 언어 설명을 생성하는 것을 목표로 합니다. 대화형 AI 에이전트, 제어 가능한 음성 생성, 대규모 오디오 주석 작업 등 많은 하위 애플리케이션에서는 단일한 통합된 설명이 아니라, 특정한 음성의 측면(예: 화자의 특성, 감정, 또는 전달 스타일)을 구체적으로 기술하는 차원별 스타일 캡션을 필요로 합니다. 그러나 기존 연구들은 제어 가능한 스피킹 스타일 캡션링에 대한 통일된 수식화가 부족한 실정입니다. 우리는 이러한 한계를 해소하기 위해 SSC를 명령어 준수형 오디오-언어 과제로 정식화함으로써, 명시적인 지침이 스피킹 스타일의 특정 차원을 규정하도록 하는 접근법을 제안합니다.