X-더빙: 시간적 및 시각적 제약 하에서의 음성 대 음성 번역

arXiv:2610.32042v1 발표 유형: 신규 초록: 다국어 더빙은 원본 영상과 동기화된 상태로 유지되도록, 소스 음성 언어를 목표 언어의 음성으로 변환하는 것을 목표로 합니다. 이 작업의 핵심은 소스의 시간적 흐름 내에서 자연스럽게 발화 가능한 충실한 번역을 생성하는 데 있으며, 이는 언어마다 지속시간, 리듬, 조음 방식이 서로 다르기 때문에 결코 간단하지 않습니다. 본 논문에서는 이 과제를 시간 인식 기반 음성-텍스트 번역과 영상 인식 기반 텍스트-음성 변환의 복합 문제로 정식화한 X-Dubbing을 제안합니다. 구체적으로, 우리 방법은 시간 구조화된 대본을 생성하는 더빙 트랜스레이터와 이를 소스 영상과 동기 있게 구현하는 보이스 액터로 구성되며, 두 모듈 모두 언어에 독립적인 시간 예산에 기반하고 있습니다. 또한 우리는 트랜스레이터를 더욱 정교화하여 더빙…