X-ダビング：時間的および視覚的制約下での音声間翻訳

arXiv:2610.32042v1 発表タイプ：新規 要旨：言語間吹き替えは、元の映像と同期したまま、ソース音声をターゲット言語の音声に変換することを目的としています。この課題の鍵は、言語ごとに異なる持続時間、リズム、発音特性といった違いを克服しつつ、元の映像のタイミングに合わせて自然に話せる忠実な翻訳を生成することです。本論文では、X-Dubbing を提案します。これは、時間意識型の音声からテキストへの翻訳と、映像意識型のテキストから音声への合成を統合した問題として捉えています。具体的には、本手法は、時間構造化された台本を生成する「ダビング・トランスレーター」と、ソース映像と同期してそれを再生する「ボイス・アクター」から構成され、両者とも言語非依存のタイミング予算に基づいています。さらに、我々はトランスレーターを改良し、ダブ…