AudioLift:マルチビュー映像生成を用いた、オーディオ駆動型の単一画像からフルヘッドのガウスアバターへの変換
arXiv:2610.31747v1 発表タイプ:新規 要旨:既存の3D対話型アバター手法は、主に3DMMやFLAMEを含むパラメトリックな顔モデルに依存しており、そのコンパクトな動作表現により、極端な表情の合成や、頭飾りなどのアクセサリーのモデリング能力が制限されています。本研究では、AudioLiftを提案します。これは、パラメトリックな顔モデルや個々のインスタンスに対する最適化を用いずに、音声駆動型アバター生成のための中間表現として、生成された多視点映像を用いる二段階のフレームワークです。本フレームワークは、同期された多視点映像の生成段階と、不整合に強いガウス再構成段階を組み合わせることで、単一のポートレート画像から一貫性のある全頭部の幾何形状を復元します。広範な実験により、AudioLiftがより多くのエクス
