AudioLift: 멀티뷰 비디오 생성을 통한 오디오 기반 단일 이미지에서 풀헤드 가우시안 아바타로 변환
arXiv:2610.31747v1 발표 유형: 신규 초록: 기존의 3D 대화형 아바타 방법들은 주로 3DMM이나 FLAME와 같은 파라메트릭 얼굴 모델에 의존하며, 이러한 모델들의 간결한 움직임 표현 방식은 극단적인 표정을 합성하거나 헤드웨어와 같은 액세서리를 모델링하는 데 한계를 지닌다. 우리는 파라메트릭 얼굴 모델이나 개별 인스턴스 최적화 없이, 오디오 기반 아바타 생성을 위한 중간 표현으로 생성된 다중 시점 영상을 활용하는 이중 단계 프레임워크인 AudioLift를 제안한다. 본 프레임워크는 동기화된 다중 시점 영상 생성 단계와 불일치에 강한 가우시안 재구성 단계를 결합하여, 단일 인물 사진 이미지로부터 일관된 전두부 형상을 복원한다. 광범위한 실험 결과, AudioLift는 더 많은 표현을 포착할 수 있는 3D 대화형 아바타를 생성함을 보여준다.
