제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
arXiv:2610.33008v1 발표 유형: 신규 초록: 확산형 대규모 언어 모델(dLLMs)은 반복적인 마스킹 디노이즈를 통해 유연한 생성을 가능하게 하지만, 디노이즈 단계마다 토큰 표현을 여러 번 재계산해야 하므로 추론 비용이 상당히 발생합니다. 기존의 캐시 기반 방법들은 디노이즈 단계들 간에 중간 결과를 재사용하고, 각 단계에서 고정된 일정이나 변화를 나타내는 휴리스틱 신호에 따라 선택된 일부 위치만 다시 계산함으로써 이러한 비용을 줄입니다. 반면, 우리의 궤적 실험에서는 해독 궤적이 더 중요한 지표임을 보여줍니다. 캐시를 활용한 생성은 전체 디노이즈 궤적에 가까울 때 정확도가 유지되며, 오차는 주로 마스킹 순서의 변동 부근에 집중되고, 긴 참조 접두사가 복구될수록 감소합니다. 이는 제안…
arXiv:2610.33062v1 발표 유형: 신규 초록: 통합 대규모 다중 모달 모델(ULMM)은 텍스트와 이미지를 교차하여 생성함으로써 시각적 추론을 수행할 수 있지만, 명시적인 중간 단계의 이미지를 생성하는 데에는 상당한 계산 부하가 발생합니다. 시각 잠재 공간 추론이 이 문제를 해결하긴 하지만, 기존 대부분의 방법들은 시각 생성이 불가능한 시각-언어 모델(VLM)에 의존하고 있습니다. 우리는 ULMM에서 잠재적 시각 추론을 가능하게 하는 새로운 프레임워크인 Oddin을 제안합니다. Oddin은 중간 단계의 이미지를 간결한 잠재 토큰으로 대체하며, 이 토큰은 전적으로 이해 분기에서 처리되고, 생성 분기는 최종 출력 이미지 생성에만 할당됩니다. 우리는 오프라인 자기 증류 방식을 통해 세 가지 목표로 모델을 학습시키며, 여기에는 최종 이미지 생성 손실, 텍스트 증류 손실, 그리고 크로스 엔트로피 손실이 포함됩니다.
arXiv:2610.31721v1 발표 유형: 신규 초록: 비용이 많이 드는 평가와 복잡한 제약 조건 하에서 고차원 물리 시스템을 최적화하는 문제는 과학과 공학 분야의 핵심 과제입니다. 오프라인 모델 기반 최적화(MBO)에서는 테스트 시간에 실제 목적함수에 대한 접근 없이, 고정된 데이터 세트만을 이용해 설계를 개선해야 합니다. 그러나 기존 방법들은 일반적으로 보수성 문제, 제약 없는 대리모델 활용, 또는 정밀한 물리적 목표에 맞춰 후보들을 정교하게 개선하지 못하는 정적인 추론 시점 샘플러로 작동하는 등의 한계를 안고 있습니다. 본 논문에서는 오프라인 MBO를 위한 미분 가능한 디퓨전 조건부(D2C) 방법을 제안합니다. 이 방법은 결정론적 샘플링이 역노이즈 체인을 조건부 신호에 대해 미분 가능하게 만든다는 점을 활용합니다. D2C는 …
arXiv:2610.31765v1 발표 유형: 신규 초록: 단일 참조 영상으로부터 동적 장면의 여러 영상을 생성하려면, 시점 간에 관찰된 내용과 미관찰된 내용을 일관되게 합성해야 합니다. 영상 확산을 위한 기존 카메라 제어 방법들은 일반적으로 카메라 임베딩, 시점 간 주의 메커니즘, 기하학적 조건부 등과 같은 아키텍처적 기법에 의존합니다. 이러한 접근법은 정적인 장면 콘텐츠에는 효과적이지만, 시점과 시간에 걸쳐 일관성을 유지해야 하는 세밀하고 동적인 기하학적 특성에는 종종 어려움을 겪습니다. 우리는 각 2D 이미지 평면에서 독립적으로 샘플링하는 대신, 소스 영상에서 도출된 표준적인 3D 공간에서 가우시안 노이즈 사전 분포를 샘플링하고 이를 목표 카메라로 래스터화함으로써 확산 과정 자체를 동기화합니다. 우리의 m
arXiv:2610.32042v1 발표 유형: 신규 초록: 다국어 더빙은 원본 영상과 동기화된 상태로 유지되도록, 소스 음성 언어를 목표 언어의 음성으로 변환하는 것을 목표로 합니다. 이 작업의 핵심은 소스의 시간적 흐름 내에서 자연스럽게 발화 가능한 충실한 번역을 생성하는 데 있으며, 이는 언어마다 지속시간, 리듬, 조음 방식이 서로 다르기 때문에 결코 간단하지 않습니다. 본 논문에서는 이 과제를 시간 인식 기반 음성-텍스트 번역과 영상 인식 기반 텍스트-음성 변환의 복합 문제로 정식화한 X-Dubbing을 제안합니다. 구체적으로, 우리 방법은 시간 구조화된 대본을 생성하는 더빙 트랜스레이터와 이를 소스 영상과 동기 있게 구현하는 보이스 액터로 구성되며, 두 모듈 모두 언어에 독립적인 시간 예산에 기반하고 있습니다. 또한 우리는 트랜스레이터를 더욱 정교화하여 더빙…
arXiv:2610.31747v1 발표 유형: 신규 초록: 기존의 3D 대화형 아바타 방법들은 주로 3DMM이나 FLAME와 같은 파라메트릭 얼굴 모델에 의존하며, 이러한 모델들의 간결한 움직임 표현 방식은 극단적인 표정을 합성하거나 헤드웨어와 같은 액세서리를 모델링하는 데 한계를 지닌다. 우리는 파라메트릭 얼굴 모델이나 개별 인스턴스 최적화 없이, 오디오 기반 아바타 생성을 위한 중간 표현으로 생성된 다중 시점 영상을 활용하는 이중 단계 프레임워크인 AudioLift를 제안한다. 본 프레임워크는 동기화된 다중 시점 영상 생성 단계와 불일치에 강한 가우시안 재구성 단계를 결합하여, 단일 인물 사진 이미지로부터 일관된 전두부 형상을 복원한다. 광범위한 실험 결과, AudioLift는 더 많은 표현을 포착할 수 있는 3D 대화형 아바타를 생성함을 보여준다.
