최신 AI 뉴스를 한눈에.

AI가 촉발한 영상·영화계 대이동: 이세민이 산을 내려오고, 마징타오가 하늘을 날며, 장예흥은 미국으로 떠나다

혹한이 찾아왔으니, 각자 생존의 길을 모색한다.

TraceQuery: 확산 언어 모델에서 완전한 디노이징 궤적을 기반으로 재계산할 내용을 학습하는 방법

arXiv:2610.33008v1 발표 유형: 신규 초록: 확산형 대규모 언어 모델(dLLMs)은 반복적인 마스킹 디노이즈를 통해 유연한 생성을 가능하게 하지만, 디노이즈 단계마다 토큰 표현을 여러 번 재계산해야 하므로 추론 비용이 상당히 발생합니다. 기존의 캐시 기반 방법들은 디노이즈 단계들 간에 중간 결과를 재사용하고, 각 단계에서 고정된 일정이나 변화를 나타내는 휴리스틱 신호에 따라 선택된 일부 위치만 다시 계산함으로써 이러한 비용을 줄입니다. 반면, 우리의 궤적 실험에서는 해독 궤적이 더 중요한 지표임을 보여줍니다. 캐시를 활용한 생성은 전체 디노이즈 궤적에 가까울 때 정확도가 유지되며, 오차는 주로 마스킹 순서의 변동 부근에 집중되고, 긴 참조 접두사가 복구될수록 감소합니다. 이는 제안…

Oddin: 이미지 생성에서의 자기 증류를 통한 통합형 다중모달 모델의 잠재적 시각 추론

arXiv:2610.33062v1 발표 유형: 신규 초록: 통합 대규모 다중 모달 모델(ULMM)은 텍스트-이미지 교차 생성을 통해 시각적 추론을 수행할 수 있지만, 명시적인 중간 이미지를 생성하는 데에는 상당한 계산 부하가 발생합니다. 시각 잠재 공간 추론이 이 문제를 해결하긴 하지만, 기존의 대부분 방법은 시각 생성이 불가능한 시각-언어 모델(VLM)에 의존하고 있습니다. 우리는 ULMM에서 잠재적 시각 추론을 가능하게 하는 새로운 프레임워크인 Oddin을 제안합니다. Oddin은 중간 이미지를 간결한 잠재 토큰으로 대체하며, 이를 이해 분기에서 전적으로 처리하도록 하고, 생성 분기는 최종 출력 이미지 생성에만 할애합니다. 우리는 세 가지 목표—최종 이미지 생성 손실, 텍스트 증류 손실, 그리고 교차 엔트로피 손실—을 포함한 오프라인 자기 증류 방식으로 모델을 학습합니다.

PhaseBreak: 무단 이미지-비디오 애니메이션에 대한 선제적 시간적 보호

arXiv:2610.33070v1 발표 유형: 신규 초록: 이미지-비디오(I2V) 확산 모델은 단일 인물 사진이나 이미지를 애니메이션화하여, 주체의 허가 없이 공유된 이미지를 움직임 합성에 재사용할 수 있도록 합니다. 우리는 이러한 용도에 대비한 선제적 시각적 보호를 연구합니다: 이미지가 공개되기 전에 소유자는 공유 워크플로우는 유지하되 하위 단계의 움직임 생성을 방해하는 제한된 변동을 적용합니다. 기존의 스펙트럼 교란 목적은 시간적 표현을 전반적으로 감쇠시키므로, 미세하거나 공간적으로 국부화된 움직임에 대해서는 제한된 통제만 가능합니다. 우리의 핵심 아이디어는 생성된 동작이 시간적 특징의 강도뿐만 아니라, 특징 이벤트가 발생하는 순서에도 의존한다는 점입니다. 우리는 PhaseBreak라는 화이트박스 스펙트럼 리타이밍 보호 기법을 제안합니다.

물리학 기반 최적화를 위한 엔드투엔드 미분 가능한 확산 조건부 학습

arXiv:2610.31721v1 발표 유형: 신규 초록: 비용이 많이 드는 평가와 복잡한 제약 조건 하에서 고차원 물리 시스템을 최적화하는 문제는 과학과 공학 분야의 핵심 과제입니다. 오프라인 모델 기반 최적화(MBO)에서는, 테스트 시간에 실제 목적 함수에 접근할 수 없으며 고정된 데이터 세트만을 사용하여 설계를 개선해야 합니다. 그러나 기존 방법들은 일반적으로 보수성, 제약 없는 대리모델 활용, 또는 정밀한 물리적 목표에 맞춰 후보를 정교하게 개선하지 못하는 정적인 추론 시점 샘플러로 작동하는 등의 한계를 지니고 있습니다. 본 논문에서는 오프라인 MBO를 위한 미분 가능한 확산 조건부 학습(D2C)을 제안합니다. 이 방법은 결정론적 샘플링이 역 노이즈 체인을 조건부 신호에 대해 미분 가능하게 만든다는 점을 활용합니다. D2C는 …

SyncVid: 동기화된 비디오 생성을 위한 세계-불변 디퓨전

arXiv:2610.31765v1 발표 유형: 신규 초록: 단일 참조 비디오로부터 동적 장면의 여러 비디오를 생성하려면, 서로 다른 시점 간에 관찰된 내용과 미관찰된 내용을 일관되게 합성해야 합니다. 기존의 비디오 디퓨전을 위한 카메라 제어 방법들은 일반적으로 카메라 임베딩, 시각 간 주의 메커니즘, 기하학적 조건부 등 다양한 아키텍처적 기법에 의존합니다. 이러한 접근법은 정적인 장면의 콘텐츠에는 효과적이지만, 시점 간 및 시간에 걸쳐 일관성을 유지해야 하는 세밀하고 동적인 기하학적 특성에는 종종 어려움을 겪습니다. 우리는 각 2D 이미지 평면에서 독립적으로 샘플링하는 대신, 소스 비디오로부터 도출된 표준적인 3D 공간에서 가우시안 노이즈 사전 분포를 샘플링하고 이를 타겟 카메라로 래스터화함으로써 디퓨전 과정 자체를 동기화합니다. 우리의 m

추측적 디퓨전은 두 가지 절충의 이야기입니다

arXiv:2610.31819v1 발표 유형: 신규 초록: 추측적 디코딩은 더 빠르고 낮은 품질의 초안 모델로부터 샘플링을 수행함으로써 자동회귀형 대규모 언어 모델(LLM)의 추론 속도를 가속화하는 기법입니다. 전통적으로, 추측적 디코딩의 근본적인 특성은 검증자 분포에 대해 무손실이라는 점으로, 품질을 희생하지 않고 속도를 보장한다는 것입니다. 이는 최근 개발된 디퓨전 LLM(dLLM)과는 달리, 덜 많은 디퓨전 작업으로 출력의 품질을 저하시킴으로써 상당한 속도 향상을 달성할 수 있다는 점에서 차별됩니다. 디퓨전 모델은 토큰을 병렬로 생성하여 자동회귀 모델보다 더 빠르게 샘플링할 수 있기 때문에, 추측적 디퓨전에서 초안 모델로서 강력한 후보로 간주됩니다. 널리

AudioLift: 멀티뷰 비디오 생성을 통한 오디오 기반 단일 이미지에서 풀헤드 가우시안 아바타로의 변환

arXiv:2610.31747v1 발표 유형: 신규 초록: 기존의 3D 말하는 아바타 방법들은 주로 3DMM이나 FLAME와 같은 파라메트릭 얼굴 모델에 의존하며, 이들 모델의 컴팩트한 움직임 표현 방식은 극단적인 표정을 합성하거나 헤드웨어와 같은 액세서리를 모델링하는 데 한계가 있습니다. 우리는 파라메트릭 얼굴 모델이나 개별 인스턴스 최적화 없이, 생성된 멀티뷰 비디오를 오디오 기반 아바타 생성을 위한 중간 표현으로 활용하는 두 단계 프레임워크인 AudioLift를 제안합니다. 본 프레임워크는 동기화된 멀티뷰 비디오 생성 단계와 불일치에 강한 가우시안 재구성 단계를 결합하여, 단일 인물 사진 이미지로부터 일관된 풀헤드 지오메트리를 복원합니다. 광범위한 실험 결과, AudioLift는 더 많은 표현을 포착할 수 있는 3D 말하는 아바타를 생성함을 보여줍니다.

아폴로 수석 경제학자는 AI가 기술 산업 외의 미국 기업들에 대해 “재무적 수익이 전혀 없다”고 밝혔다.

아폴로 글로벌 매니지먼트의 수석 이코노미스트 토르스텐 슬록은 S&P 493(스탠더드 앤드 푸어스 500에서 7대 기술 대기업을 제외한 지수)을 분석한 결과, 비기술 기업의 이익 마진이 1인당 매출과 동등하며, AI가 생산성을 높였다는 증거는 없다고 밝혔다. 그는 AI가 책임성, 신뢰, 기업 문화 등 비즈니스의 핵심 요소에 대한 이해가 부족하기 때문에 아직 재무적 성과를 창출하지 못했다고 지적했다.

추천 이유이 주장은 주요 상장 기업 그룹(S&P 493)에 대한 실증적 관찰에 근거하며, 명확한 데이터 범위와 제한 조건을 언급하고(Alphabet, Amazon 등 7개의 기술 기업은 제외), 최근 여러 연구의 결론과도 부합하여 검증 가능한 분석 틀과 명확한 인과관계의 경계를 갖추고 있다.

Canva는 자체 개발한 AI 이미지 생성 모델인 Canva Craft를 발표했으며, 이 모델은 두 단계 설계 및 계획 아키텍처를 채택하고 있습니다.

Canva는 자체 개발한 최초의 AI 이미지 생성 모델인 Canva Craft를 출시했으며, 사전 계획과 생성을 거치는 두 단계 아키텍처를 통해 디자인의 정밀도, 일관성 및 제어성을 향상시켰습니다. 또한 2K 해상도와 30여 가지의 화면 비율을 지원하며, 소셜 미디어, 마케팅 콘텐츠 및 디지털 아트 등 다양한 활용场景에 적합합니다.

Canva는 자체 개발한 최초의 이미지 생성 모델인 Canva Craft를 출시하고, 모든 사용자에게 공개했습니다.

Canva는 자체 개발한 최초의 이미지 생성 모델인 Canva Craft를 공식 출시했으며, 이 모델은 2단계 생성 아키텍처를 채택하고 2K 해상도와 30가지 비율의 출력을 지원하며, 텍스트 가독성과 레이어 편집성을 강조합니다. 해당 모델은 플랫폼 내 수백만 개의 인간 디자인 템플릿을 기반으로 학습되었으며, 이미 Dream Lab 및 API에 통합되어 있습니다. 향후 MCP를 통해 ChatGPT, Gemini 등 제3자 챗봇에도 연동될 예정입니다.

아마존 세이지메이커가 코코로-82M TTS 모델을 출시하여, AI 음성 에이전트의 저지연 스트리밍 음성 합성을 지원합니다.

AWS는 SageMaker에서 호스팅되는 Kokoro-82M 텍스트 음성 변환 모델을 활용한 기술 솔루션을 발표했으며, 양방향 WebSocket을 통해 AI 에이전트가 텍스트를 생성하는 동시에 음성을 합성함으로써 엔드투엔드 음성 응답 지연 시간을 크게 단축했습니다. 이 솔루션은 Base64-SSE와 통합 바이너리 전송이라는 두 가지 오디오 피드백 방식을 제공하며, ‘가치 검증형’(proof-of-value)으로 명시되어 아직 생산 준비 상태에 이르지 않았습니다.

Amazon SageMaker TTS 서비스는 측정 기반 자동 확장 및 축소를 구현합니다: Kokoro-82M 모델을 예로 들어 보겠습니다.

AWS 블로그는 텍스트 음성 변환(TTS) 모델을 SageMaker 실시간 엔드포인트에 배포할 때, 경험적 추측을 지양하고 두 가지 실제 측정 지표인 Q_max(단일 인스턴스의 최대 지속 가능한 동시 요청 수)와 T_total(계획된 확장·축소 소요 시간)을 기반으로 한 재현 가능하고 검증 가능한 확장·축소 전략을 소개합니다.

IBM, Granite Speech 5.0 시리즈 음성 모델 출시: 다국어 음성 문자 변환 및 번역, 화자 식별 기능 지원

IBM은 Granite Speech 5.0 시리즈의 세 가지 오픈소스 음성 모델—granite-speech-5.0-2b(고정확도 다국어 ASR/MT), granite-speech-5.0-470m-turboctc(초고속 엣지 기반 다국어 음성 전사) 및 업데이트된 granite-speech-4.1-2b-plus(향상된 다화자 대화 모델링)—를 출시했습니다. 이들 모두는 Apache 2.0 라이선스 하에 제공되며, 주요 추론 프레임워크를 지원합니다.

미스트랄, Voxtral 3 음성 지능형 에이전트 SDK 출시: 50여 개 언어의 실시간 음성 상호작용과 감성형 TTS 지원

Mistral은 2026년 10월 26일 이전에 Voxtral 3를 출시할 예정이며, 이는 다국어 실시간 음성 상호작용을 위한 엔드투엔드 SDK 및 모델 패밀리로, ASR(화자 분리 기능 포함), 추론 계층, TTS 등 세 가지 주요 모듈을 포괄합니다. 데이터 주권과 모듈식 배포를 강조하지만, 모든 성능 관련 주장은 제조사 자체 테스트에 근거한 것으로, 독립적인 제3자 검증은 이루어지지 않았습니다.

유튜브 뮤직, 생성형 AI 음악 태그 도입: ‘AI 창작’으로 표기하며 금지하지 않음

YouTube Music은 2026년 10월부터 전 세계적으로 생성형 AI 음악 콘텐츠 표시 태그를 단계적으로 도입하며, YouTube 메인 사이트의 AI 생성 영상 표시 관행을 이어갑니다. 이 조치는 콘텐츠의 게시 중단이나 제한을 의미하는 것이 아니라, 창작 출처에 대한 투명성에 대한 사용자의 요구에 부응하기 위한 것입니다.

FLUX.3 이미지 클라인을 디퓨저에 환영합니다

FLUX.3 이미지 클라인을 디퓨저에 환영합니다

디퓨전 컨트롤러가 AI 이미지 생성을 어떻게 통합하고 간소화하는가

알고리즘 및 이론

일관된 장편 비디오 생성 자동화

생성형 AI

Gemini 3.8 텍스트 음성 변환 기능이 안녕이라고 말합니다

Gemini 3.8 텍스트 음성 변환 기능이 안녕이라고 말합니다