Frame In-N-Out: 제한 없는 제어 가능한 이미지-투-비디오 생성

Frame In-N-Out: Unbounded Controllable Image-to-Video Generation

May 27, 2025

저자: Boyang Wang, Xuweiyi Chen, Matheus Gadelha, Zezhou Cheng

cs.AI

초록

제어 가능성, 시간적 일관성, 세부 합성은 여전히 비디오 생성에서 가장 중요한 과제로 남아 있습니다. 본 논문에서는 널리 사용되지만 충분히 탐구되지 않은 시네마틱 기법인 '프레임 인 및 프레임 아웃'에 초점을 맞춥니다. 구체적으로, 이미지-투-비디오 생성에서 출발하여 사용자는 사용자 지정 모션 궤적을 기반으로 이미지 내 객체가 자연스럽게 장면을 떠나거나 새로운 정체성 참조를 제공하여 장면에 들어가도록 제어할 수 있습니다. 이 작업을 지원하기 위해, 우리는 반자동으로 큐레이팅된 새로운 데이터셋, 이 설정을 대상으로 한 포괄적인 평가 프로토콜, 그리고 효율적인 정체성 보존 모션 제어 가능 비디오 Diffusion Transformer 아키텍처를 소개합니다. 평가 결과, 우리가 제안한 접근 방식이 기존 베이스라인을 크게 능가하는 것으로 나타났습니다.

English

Controllability, temporal coherence, and detail synthesis remain the most critical challenges in video generation. In this paper, we focus on a commonly used yet underexplored cinematic technique known as Frame In and Frame Out. Specifically, starting from image-to-video generation, users can control the objects in the image to naturally leave the scene or provide breaking new identity references to enter the scene, guided by user-specified motion trajectory. To support this task, we introduce a new dataset curated semi-automatically, a comprehensive evaluation protocol targeting this setting, and an efficient identity-preserving motion-controllable video Diffusion Transformer architecture. Our evaluation shows that our proposed approach significantly outperforms existing baselines.