Frame In-N-Out: Неограниченная управляемая генерация видео из изображений

Frame In-N-Out: Unbounded Controllable Image-to-Video Generation

May 27, 2025

Авторы: Boyang Wang, Xuweiyi Chen, Matheus Gadelha, Zezhou Cheng

cs.AI

Аннотация

Управляемость, временная согласованность и синтез деталей остаются наиболее важными задачами в генерации видео. В данной работе мы сосредоточились на широко используемой, но недостаточно изученной кинематографической технике, известной как "Frame In and Frame Out". В частности, начиная с генерации видео из изображений, пользователи могут управлять объектами на изображении, чтобы они естественно покидали сцену или предоставляли новые идентификационные ссылки для входа в сцену, руководствуясь заданной пользователем траекторией движения. Для поддержки этой задачи мы представляем новый набор данных, созданный полуавтоматически, комплексный протокол оценки, ориентированный на данную задачу, и эффективную архитектуру Diffusion Transformer с сохранением идентичности и управлением движением. Наши результаты оценки показывают, что предложенный подход значительно превосходит существующие базовые методы.

English

Controllability, temporal coherence, and detail synthesis remain the most critical challenges in video generation. In this paper, we focus on a commonly used yet underexplored cinematic technique known as Frame In and Frame Out. Specifically, starting from image-to-video generation, users can control the objects in the image to naturally leave the scene or provide breaking new identity references to enter the scene, guided by user-specified motion trajectory. To support this task, we introduce a new dataset curated semi-automatically, a comprehensive evaluation protocol targeting this setting, and an efficient identity-preserving motion-controllable video Diffusion Transformer architecture. Our evaluation shows that our proposed approach significantly outperforms existing baselines.