Frame In-N-Out: Неограниченная управляемая генерация видео из изображений
Frame In-N-Out: Unbounded Controllable Image-to-Video Generation
May 27, 2025
Авторы: Boyang Wang, Xuweiyi Chen, Matheus Gadelha, Zezhou Cheng
cs.AI
Аннотация
Управляемость, временная согласованность и синтез деталей остаются наиболее важными задачами в генерации видео. В данной работе мы сосредоточились на широко используемой, но недостаточно изученной кинематографической технике, известной как "Frame In and Frame Out". В частности, начиная с генерации видео из изображений, пользователи могут управлять объектами на изображении, чтобы они естественно покидали сцену или предоставляли новые идентификационные ссылки для входа в сцену, руководствуясь заданной пользователем траекторией движения. Для поддержки этой задачи мы представляем новый набор данных, созданный полуавтоматически, комплексный протокол оценки, ориентированный на данную задачу, и эффективную архитектуру Diffusion Transformer с сохранением идентичности и управлением движением. Наши результаты оценки показывают, что предложенный подход значительно превосходит существующие базовые методы.
English
Controllability, temporal coherence, and detail synthesis remain the most
critical challenges in video generation. In this paper, we focus on a commonly
used yet underexplored cinematic technique known as Frame In and Frame Out.
Specifically, starting from image-to-video generation, users can control the
objects in the image to naturally leave the scene or provide breaking new
identity references to enter the scene, guided by user-specified motion
trajectory. To support this task, we introduce a new dataset curated
semi-automatically, a comprehensive evaluation protocol targeting this setting,
and an efficient identity-preserving motion-controllable video Diffusion
Transformer architecture. Our evaluation shows that our proposed approach
significantly outperforms existing baselines.Summary
AI-Generated Summary