Frame In-N-Out: Geração Ilimitada e Controlável de Vídeo a partir de Imagem
Frame In-N-Out: Unbounded Controllable Image-to-Video Generation
May 27, 2025
Autores: Boyang Wang, Xuweiyi Chen, Matheus Gadelha, Zezhou Cheng
cs.AI
Resumo
Controlabilidade, coerência temporal e síntese de detalhes continuam sendo os desafios mais críticos na geração de vídeos. Neste artigo, focamos em uma técnica cinematográfica comumente usada, mas pouco explorada, conhecida como Frame In e Frame Out. Especificamente, partindo da geração de imagem para vídeo, os usuários podem controlar os objetos na imagem para sair naturalmente da cena ou fornecer novas referências de identidade para entrar na cena, guiados por uma trajetória de movimento especificada pelo usuário. Para apoiar essa tarefa, introduzimos um novo conjunto de dados curado de forma semi-automática, um protocolo de avaliação abrangente direcionado a esse cenário e uma arquitetura eficiente de Transformador de Difusão para vídeo com controle de movimento e preservação de identidade. Nossa avaliação mostra que a abordagem proposta supera significativamente as linhas de base existentes.
English
Controllability, temporal coherence, and detail synthesis remain the most
critical challenges in video generation. In this paper, we focus on a commonly
used yet underexplored cinematic technique known as Frame In and Frame Out.
Specifically, starting from image-to-video generation, users can control the
objects in the image to naturally leave the scene or provide breaking new
identity references to enter the scene, guided by user-specified motion
trajectory. To support this task, we introduce a new dataset curated
semi-automatically, a comprehensive evaluation protocol targeting this setting,
and an efficient identity-preserving motion-controllable video Diffusion
Transformer architecture. Our evaluation shows that our proposed approach
significantly outperforms existing baselines.