Frame In-N-Out: Onbeperkte Beheersbare Beeld-naar-Video Generatie

Samenvatting

Beheersbaarheid, temporele coherentie en detailsynthese blijven de meest kritieke uitdagingen in videogeneratie. In dit artikel richten we ons op een veelgebruikte maar onderbelichte cinematische techniek, bekend als Frame In en Frame Out. Specifiek, uitgaande van beeld-naar-video-generatie, kunnen gebruikers de objecten in het beeld besturen om op natuurlijke wijze de scène te verlaten of nieuwe identiteitsreferenties te introduceren om de scène te betreden, geleid door een door de gebruiker gespecificeerde bewegingsbaan. Om deze taak te ondersteunen, introduceren we een nieuwe dataset die semi-automatisch is samengesteld, een uitgebreid evaluatieprotocol gericht op deze setting, en een efficiënte identiteitsbehoudende beweging-beheersbare video Diffusion Transformer-architectuur. Onze evaluatie toont aan dat onze voorgestelde aanpak de bestaande referentiemethoden aanzienlijk overtreft.

English

Controllability, temporal coherence, and detail synthesis remain the most critical challenges in video generation. In this paper, we focus on a commonly used yet underexplored cinematic technique known as Frame In and Frame Out. Specifically, starting from image-to-video generation, users can control the objects in the image to naturally leave the scene or provide breaking new identity references to enter the scene, guided by user-specified motion trajectory. To support this task, we introduce a new dataset curated semi-automatically, a comprehensive evaluation protocol targeting this setting, and an efficient identity-preserving motion-controllable video Diffusion Transformer architecture. Our evaluation shows that our proposed approach significantly outperforms existing baselines.

Frame In-N-Out: Onbeperkte Beheersbare Beeld-naar-Video Generatie

Frame In-N-Out: Unbounded Controllable Image-to-Video Generation

Samenvatting

Support