Sci-Fi: Symmetrische Beperking voor Frame Tusseninvoeging

Sci-Fi: Symmetric Constraint for Frame Inbetweening

May 27, 2025

Auteurs: Liuhan Chen, Xiaodong Cun, Xiaoyu Li, Xianyi He, Shenghai Yuan, Jie Chen, Ying Shan, Li Yuan

cs.AI

Samenvatting

Frame inbetweening heeft als doel tussenliggende videosequenties te synthetiseren, gebaseerd op de gegeven start- en eindframes. De huidige state-of-the-art methoden breiden voornamelijk grootschalige, vooraf getrainde Image-to-Video Diffusion-modellen (I2V-DMs) uit door eindframe-beperkingen te integreren via directe fine-tuning of door training over te slaan. Wij identificeren een kritieke beperking in hun ontwerp: hun injectie van de eindframe-beperking maakt meestal gebruik van hetzelfde mechanisme dat oorspronkelijk de startframe-beperking (enkele afbeelding) oplegde. Aangezien de oorspronkelijke I2V-DMs echter al voldoende getraind zijn voor de startframe-conditie, kan het naïef introduceren van de eindframe-beperking via hetzelfde mechanisme met veel minder (of zelfs geen) gespecialiseerde training waarschijnlijk niet zorgen voor een even sterke impact van het eindframe op de tussenliggende inhoud als het startframe. Deze asymmetrische controle van de twee frames over de tussenliggende inhoud leidt waarschijnlijk tot inconsistente beweging of uiterlijk in de gegenereerde frames. Om efficiënt symmetrische beperkingen van start- en eindframes te bereiken, stellen we een nieuw framework voor, genaamd Sci-Fi, dat een sterkere injectie toepast voor de beperking van een kleinere trainingsschaal. Specifiek behandelt het de startframe-beperking zoals voorheen, terwijl het de eindframe-beperking introduceert via een verbeterd mechanisme. Het nieuwe mechanisme is gebaseerd op een goed ontworpen lichtgewicht module, genaamd EF-Net, die alleen het eindframe codeert en uitbreidt naar temporeel adaptieve frame-gewijze kenmerken die worden geïnjecteerd in de I2V-DM. Hierdoor wordt de eindframe-beperking even sterk als de startframe-beperking, waardoor onze Sci-Fi harmonieuzere overgangen kan produceren in verschillende scenario's. Uitgebreide experimenten bewijzen de superioriteit van onze Sci-Fi in vergelijking met andere baselines.

English

Frame inbetweening aims to synthesize intermediate video sequences conditioned on the given start and end frames. Current state-of-the-art methods mainly extend large-scale pre-trained Image-to-Video Diffusion models (I2V-DMs) by incorporating end-frame constraints via directly fine-tuning or omitting training. We identify a critical limitation in their design: Their injections of the end-frame constraint usually utilize the same mechanism that originally imposed the start-frame (single image) constraint. However, since the original I2V-DMs are adequately trained for the start-frame condition in advance, naively introducing the end-frame constraint by the same mechanism with much less (even zero) specialized training probably can't make the end frame have a strong enough impact on the intermediate content like the start frame. This asymmetric control strength of the two frames over the intermediate content likely leads to inconsistent motion or appearance collapse in generated frames. To efficiently achieve symmetric constraints of start and end frames, we propose a novel framework, termed Sci-Fi, which applies a stronger injection for the constraint of a smaller training scale. Specifically, it deals with the start-frame constraint as before, while introducing the end-frame constraint by an improved mechanism. The new mechanism is based on a well-designed lightweight module, named EF-Net, which encodes only the end frame and expands it into temporally adaptive frame-wise features injected into the I2V-DM. This makes the end-frame constraint as strong as the start-frame constraint, enabling our Sci-Fi to produce more harmonious transitions in various scenarios. Extensive experiments prove the superiority of our Sci-Fi compared with other baselines.