Sci-Fi: Vincolo Simmetrico per l'Interpolazione di Fotogrammi

Sci-Fi: Symmetric Constraint for Frame Inbetweening

May 27, 2025

Autori: Liuhan Chen, Xiaodong Cun, Xiaoyu Li, Xianyi He, Shenghai Yuan, Jie Chen, Ying Shan, Li Yuan

cs.AI

Abstract

L'interpolazione di fotogrammi intermedi mira a sintetizzare sequenze video intermedie condizionate dai fotogrammi iniziali e finali forniti. I metodi attuali all'avanguardia estendono principalmente modelli di diffusione pre-addestrati su larga scala da immagine a video (I2V-DM) incorporando vincoli sul fotogramma finale attraverso un fine-tuning diretto o omettendo l'addestramento. Identifichiamo una limitazione critica nel loro design: l'inserimento del vincolo del fotogramma finale utilizza solitamente lo stesso meccanismo che originariamente imponeva il vincolo del fotogramma iniziale (singola immagine). Tuttavia, poiché i modelli I2V-DM originali sono adeguatamente addestrati in anticipo per la condizione del fotogramma iniziale, introdurre ingenuamente il vincolo del fotogramma finale con lo stesso meccanismo e con un addestramento specializzato molto meno (o addirittura nullo) probabilmente non può conferire al fotogramma finale un impatto sufficientemente forte sul contenuto intermedio come il fotogramma iniziale. Questa asimmetria nella forza di controllo dei due fotogrammi sul contenuto intermedio può portare a movimenti incoerenti o a un collasso dell'aspetto nei fotogrammi generati. Per raggiungere in modo efficiente vincoli simmetrici per i fotogrammi iniziali e finali, proponiamo un nuovo framework, denominato Sci-Fi, che applica un'inserzione più forte per il vincolo di una scala di addestramento ridotta. Nello specifico, gestisce il vincolo del fotogramma iniziale come in precedenza, mentre introduce il vincolo del fotogramma finale attraverso un meccanismo migliorato. Il nuovo meccanismo si basa su un modulo leggero ben progettato, chiamato EF-Net, che codifica solo il fotogramma finale e lo espande in caratteristiche temporali adattive per fotogramma, iniettate nel modello I2V-DM. Ciò rende il vincolo del fotogramma finale altrettanto forte di quello del fotogramma iniziale, consentendo a Sci-Fi di produrre transizioni più armoniose in vari scenari. Esperimenti estensivi dimostrano la superiorità del nostro Sci-Fi rispetto ad altre baseline.

English

Frame inbetweening aims to synthesize intermediate video sequences conditioned on the given start and end frames. Current state-of-the-art methods mainly extend large-scale pre-trained Image-to-Video Diffusion models (I2V-DMs) by incorporating end-frame constraints via directly fine-tuning or omitting training. We identify a critical limitation in their design: Their injections of the end-frame constraint usually utilize the same mechanism that originally imposed the start-frame (single image) constraint. However, since the original I2V-DMs are adequately trained for the start-frame condition in advance, naively introducing the end-frame constraint by the same mechanism with much less (even zero) specialized training probably can't make the end frame have a strong enough impact on the intermediate content like the start frame. This asymmetric control strength of the two frames over the intermediate content likely leads to inconsistent motion or appearance collapse in generated frames. To efficiently achieve symmetric constraints of start and end frames, we propose a novel framework, termed Sci-Fi, which applies a stronger injection for the constraint of a smaller training scale. Specifically, it deals with the start-frame constraint as before, while introducing the end-frame constraint by an improved mechanism. The new mechanism is based on a well-designed lightweight module, named EF-Net, which encodes only the end frame and expands it into temporally adaptive frame-wise features injected into the I2V-DM. This makes the end-frame constraint as strong as the start-frame constraint, enabling our Sci-Fi to produce more harmonious transitions in various scenarios. Extensive experiments prove the superiority of our Sci-Fi compared with other baselines.