Sci-Fi: Symmetrische Beschränkung für Frame-Interpolation

Sci-Fi: Symmetric Constraint for Frame Inbetweening

May 27, 2025

Autoren: Liuhan Chen, Xiaodong Cun, Xiaoyu Li, Xianyi He, Shenghai Yuan, Jie Chen, Ying Shan, Li Yuan

cs.AI

Zusammenfassung

Frame Inbetweening zielt darauf ab, Zwischensequenzen in Videos zu synthetisieren, die durch die gegebenen Start- und Endframes bedingt sind. Aktuelle State-of-the-Art-Methoden erweitern hauptsächlich groß angelegte, vortrainierte Image-to-Video-Diffusionsmodelle (I2V-DMs), indem sie Endframe-Bedingungen durch direktes Fine-Tuning oder das Weglassen von Training einbeziehen. Wir identifizieren eine kritische Einschränkung in ihrem Design: Die Einbindung der Endframe-Bedingung nutzt üblicherweise denselben Mechanismus, der ursprünglich die Startframe-Bedingung (einzelnes Bild) auferlegt hat. Da die ursprünglichen I2V-DMs jedoch bereits ausreichend für die Startframe-Bedingung trainiert wurden, führt die naive Einführung der Endframe-Bedingung durch denselben Mechanismus mit deutlich weniger (oder sogar keiner) spezialisierten Trainingsdauer wahrscheinlich nicht dazu, dass der Endframe einen ebenso starken Einfluss auf den Zwischeninhalt hat wie der Startframe. Diese asymmetrische Kontrollstärke der beiden Frames über den Zwischeninhalt führt wahrscheinlich zu inkonsistenter Bewegung oder einem Zusammenbruch des Erscheinungsbilds in den generierten Frames. Um eine symmetrische Bedingung von Start- und Endframes effizient zu erreichen, schlagen wir ein neuartiges Framework vor, genannt Sci-Fi, das eine stärkere Einbindung für die Bedingung eines kleineren Trainingsumfangs vorsieht. Konkret behandelt es die Startframe-Bedingung wie bisher, während die Endframe-Bedingung durch einen verbesserten Mechanismus eingeführt wird. Der neue Mechanismus basiert auf einem gut durchdachten, leichtgewichtigen Modul, genannt EF-Net, das nur den Endframe kodiert und ihn in zeitlich adaptive Frame-spezifische Merkmale erweitert, die in das I2V-DM injiziert werden. Dies macht die Endframe-Bedingung ebenso stark wie die Startframe-Bedingung und ermöglicht es unserem Sci-Fi, harmonischere Übergänge in verschiedenen Szenarien zu erzeugen. Umfangreiche Experimente belegen die Überlegenheit unseres Sci-Fi im Vergleich zu anderen Baselines.

English

Frame inbetweening aims to synthesize intermediate video sequences conditioned on the given start and end frames. Current state-of-the-art methods mainly extend large-scale pre-trained Image-to-Video Diffusion models (I2V-DMs) by incorporating end-frame constraints via directly fine-tuning or omitting training. We identify a critical limitation in their design: Their injections of the end-frame constraint usually utilize the same mechanism that originally imposed the start-frame (single image) constraint. However, since the original I2V-DMs are adequately trained for the start-frame condition in advance, naively introducing the end-frame constraint by the same mechanism with much less (even zero) specialized training probably can't make the end frame have a strong enough impact on the intermediate content like the start frame. This asymmetric control strength of the two frames over the intermediate content likely leads to inconsistent motion or appearance collapse in generated frames. To efficiently achieve symmetric constraints of start and end frames, we propose a novel framework, termed Sci-Fi, which applies a stronger injection for the constraint of a smaller training scale. Specifically, it deals with the start-frame constraint as before, while introducing the end-frame constraint by an improved mechanism. The new mechanism is based on a well-designed lightweight module, named EF-Net, which encodes only the end frame and expands it into temporally adaptive frame-wise features injected into the I2V-DM. This makes the end-frame constraint as strong as the start-frame constraint, enabling our Sci-Fi to produce more harmonious transitions in various scenarios. Extensive experiments prove the superiority of our Sci-Fi compared with other baselines.