Sci-Fi: Restricción Simétrica para la Interpolación de Fotogramas

Sci-Fi: Symmetric Constraint for Frame Inbetweening

May 27, 2025

Autores: Liuhan Chen, Xiaodong Cun, Xiaoyu Li, Xianyi He, Shenghai Yuan, Jie Chen, Ying Shan, Li Yuan

cs.AI

Resumen

El intercalado de fotogramas tiene como objetivo sintetizar secuencias de video intermedias condicionadas por los fotogramas inicial y final dados. Los métodos actuales más avanzados principalmente extienden modelos de Difusión de Imagen a Video (I2V-DMs) preentrenados a gran escala, incorporando restricciones del fotograma final mediante ajuste fino directo u omitiendo el entrenamiento. Identificamos una limitación crítica en su diseño: sus inyecciones de la restricción del fotograma final suelen utilizar el mismo mecanismo que originalmente impuso la restricción del fotograma inicial (una sola imagen). Sin embargo, dado que los I2V-DMs originales ya están adecuadamente entrenados para la condición del fotograma inicial, introducir la restricción del fotograma final mediante el mismo mecanismo con mucho menos (incluso ningún) entrenamiento especializado probablemente no puede hacer que el fotograma final tenga un impacto lo suficientemente fuerte en el contenido intermedio como el fotograma inicial. Esta asimetría en la fuerza de control de los dos fotogramas sobre el contenido intermedio probablemente conduce a movimientos inconsistentes o colapso de apariencia en los fotogramas generados. Para lograr eficientemente restricciones simétricas de los fotogramas inicial y final, proponemos un nuevo marco, denominado Sci-Fi, que aplica una inyección más fuerte para la restricción de una escala de entrenamiento más pequeña. Específicamente, maneja la restricción del fotograma inicial como antes, mientras introduce la restricción del fotograma final mediante un mecanismo mejorado. El nuevo mecanismo se basa en un módulo ligero bien diseñado, llamado EF-Net, que codifica solo el fotograma final y lo expande en características adaptativas temporales por fotograma inyectadas en el I2V-DM. Esto hace que la restricción del fotograma final sea tan fuerte como la del fotograma inicial, permitiendo que nuestro Sci-Fi produzca transiciones más armoniosas en varios escenarios. Experimentos extensivos demuestran la superioridad de nuestro Sci-Fi en comparación con otras líneas base.

English

Frame inbetweening aims to synthesize intermediate video sequences conditioned on the given start and end frames. Current state-of-the-art methods mainly extend large-scale pre-trained Image-to-Video Diffusion models (I2V-DMs) by incorporating end-frame constraints via directly fine-tuning or omitting training. We identify a critical limitation in their design: Their injections of the end-frame constraint usually utilize the same mechanism that originally imposed the start-frame (single image) constraint. However, since the original I2V-DMs are adequately trained for the start-frame condition in advance, naively introducing the end-frame constraint by the same mechanism with much less (even zero) specialized training probably can't make the end frame have a strong enough impact on the intermediate content like the start frame. This asymmetric control strength of the two frames over the intermediate content likely leads to inconsistent motion or appearance collapse in generated frames. To efficiently achieve symmetric constraints of start and end frames, we propose a novel framework, termed Sci-Fi, which applies a stronger injection for the constraint of a smaller training scale. Specifically, it deals with the start-frame constraint as before, while introducing the end-frame constraint by an improved mechanism. The new mechanism is based on a well-designed lightweight module, named EF-Net, which encodes only the end frame and expands it into temporally adaptive frame-wise features injected into the I2V-DM. This makes the end-frame constraint as strong as the start-frame constraint, enabling our Sci-Fi to produce more harmonious transitions in various scenarios. Extensive experiments prove the superiority of our Sci-Fi compared with other baselines.