Stable Video Infinity: Generación de Videos de Longitud Infinita con Reciclaje de Errores

Stable Video Infinity: Infinite-Length Video Generation with Error Recycling

October 10, 2025

Autores: Wuyang Li, Wentao Pan, Po-Chien Luan, Yang Gao, Alexandre Alahi

cs.AI

Resumen

Proponemos Stable Video Infinity (SVI), capaz de generar videos de longitud infinita con alta consistencia temporal, transiciones de escenas plausibles y narrativas de transmisión controlables. Mientras que los métodos existentes para videos largos intentan mitigar los errores acumulados mediante técnicas anti-deriva diseñadas manualmente (por ejemplo, programadores de ruido modificados, anclaje de fotogramas), siguen limitados a la extrapolación de un solo estímulo, produciendo escenas homogéneas con movimientos repetitivos. Identificamos que el desafío fundamental va más allá de la acumulación de errores, extendiéndose a una discrepancia crítica entre la suposición de entrenamiento (observar datos limpios) y la realidad autoregresiva en tiempo de prueba (condicionar sobre salidas autogeneradas y propensas a errores). Para cerrar esta brecha de hipótesis, SVI incorpora el Ajuste Fino de Reciclaje de Errores, un nuevo tipo de entrenamiento eficiente que recicla los errores autogenerados del Transformador de Difusión (DiT) en estímulos supervisores, incentivando así a DiT a identificar y corregir activamente sus propios errores. Esto se logra inyectando, recolectando y almacenando errores mediante un reciclaje en bucle cerrado, aprendiendo autoregresivamente de retroalimentación con errores inyectados. Específicamente, (i) inyectamos errores históricos cometidos por DiT para intervenir en entradas limpias, simulando trayectorias con errores acumulados en el emparejamiento de flujo; (ii) aproximamos eficientemente las predicciones con integración bidireccional de un solo paso y calculamos los errores con residuos; (iii) almacenamos dinámicamente los errores en memoria de repetición a lo largo de pasos de tiempo discretizados, que se remuestrean para nuevas entradas. SVI es capaz de escalar videos desde segundos hasta duraciones infinitas sin costos adicionales de inferencia, manteniendo compatibilidad con diversas condiciones (por ejemplo, flujos de audio, esqueleto y texto). Evaluamos SVI en tres puntos de referencia, incluyendo configuraciones consistentes, creativas y condicionales, verificando exhaustivamente su versatilidad y su papel de vanguardia.

English

We propose Stable Video Infinity (SVI) that is able to generate infinite-length videos with high temporal consistency, plausible scene transitions, and controllable streaming storylines. While existing long-video methods attempt to mitigate accumulated errors via handcrafted anti-drifting (e.g., modified noise scheduler, frame anchoring), they remain limited to single-prompt extrapolation, producing homogeneous scenes with repetitive motions. We identify that the fundamental challenge extends beyond error accumulation to a critical discrepancy between the training assumption (seeing clean data) and the test-time autoregressive reality (conditioning on self-generated, error-prone outputs). To bridge this hypothesis gap, SVI incorporates Error-Recycling Fine-Tuning, a new type of efficient training that recycles the Diffusion Transformer (DiT)'s self-generated errors into supervisory prompts, thereby encouraging DiT to actively identify and correct its own errors. This is achieved by injecting, collecting, and banking errors through closed-loop recycling, autoregressively learning from error-injected feedback. Specifically, we (i) inject historical errors made by DiT to intervene on clean inputs, simulating error-accumulated trajectories in flow matching; (ii) efficiently approximate predictions with one-step bidirectional integration and calculate errors with residuals; (iii) dynamically bank errors into replay memory across discretized timesteps, which are resampled for new input. SVI is able to scale videos from seconds to infinite durations with no additional inference cost, while remaining compatible with diverse conditions (e.g., audio, skeleton, and text streams). We evaluate SVI on three benchmarks, including consistent, creative, and conditional settings, thoroughly verifying its versatility and state-of-the-art role.