Stable Video Infinity: Geração de Vídeos de Comprimento Infinito com Reciclagem de Erros

Stable Video Infinity: Infinite-Length Video Generation with Error Recycling

October 10, 2025

Autores: Wuyang Li, Wentao Pan, Po-Chien Luan, Yang Gao, Alexandre Alahi

cs.AI

Resumo

Propomos o Stable Video Infinity (SVI), capaz de gerar vídeos de duração infinita com alta consistência temporal, transições de cena plausíveis e narrativas de streaming controláveis. Enquanto os métodos existentes para vídeos longos tentam mitigar erros acumulados por meio de técnicas anti-deriva manuais (por exemplo, agendador de ruído modificado, ancoragem de quadros), eles permanecem limitados à extrapolação de um único prompt, produzindo cenas homogêneas com movimentos repetitivos. Identificamos que o desafio fundamental vai além da acumulação de erros, estendendo-se a uma discrepância crítica entre a suposição de treinamento (ver dados limpos) e a realidade autoregressiva em tempo de teste (condicionamento em saídas autogeradas e propensas a erros). Para preencher essa lacuna de hipótese, o SVI incorpora o Error-Recycling Fine-Tuning, um novo tipo de treinamento eficiente que recicla os erros autogerados pelo Diffusion Transformer (DiT) em prompts de supervisão, incentivando o DiT a identificar e corrigir ativamente seus próprios erros. Isso é alcançado por meio da injeção, coleta e armazenamento de erros em um ciclo fechado de reciclagem, aprendendo autoregressivamente com feedback de erros injetados. Especificamente, nós (i) injetamos erros históricos cometidos pelo DiT para intervir em entradas limpas, simulando trajetórias de erros acumulados no fluxo de correspondência; (ii) aproximamos eficientemente as previsões com integração bidirecional em uma etapa e calculamos os erros com resíduos; (iii) armazenamos dinamicamente os erros em uma memória de replay ao longo de etapas discretizadas, que são reamostradas para novas entradas. O SVI é capaz de escalar vídeos de segundos para durações infinitas sem custos adicionais de inferência, mantendo-se compatível com diversas condições (por exemplo, áudio, esqueleto e fluxos de texto). Avaliamos o SVI em três benchmarks, incluindo configurações consistentes, criativas e condicionais, verificando minuciosamente sua versatilidade e papel de estado da arte.

English

We propose Stable Video Infinity (SVI) that is able to generate infinite-length videos with high temporal consistency, plausible scene transitions, and controllable streaming storylines. While existing long-video methods attempt to mitigate accumulated errors via handcrafted anti-drifting (e.g., modified noise scheduler, frame anchoring), they remain limited to single-prompt extrapolation, producing homogeneous scenes with repetitive motions. We identify that the fundamental challenge extends beyond error accumulation to a critical discrepancy between the training assumption (seeing clean data) and the test-time autoregressive reality (conditioning on self-generated, error-prone outputs). To bridge this hypothesis gap, SVI incorporates Error-Recycling Fine-Tuning, a new type of efficient training that recycles the Diffusion Transformer (DiT)'s self-generated errors into supervisory prompts, thereby encouraging DiT to actively identify and correct its own errors. This is achieved by injecting, collecting, and banking errors through closed-loop recycling, autoregressively learning from error-injected feedback. Specifically, we (i) inject historical errors made by DiT to intervene on clean inputs, simulating error-accumulated trajectories in flow matching; (ii) efficiently approximate predictions with one-step bidirectional integration and calculate errors with residuals; (iii) dynamically bank errors into replay memory across discretized timesteps, which are resampled for new input. SVI is able to scale videos from seconds to infinite durations with no additional inference cost, while remaining compatible with diverse conditions (e.g., audio, skeleton, and text streams). We evaluate SVI on three benchmarks, including consistent, creative, and conditional settings, thoroughly verifying its versatility and state-of-the-art role.