Stable Video Infinity: Unendliche Videogenerierung mit Fehlerrecycling

Stable Video Infinity: Infinite-Length Video Generation with Error Recycling

October 10, 2025

papers.authors: Wuyang Li, Wentao Pan, Po-Chien Luan, Yang Gao, Alexandre Alahi

cs.AI

papers.abstract

Wir schlagen Stable Video Infinity (SVI) vor, das in der Lage ist, unendlich lange Videos mit hoher zeitlicher Konsistenz, plausiblen Szenenübergängen und kontrollierbaren Streaming-Handlungssträngen zu generieren. Während bestehende Methoden für lange Videos versuchen, akkumulierte Fehler durch manuell erstellte Anti-Drifting-Maßnahmen (z. B. modifizierte Rauschplanung, Frame-Verankerung) zu mildern, bleiben sie auf die Extrapolation mit einem einzigen Prompt beschränkt und erzeugen homogene Szenen mit repetitiven Bewegungen. Wir identifizieren, dass die grundlegende Herausforderung über die Fehlerakkumulation hinausgeht und eine kritische Diskrepanz zwischen der Trainingsannahme (das Sehen von sauberen Daten) und der autoregressiven Realität zur Testzeit (die Bedingung auf selbst generierten, fehleranfälligen Ausgaben) besteht. Um diese Hypothesenlücke zu überbrücken, integriert SVI das Error-Recycling Fine-Tuning, eine neue Art des effizienten Trainings, das die selbst generierten Fehler des Diffusion Transformers (DiT) in überwachte Prompts recycelt und damit den DiT dazu anregt, aktiv seine eigenen Fehler zu identifizieren und zu korrigieren. Dies wird durch das Injizieren, Sammeln und Speichern von Fehlern in einem geschlossenen Recyclingkreislauf erreicht, wobei autoregressiv aus fehlerinjiziertem Feedback gelernt wird. Konkret (i) injizieren wir historische Fehler, die vom DiT gemacht wurden, in saubere Eingaben, um fehlerakkumulierte Trajektorien im Flow Matching zu simulieren; (ii) approximieren wir effizient Vorhersagen mit einstufiger bidirektionaler Integration und berechnen Fehler mit Residuen; (iii) speichern wir Fehler dynamisch in einem Replay-Speicher über diskretisierte Zeitschritte, die für neue Eingaben neu abgetastet werden. SVI ist in der Lage, Videos von Sekunden auf unendliche Dauer zu skalieren, ohne zusätzliche Inferenzkosten, und bleibt dabei kompatibel mit diversen Bedingungen (z. B. Audio, Skelett und Textströme). Wir evaluieren SVI anhand von drei Benchmarks, einschließlich konsistenter, kreativer und bedingter Einstellungen, und verifizieren gründlich seine Vielseitigkeit und seine Rolle als State-of-the-Art-Methode.

English

We propose Stable Video Infinity (SVI) that is able to generate infinite-length videos with high temporal consistency, plausible scene transitions, and controllable streaming storylines. While existing long-video methods attempt to mitigate accumulated errors via handcrafted anti-drifting (e.g., modified noise scheduler, frame anchoring), they remain limited to single-prompt extrapolation, producing homogeneous scenes with repetitive motions. We identify that the fundamental challenge extends beyond error accumulation to a critical discrepancy between the training assumption (seeing clean data) and the test-time autoregressive reality (conditioning on self-generated, error-prone outputs). To bridge this hypothesis gap, SVI incorporates Error-Recycling Fine-Tuning, a new type of efficient training that recycles the Diffusion Transformer (DiT)'s self-generated errors into supervisory prompts, thereby encouraging DiT to actively identify and correct its own errors. This is achieved by injecting, collecting, and banking errors through closed-loop recycling, autoregressively learning from error-injected feedback. Specifically, we (i) inject historical errors made by DiT to intervene on clean inputs, simulating error-accumulated trajectories in flow matching; (ii) efficiently approximate predictions with one-step bidirectional integration and calculate errors with residuals; (iii) dynamically bank errors into replay memory across discretized timesteps, which are resampled for new input. SVI is able to scale videos from seconds to infinite durations with no additional inference cost, while remaining compatible with diverse conditions (e.g., audio, skeleton, and text streams). We evaluate SVI on three benchmarks, including consistent, creative, and conditional settings, thoroughly verifying its versatility and state-of-the-art role.