Stable Video Infinity: Oneindige-Lengte Videogeneratie met Foutrecycling

Stable Video Infinity: Infinite-Length Video Generation with Error Recycling

October 10, 2025

Auteurs: Wuyang Li, Wentao Pan, Po-Chien Luan, Yang Gao, Alexandre Alahi

cs.AI

Samenvatting

We stellen Stable Video Infinity (SVI) voor, dat in staat is om video's van oneindige lengte te genereren met een hoge temporele consistentie, geloofwaardige scènewisselingen en controleerbare streaming verhaallijnen. Terwijl bestaande methoden voor lange video's geprobeerd hebben om opgestapelde fouten te verminderen via handmatige anti-drifttechnieken (bijvoorbeeld aangepaste ruisschedulers, frame-ankering), blijven ze beperkt tot extrapolatie met één enkele prompt, wat homogene scènes met repetitieve bewegingen oplevert. Wij identificeren dat de fundamentele uitdaging verder gaat dan foutaccumulatie, naar een kritisch verschil tussen de trainingsaanname (het zien van schone data) en de autoregressieve realiteit tijdens testtijd (conditionering op zelf gegenereerde, foutgevoelige uitvoer). Om deze hypothesekloof te overbruggen, integreert SVI Error-Recycling Fine-Tuning, een nieuw type efficiënte training die de zelf gegenereerde fouten van de Diffusion Transformer (DiT) recycleert in superviserende prompts, waardoor DiT wordt aangemoedigd om actief zijn eigen fouten te identificeren en te corrigeren. Dit wordt bereikt door fouten te injecteren, te verzamelen en op te slaan via gesloten-lus recycling, waarbij autoregressief wordt geleerd van feedback met geïnjecteerde fouten. Specifiek doen we (i) historische fouten van DiT injecteren om schone inputs te beïnvloeden, waardoor foutgeaccumuleerde trajecten in flow matching worden gesimuleerd; (ii) voorspellingen efficiënt benaderen met éénstaps bidirectionele integratie en fouten berekenen met residuen; (iii) fouten dynamisch opslaan in replay-geheugen over gediscretiseerde tijdstappen, die worden herbemonsterd voor nieuwe input. SVI is in staat om video's te schalen van seconden naar oneindige duur zonder extra inferentiekosten, terwijl het compatibel blijft met diverse condities (bijvoorbeeld audio, skelet en tekststromen). We evalueren SVI op drie benchmarks, waaronder consistente, creatieve en conditionele instellingen, en verifiëren grondig zijn veelzijdigheid en state-of-the-art rol.

English

We propose Stable Video Infinity (SVI) that is able to generate infinite-length videos with high temporal consistency, plausible scene transitions, and controllable streaming storylines. While existing long-video methods attempt to mitigate accumulated errors via handcrafted anti-drifting (e.g., modified noise scheduler, frame anchoring), they remain limited to single-prompt extrapolation, producing homogeneous scenes with repetitive motions. We identify that the fundamental challenge extends beyond error accumulation to a critical discrepancy between the training assumption (seeing clean data) and the test-time autoregressive reality (conditioning on self-generated, error-prone outputs). To bridge this hypothesis gap, SVI incorporates Error-Recycling Fine-Tuning, a new type of efficient training that recycles the Diffusion Transformer (DiT)'s self-generated errors into supervisory prompts, thereby encouraging DiT to actively identify and correct its own errors. This is achieved by injecting, collecting, and banking errors through closed-loop recycling, autoregressively learning from error-injected feedback. Specifically, we (i) inject historical errors made by DiT to intervene on clean inputs, simulating error-accumulated trajectories in flow matching; (ii) efficiently approximate predictions with one-step bidirectional integration and calculate errors with residuals; (iii) dynamically bank errors into replay memory across discretized timesteps, which are resampled for new input. SVI is able to scale videos from seconds to infinite durations with no additional inference cost, while remaining compatible with diverse conditions (e.g., audio, skeleton, and text streams). We evaluate SVI on three benchmarks, including consistent, creative, and conditional settings, thoroughly verifying its versatility and state-of-the-art role.