Stable Video Infinity: Генерация видео бесконечной длины с переработкой ошибок

Stable Video Infinity: Infinite-Length Video Generation with Error Recycling

October 10, 2025

Авторы: Wuyang Li, Wentao Pan, Po-Chien Luan, Yang Gao, Alexandre Alahi

cs.AI

Аннотация

Мы представляем Stable Video Infinity (SVI), способный генерировать видео бесконечной длины с высокой временной согласованностью, правдоподобными переходами между сценами и управляемыми сюжетными линиями. В то время как существующие методы для создания длинных видео пытаются смягчить накопленные ошибки с помощью ручных антидрейфовых техник (например, модифицированного планировщика шума или привязки кадров), они остаются ограниченными экстраполяцией по одному запросу, создавая однородные сцены с повторяющимися движениями. Мы выявили, что фундаментальная проблема выходит за рамки накопления ошибок и заключается в критическом несоответствии между предположением при обучении (работа с чистыми данными) и реальностью авторегрессивного тестирования (условие на основе самостоятельно сгенерированных, подверженных ошибкам выходов). Чтобы преодолеть этот разрыв, SVI включает в себя Error-Recycling Fine-Tuning — новый тип эффективного обучения, который перерабатывает ошибки, сгенерированные Diffusion Transformer (DiT), в обучающие подсказки, тем самым побуждая DiT активно идентифицировать и исправлять свои собственные ошибки. Это достигается за счет внедрения, сбора и сохранения ошибок через замкнутый цикл переработки, авторегрессивно обучаясь на основе обратной связи с внедренными ошибками. В частности, мы (i) внедряем исторические ошибки, допущенные DiT, чтобы вмешиваться в чистые входные данные, моделируя траектории с накопленными ошибками в потоковом сопоставлении; (ii) эффективно аппроксимируем предсказания с помощью одношаговой двунаправленной интеграции и вычисляем ошибки через остатки; (iii) динамически сохраняем ошибки в памяти воспроизведения на дискретизированных временных шагах, которые повторно используются для новых входных данных. SVI способен масштабировать видео от секунд до бесконечной длительности без дополнительных затрат на вывод, оставаясь совместимым с разнообразными условиями (например, аудио, скелет и текстовые потоки). Мы оцениваем SVI на трех тестовых наборах, включая согласованные, творческие и условные сценарии, тщательно проверяя его универсальность и передовую роль.

English

We propose Stable Video Infinity (SVI) that is able to generate infinite-length videos with high temporal consistency, plausible scene transitions, and controllable streaming storylines. While existing long-video methods attempt to mitigate accumulated errors via handcrafted anti-drifting (e.g., modified noise scheduler, frame anchoring), they remain limited to single-prompt extrapolation, producing homogeneous scenes with repetitive motions. We identify that the fundamental challenge extends beyond error accumulation to a critical discrepancy between the training assumption (seeing clean data) and the test-time autoregressive reality (conditioning on self-generated, error-prone outputs). To bridge this hypothesis gap, SVI incorporates Error-Recycling Fine-Tuning, a new type of efficient training that recycles the Diffusion Transformer (DiT)'s self-generated errors into supervisory prompts, thereby encouraging DiT to actively identify and correct its own errors. This is achieved by injecting, collecting, and banking errors through closed-loop recycling, autoregressively learning from error-injected feedback. Specifically, we (i) inject historical errors made by DiT to intervene on clean inputs, simulating error-accumulated trajectories in flow matching; (ii) efficiently approximate predictions with one-step bidirectional integration and calculate errors with residuals; (iii) dynamically bank errors into replay memory across discretized timesteps, which are resampled for new input. SVI is able to scale videos from seconds to infinite durations with no additional inference cost, while remaining compatible with diverse conditions (e.g., audio, skeleton, and text streams). We evaluate SVI on three benchmarks, including consistent, creative, and conditional settings, thoroughly verifying its versatility and state-of-the-art role.