Самообучение: Преодоление разрыва между обучением и тестированием в авторегрессивной видеодиффузии

Self Forcing: Bridging the Train-Test Gap in Autoregressive Video Diffusion

June 9, 2025

Авторы: Xun Huang, Zhengqi Li, Guande He, Mingyuan Zhou, Eli Shechtman

cs.AI

Аннотация

Мы представляем Self Forcing — новую парадигму обучения для авторегрессионных моделей диффузии видео. Этот подход решает давнюю проблему смещения экспозиции, когда модели, обученные на контексте с истинными данными, должны генерировать последовательности, основываясь на своих собственных несовершенных выходах во время инференции. В отличие от предыдущих методов, которые удаляют шум из будущих кадров на основе контекстных кадров с истинными данными, Self Forcing генерирует каждый кадр, основываясь на ранее сгенерированных выходах, выполняя авторегрессионное развертывание с кэшированием ключей и значений (KV) во время обучения. Эта стратегия позволяет осуществлять контроль через целостную функцию потерь на уровне видео, которая напрямую оценивает качество всей сгенерированной последовательности, а не полагается исключительно на традиционные поточечные цели. Для обеспечения эффективности обучения мы используем модель диффузии с небольшим количеством шагов вместе со стратегией стохастического усечения градиента, что эффективно балансирует вычислительные затраты и производительность. Мы также вводим механизм скользящего KV-кэша, который позволяет эффективно выполнять авторегрессионную экстраполяцию видео. Многочисленные эксперименты демонстрируют, что наш подход обеспечивает генерацию потокового видео в реальном времени с задержкой менее секунды на одном GPU, при этом соответствуя или даже превосходя качество генерации значительно более медленных и некаузальных моделей диффузии. Сайт проекта: http://self-forcing.github.io/

English

We introduce Self Forcing, a novel training paradigm for autoregressive video diffusion models. It addresses the longstanding issue of exposure bias, where models trained on ground-truth context must generate sequences conditioned on their own imperfect outputs during inference. Unlike prior methods that denoise future frames based on ground-truth context frames, Self Forcing conditions each frame's generation on previously self-generated outputs by performing autoregressive rollout with key-value (KV) caching during training. This strategy enables supervision through a holistic loss at the video level that directly evaluates the quality of the entire generated sequence, rather than relying solely on traditional frame-wise objectives. To ensure training efficiency, we employ a few-step diffusion model along with a stochastic gradient truncation strategy, effectively balancing computational cost and performance. We further introduce a rolling KV cache mechanism that enables efficient autoregressive video extrapolation. Extensive experiments demonstrate that our approach achieves real-time streaming video generation with sub-second latency on a single GPU, while matching or even surpassing the generation quality of significantly slower and non-causal diffusion models. Project website: http://self-forcing.github.io/