Stream-R1: Надежность-Перплексия Осознанная Дистилляция Вознаграждения для Генерации Видео в Режиме Потока

Stream-R1: Reliability-Perplexity Aware Reward Distillation for Streaming Video Generation

May 5, 2026

Авторы: Bin Wu, Mengqi Huang, Shaojin Wu, Weinan Jia, Yuxin Wang, Zhendong Mao, Yongdong Zhang

cs.AI

Аннотация

Дистилляционная акселерация стала основополагающим подходом для обеспечения практической применимости авторегрессионных потоковых видео-диффузионных моделей, где дистилляция с согласованием распределений (DMD) является де-факто стандартом. Однако существующие методы обучают студенческую модель безразборно воспроизводить выход учителя, рассматривая каждый rollout, кадр и пиксель как одинаково надежный источник supervision. Мы утверждаем, что это ограничивает качество дистилляции, поскольку игнорирует две взаимодополняющие оси вариативности в DMD-обучении: *межнадежность* между rollout'ами студента, чей supervision различается по надежности, и *внутри-перплексию* между пространственными областями и временными кадрами, которые вносят неравный вклад в зоны, где качество еще можно улучшить. Таким образом, задача смешивает два вопроса под единым весом: *стоит ли обучаться на каждом rollout'е* и *на чем сконцентрировать оптимизацию внутри него*. Для решения этой проблемы мы предлагаем **Stream-R1** — фреймворк дистилляции с вознаграждением, учитывающий надежность и перплексию, который адаптивно перевзвешивает цель дистилляции как на уровне rollout'ов, так и на уровне пространственно-временных элементов с помощью единого механизма, управляемого вознаграждением. На уровне *межнадежности* Stream-R1 масштабирует потери каждого rollout'а по экспоненте от предобученной оценки вознаграждения для видео, так что rollout'ы с надежным supervision доминируют в оптимизации. На уровне *внутри-перплексии* он использует обратное распространение через ту же модель вознаграждения для извлечения градиентной значимости для каждого пикселя, которая разлагается на пространственные и временные веса, концентрирующие давление оптимизации на областях и кадрах, где доработка дает наибольший ожидаемый выигрыш. Адаптивный балансирующий механизм предотвращает доминирование любой отдельной оси качества — визуального качества, качества движения и текстового соответствия. Stream-R1 обеспечивает последовательное улучшение по всем трем измерениям по сравнению с базовыми методами дистилляции на стандартных бенчмарках генерации потокового видео без модификации архитектуры или дополнительных затрат на вывод.

English

Distillation-based acceleration has become foundational for making autoregressive streaming video diffusion models practical, with distribution matching distillation (DMD) as the de facto choice. Existing methods, however, train the student to match the teacher's output indiscriminately, treating every rollout, frame, and pixel as equally reliable supervision. We argue that this caps distilled quality, since it overlooks two complementary axes of variance in DMD supervision: Inter-Reliability across student rollouts whose supervision varies in reliability, and Intra-Perplexity across spatial regions and temporal frames that contribute unequally to where quality can still be improved. The objective thus conflates two questions under a uniform weight: whether to learn from each rollout, and where to concentrate optimization within it. To address this, we propose Stream-R1, a Reliability-Perplexity Aware Reward Distillation framework that adaptively reweights the distillation objective at both rollout and spatiotemporal-element levels through a single shared reward-guided mechanism. At the Inter-Reliability level, Stream-R1 rescales each rollout's loss by an exponential of a pretrained video reward score, so that rollouts with reliable supervision dominate optimization. At the Intra-Perplexity level, it back-propagates the same reward model to extract per-pixel gradient saliency, which is factored into spatial and temporal weights that concentrate optimization pressure on regions and frames where refinement yields the largest expected gain. An adaptive balancing mechanism prevents any single quality axis from dominating across visual quality, motion quality, and text alignment. Stream-R1 attains consistent improvements on all three dimensions over distillation baselines on standard streaming video generation benchmarks, without architectural modification or additional inference cost.