Stream-R1: Distilación de Recompensas Consciente de la Fiabilidad y la Perplejidad para la Generación de Vídeo en Streaming

Stream-R1: Reliability-Perplexity Aware Reward Distillation for Streaming Video Generation

May 5, 2026

Autores: Bin Wu, Mengqi Huang, Shaojin Wu, Weinan Jia, Yuxin Wang, Zhendong Mao, Yongdong Zhang

cs.AI

Resumen

La aceleración basada en destilación se ha convertido en fundamental para hacer prácticos los modelos de difusión de vídeo en streaming autoregresivos, siendo la destilación por correspondencia de distribuciones (DMD) la opción de facto. Sin embargo, los métodos existentes entrenan al estudiante para que coincida con la salida del profesor de manera indiscriminada, tratando cada rollout, fotograma y píxel como una supervisión igualmente fiable. Sostenemos que esto limita la calidad destilada, ya que pasa por alto dos ejes complementarios de varianza en la supervisión DMD: la Inter-Fiabilidad entre los rollouts del estudiante, cuya supervisión varía en fiabilidad, y la Intra-Perplejidad entre las regiones espaciales y los fotogramas temporales que contribuyen de manera desigual a dónde aún puede mejorarse la calidad. El objetivo, por tanto, confluye dos preguntas bajo un peso uniforme: si aprender de cada rollout y dónde concentrar la optimización dentro del mismo. Para abordar esto, proponemos Stream-R1, un marco de Destilación por Recompensa Consciente de la Fiabilidad-Perplejidad que repondera adaptativamente el objetivo de destilación a nivel de rollout y a nivel de elemento espacio-temporal mediante un único mecanismo compartido guiado por recompensas. A nivel de Inter-Fiabilidad, Stream-R1 reescala la pérdida de cada rollout mediante un exponencial de una puntuación de recompensa de vídeo preentrenada, de modo que los rollouts con supervisión fiable dominen la optimización. A nivel de Intra-Perplejidad, propaga hacia atrás el mismo modelo de recompensa para extraer la saliencia del gradiente por píxel, que se factoriza en pesos espaciales y temporales que concentran la presión de optimización en las regiones y fotogramas donde el refinamiento produce la mayor ganancia esperada. Un mecanismo de equilibrio adaptativo evita que cualquier eje de calidad domine en cuanto a calidad visual, calidad de movimiento y alineación con el texto. Stream-R1 logra mejoras consistentes en las tres dimensiones respecto a los baselines de destilación en benchmarks estándar de generación de vídeo en streaming, sin modificación arquitectónica ni coste adicional de inferencia.

English

Distillation-based acceleration has become foundational for making autoregressive streaming video diffusion models practical, with distribution matching distillation (DMD) as the de facto choice. Existing methods, however, train the student to match the teacher's output indiscriminately, treating every rollout, frame, and pixel as equally reliable supervision. We argue that this caps distilled quality, since it overlooks two complementary axes of variance in DMD supervision: Inter-Reliability across student rollouts whose supervision varies in reliability, and Intra-Perplexity across spatial regions and temporal frames that contribute unequally to where quality can still be improved. The objective thus conflates two questions under a uniform weight: whether to learn from each rollout, and where to concentrate optimization within it. To address this, we propose Stream-R1, a Reliability-Perplexity Aware Reward Distillation framework that adaptively reweights the distillation objective at both rollout and spatiotemporal-element levels through a single shared reward-guided mechanism. At the Inter-Reliability level, Stream-R1 rescales each rollout's loss by an exponential of a pretrained video reward score, so that rollouts with reliable supervision dominate optimization. At the Intra-Perplexity level, it back-propagates the same reward model to extract per-pixel gradient saliency, which is factored into spatial and temporal weights that concentrate optimization pressure on regions and frames where refinement yields the largest expected gain. An adaptive balancing mechanism prevents any single quality axis from dominating across visual quality, motion quality, and text alignment. Stream-R1 attains consistent improvements on all three dimensions over distillation baselines on standard streaming video generation benchmarks, without architectural modification or additional inference cost.