Stream-R1 : Distillation de récompense consciente de la fiabilité et de la perplexité pour la génération de vidéo en flux

Stream-R1: Reliability-Perplexity Aware Reward Distillation for Streaming Video Generation

May 5, 2026

Auteurs: Bin Wu, Mengqi Huang, Shaojin Wu, Weinan Jia, Yuxin Wang, Zhendong Mao, Yongdong Zhang

cs.AI

Résumé

L'accélération par distillation est devenue fondamentale pour rendre pratiques les modèles de diffusion vidéo en flux continu autoregressifs, la distillation par alignement de distribution (DMD) étant le choix de facto. Cependant, les méthodes existantes entraînent l'élève à correspondre indistinctement à la sortie du professeur, traitant chaque séquence, frame et pixel comme une supervision également fiable. Nous soutenons que cela plafonne la qualité distillé, car cela néglige deux axes complémentaires de variance dans la supervision DMD : la Fiabilité Inter entre les séquences de l'élève dont la supervision varie en fiabilité, et la Perplexité Intra entre les régions spatiales et les frames temporelles qui contribuent inégalement aux endroits où la qualité peut encore être améliorée. L'objectif confond ainsi deux questions sous un poids uniforme : faut-il apprendre de chaque séquence, et où concentrer l'optimisation en son sein. Pour résoudre ce problème, nous proposons Stream-R1, un cadre de Distillation par Récompense avec Prise en compte de la Fiabilité et de la Perplexité, qui repondère adaptativement l'objectif de distillation aux niveaux de la séquence et des éléments spatio-temporels via un mécanisme unique guidé par la récompense. Au niveau de la Fiabilité Inter, Stream-R1 renormalise la perte de chaque séquence par un exponentiel d'un score de récompense vidéo préentraîné, afin que les séquences avec une supervision fiable dominent l'optimisation. Au niveau de la Perplexité Intra, il rétropropage le même modèle de récompense pour extraire une saillance du gradient par pixel, qui est intégrée dans des poids spatiaux et temporels qui concentrent la pression d'optimisation sur les régions et les frames où un raffinement produit le gain attendu le plus important. Un mécanisme d'équilibrage adaptatif empêche tout axe de qualité unique de dominer across la qualité visuelle, la qualité du mouvement et l'alignement textuel. Stream-R1 obtient des améliorations constantes sur les trois dimensions par rapport aux lignes de base de distillation sur les benchmarks standards de génération vidéo en flux continu, sans modification architecturale ni coût d'inférence supplémentaire.

English

Distillation-based acceleration has become foundational for making autoregressive streaming video diffusion models practical, with distribution matching distillation (DMD) as the de facto choice. Existing methods, however, train the student to match the teacher's output indiscriminately, treating every rollout, frame, and pixel as equally reliable supervision. We argue that this caps distilled quality, since it overlooks two complementary axes of variance in DMD supervision: Inter-Reliability across student rollouts whose supervision varies in reliability, and Intra-Perplexity across spatial regions and temporal frames that contribute unequally to where quality can still be improved. The objective thus conflates two questions under a uniform weight: whether to learn from each rollout, and where to concentrate optimization within it. To address this, we propose Stream-R1, a Reliability-Perplexity Aware Reward Distillation framework that adaptively reweights the distillation objective at both rollout and spatiotemporal-element levels through a single shared reward-guided mechanism. At the Inter-Reliability level, Stream-R1 rescales each rollout's loss by an exponential of a pretrained video reward score, so that rollouts with reliable supervision dominate optimization. At the Intra-Perplexity level, it back-propagates the same reward model to extract per-pixel gradient saliency, which is factored into spatial and temporal weights that concentrate optimization pressure on regions and frames where refinement yields the largest expected gain. An adaptive balancing mechanism prevents any single quality axis from dominating across visual quality, motion quality, and text alignment. Stream-R1 attains consistent improvements on all three dimensions over distillation baselines on standard streaming video generation benchmarks, without architectural modification or additional inference cost.