Stream-R1: Betrouwbaarheid-Perplexiteit Bewuste Beloningsdistillatie voor Stroomvideo-generatie

Stream-R1: Reliability-Perplexity Aware Reward Distillation for Streaming Video Generation

May 5, 2026

Auteurs: Bin Wu, Mengqi Huang, Shaojin Wu, Weinan Jia, Yuxin Wang, Zhendong Mao, Yongdong Zhang

cs.AI

Samenvatting

Distillatiegebaseerde versnelling is fundamenteel geworden voor het praktisch toepasbaar maken van autoregressieve streaming videodiffusiemodellen, waarbij distribution matching distillation (DMD) de de facto keuze is. Bestaande methoden trainen de student echter om de output van de leraar ongedifferentieerd na te bootsen, waarbij elke rollout, elk frame en elke pixel als even betrouwbare supervisie wordt behandeld. Wij stellen dat dit de gedistilleerde kwaliteit beperkt, omdat het twee complementaire assen van variantie in DMD-supervisie over het hoofd ziet: Inter-Betrouwbaarheid tussen student-rollouts waarvan de supervisie in betrouwbaarheid varieert, en Intra-Perplexiteit tussen ruimtelijke regio's en temporele frames die ongelijk bijdragen aan waar kwaliteit nog verbeterd kan worden. Het doelverwart dus twee vragen onder een uniform gewicht: of men van elke rollout moet leren, en waar men de optimalisatie binnen die rollout moet concentreren. Om dit aan te pakken, stellen wij Stream-R1 voor, een Reliability-Perplexity Aware Reward Distillation-kader dat het distillatiedoel adaptief herweegt op zowel rollout- als spatiotemporeel-elementniveau via een enkel gedeeld beloningsgeleid mechanisme. Op het Inter-Betrouwbaarheidsniveau herschaalt Stream-R1 het verlies van elke rollout met een exponent van een voorgetrainde videobeloningsscore, zodat rollouts met betrouwbare supervisie de optimalisatie domineren. Op het Intra-Perplexiteitsniveau back-propageert het hetzelfde beloningsmodel om per-pixel gradient saliency te extraheren, wat wordt verwerkt in ruimtelijke en temporele gewichten die de optimalisatiedruk concentreren op regio's en frames waar verfijning de grootste verwachte winst oplevert. Een adaptief balancerend mechanisme voorkomt dat een enkele kwaliteitsas domineert over visuele kwaliteit, bewegingskwaliteit en tekstuitlijning. Stream-R1 behaalt consistente verbeteringen op alle drie de dimensies ten opzichte van distillatie-baselines op standaard streaming video-generatie benchmarks, zonder architecturale aanpassing of extra inferentiekosten.

English

Distillation-based acceleration has become foundational for making autoregressive streaming video diffusion models practical, with distribution matching distillation (DMD) as the de facto choice. Existing methods, however, train the student to match the teacher's output indiscriminately, treating every rollout, frame, and pixel as equally reliable supervision. We argue that this caps distilled quality, since it overlooks two complementary axes of variance in DMD supervision: Inter-Reliability across student rollouts whose supervision varies in reliability, and Intra-Perplexity across spatial regions and temporal frames that contribute unequally to where quality can still be improved. The objective thus conflates two questions under a uniform weight: whether to learn from each rollout, and where to concentrate optimization within it. To address this, we propose Stream-R1, a Reliability-Perplexity Aware Reward Distillation framework that adaptively reweights the distillation objective at both rollout and spatiotemporal-element levels through a single shared reward-guided mechanism. At the Inter-Reliability level, Stream-R1 rescales each rollout's loss by an exponential of a pretrained video reward score, so that rollouts with reliable supervision dominate optimization. At the Intra-Perplexity level, it back-propagates the same reward model to extract per-pixel gradient saliency, which is factored into spatial and temporal weights that concentrate optimization pressure on regions and frames where refinement yields the largest expected gain. An adaptive balancing mechanism prevents any single quality axis from dominating across visual quality, motion quality, and text alignment. Stream-R1 attains consistent improvements on all three dimensions over distillation baselines on standard streaming video generation benchmarks, without architectural modification or additional inference cost.