Stream-R1: Distilação de Recompensa Consciente de Confiabilidade-Perplexidade para Geração de Vídeo em Streaming

Resumo

A aceleração baseada em destilação tornou-se fundamental para tornar práticos os modelos de difusão de vídeo em streaming autoregressivos, sendo a destilação por correspondência de distribuição (DMD) a escolha padrão. No entanto, os métodos existentes treinam o aluno para corresponder à saída do professor indiscriminadamente, tratando cada rollout, frame e pixel como supervisão igualmente confiável. Argumentamos que isso limita a qualidade destilada, pois ignora dois eixos complementares de variância na supervisão DMD: a Confiabilidade-Inter entre rollouts do aluno, cuja supervisão varia em confiabilidade, e a Perplexidade-Intra entre regiões espaciais e frames temporais que contribuem desigualmente para onde a qualidade ainda pode ser melhorada. O objetivo, portanto, confunde duas questões sob um peso uniforme: se aprender com cada rollout e onde concentrar a otimização dentro dele. Para resolver isso, propomos o Stream-R1, uma estrutura de Destilação por Recompensa com Consciência de Confiabilidade-Perplexidade que repondera adaptativamente o objetivo de destilação tanto em nível de rollout quanto em nível de elemento espaço-temporal através de um único mecanismo compartilhado guiado por recompensa. No nível de Confiabilidade-Inter, o Stream-R1 redimensiona a perda de cada rollout por um exponencial de uma pontuação de recompensa de vídeo pré-treinada, para que rollouts com supervisão confiável dominem a otimização. No nível de Perplexidade-Intra, ele retropropaga o mesmo modelo de recompensa para extrair saliência de gradiente por pixel, que é fatorada em pesos espaciais e temporais que concentram a pressão de otimização em regiões e frames onde o refinamento produz o maior ganho esperado. Um mecanismo de balanceamento adaptativo impede que qualquer eixo de qualidade único domine entre qualidade visual, qualidade de movimento e alinhamento textual. O Stream-R1 atinge melhorias consistentes em todas as três dimensões em relação às linhas de base de destilação em benchmarks padrão de geração de vídeo em streaming, sem modificação arquitetural ou custo de inferência adicional.

English

Distillation-based acceleration has become foundational for making autoregressive streaming video diffusion models practical, with distribution matching distillation (DMD) as the de facto choice. Existing methods, however, train the student to match the teacher's output indiscriminately, treating every rollout, frame, and pixel as equally reliable supervision. We argue that this caps distilled quality, since it overlooks two complementary axes of variance in DMD supervision: Inter-Reliability across student rollouts whose supervision varies in reliability, and Intra-Perplexity across spatial regions and temporal frames that contribute unequally to where quality can still be improved. The objective thus conflates two questions under a uniform weight: whether to learn from each rollout, and where to concentrate optimization within it. To address this, we propose Stream-R1, a Reliability-Perplexity Aware Reward Distillation framework that adaptively reweights the distillation objective at both rollout and spatiotemporal-element levels through a single shared reward-guided mechanism. At the Inter-Reliability level, Stream-R1 rescales each rollout's loss by an exponential of a pretrained video reward score, so that rollouts with reliable supervision dominate optimization. At the Intra-Perplexity level, it back-propagates the same reward model to extract per-pixel gradient saliency, which is factored into spatial and temporal weights that concentrate optimization pressure on regions and frames where refinement yields the largest expected gain. An adaptive balancing mechanism prevents any single quality axis from dominating across visual quality, motion quality, and text alignment. Stream-R1 attains consistent improvements on all three dimensions over distillation baselines on standard streaming video generation benchmarks, without architectural modification or additional inference cost.