RewardDance: Belohnungsskalierung in der visuellen Generierung

RewardDance: Reward Scaling in Visual Generation

September 10, 2025

papers.authors: Jie Wu, Yu Gao, Zilyu Ye, Ming Li, Liang Li, Hanzhong Guo, Jie Liu, Zeyue Xue, Xiaoxia Hou, Wei Liu, Yan Zeng, Weilin Huang

cs.AI

papers.abstract

Reward-Modelle (RMs) sind entscheidend für die Verbesserung von Generierungsmodellen durch Reinforcement Learning (RL), doch das Skalierungsparadigma für RMs in der visuellen Generierung bleibt weitgehend unerforscht. Dies liegt hauptsächlich an grundlegenden Einschränkungen bestehender Ansätze: CLIP-basierte RMs leiden unter architektonischen und Eingabemodalitätsbeschränkungen, während verbreitete Bradley-Terry-Verlustfunktionen grundlegend nicht mit dem Next-Token-Predictions-Mechanismus von Vision-Language-Modellen (VLMs) übereinstimmen, was eine effektive Skalierung behindert. Noch kritischer ist, dass der RLHF-Optimierungsprozess von dem Problem des Reward Hackings geplagt wird, bei dem Modelle Schwächen im Belohnungssignal ausnutzen, ohne die tatsächliche Qualität zu verbessern. Um diese Herausforderungen zu bewältigen, führen wir RewardDance ein, ein skalierbares Belohnungsmodellierungs-Framework, das diese Barrieren durch ein neuartiges generatives Belohnungsparadigma überwindet. Indem der Belohnungswert als die Wahrscheinlichkeit des Modells reformuliert wird, ein „Ja“-Token vorherzusagen, das anzeigt, dass das generierte Bild ein Referenzbild gemäß spezifischer Kriterien übertrifft, aligniert RewardDance die Belohnungsziele intrinsisch mit VLM-Architekturen. Diese Ausrichtung ermöglicht die Skalierung in zwei Dimensionen: (1) Modellskalierung: Systematische Skalierung von RMs bis zu 26 Milliarden Parametern; (2) Kontextskalierung: Integration von aufgaben-spezifischen Anweisungen, Referenzbeispielen und Chain-of-Thought (CoT)-Argumentation. Umfangreiche Experimente zeigen, dass RewardDance state-of-the-art-Methoden in der Text-zu-Bild-, Text-zu-Video- und Bild-zu-Video-Generierung deutlich übertrifft. Entscheidend ist, dass wir das anhaltende Problem des „Reward Hackings“ lösen: Unsere großskaligen RMs zeigen und erhalten während des RL-Fine-Tunings eine hohe Belohnungsvarianz, was ihre Resistenz gegen Hacking und ihre Fähigkeit zur Erzeugung vielfältiger, hochwertiger Ergebnisse beweist. Dies lindert das Problem des Modus-Zusammenbruchs erheblich, das kleinere Modelle plagt.

English

Reward Models (RMs) are critical for improving generation models via Reinforcement Learning (RL), yet the RM scaling paradigm in visual generation remains largely unexplored. It primarily due to fundamental limitations in existing approaches: CLIP-based RMs suffer from architectural and input modality constraints, while prevalent Bradley-Terry losses are fundamentally misaligned with the next-token prediction mechanism of Vision-Language Models (VLMs), hindering effective scaling. More critically, the RLHF optimization process is plagued by Reward Hacking issue, where models exploit flaws in the reward signal without improving true quality. To address these challenges, we introduce RewardDance, a scalable reward modeling framework that overcomes these barriers through a novel generative reward paradigm. By reformulating the reward score as the model's probability of predicting a "yes" token, indicating that the generated image outperforms a reference image according to specific criteria, RewardDance intrinsically aligns reward objectives with VLM architectures. This alignment unlocks scaling across two dimensions: (1) Model Scaling: Systematic scaling of RMs up to 26 billion parameters; (2) Context Scaling: Integration of task-specific instructions, reference examples, and chain-of-thought (CoT) reasoning. Extensive experiments demonstrate that RewardDance significantly surpasses state-of-the-art methods in text-to-image, text-to-video, and image-to-video generation. Crucially, we resolve the persistent challenge of "reward hacking": Our large-scale RMs exhibit and maintain high reward variance during RL fine-tuning, proving their resistance to hacking and ability to produce diverse, high-quality outputs. It greatly relieves the mode collapse problem that plagues smaller models.