RewardDance: Beloningsschaling in Visuele Generatie

Samenvatting

Beloningsmodellen (RMs) zijn cruciaal voor het verbeteren van generatiemodellen via Reinforcement Learning (RL), maar het schaalparadigma van RMs in visuele generatie blijft grotendeels onontgonnen. Dit komt voornamelijk door fundamentele beperkingen in bestaande benaderingen: CLIP-gebaseerde RMs lijden onder architectonische en inputmodaliteitsbeperkingen, terwijl veelgebruikte Bradley-Terry-verliezen fundamenteel niet in lijn zijn met het volgende-token-voorspellingsmechanisme van Vision-Language Models (VLMs), wat effectieve schaalbaarheid belemmert. Nog kritischer is dat het RLHF-optimalisatieproces wordt geplaagd door het probleem van "Reward Hacking", waarbij modellen gebreken in het beloningssignaal uitbuiten zonder de werkelijke kwaliteit te verbeteren. Om deze uitdagingen aan te pakken, introduceren we RewardDance, een schaalbaar beloningsmodelraamwerk dat deze barrières overwint via een nieuw generatief beloningsparadigma. Door de beloningsscore te herformuleren als de waarschijnlijkheid van het model om een "ja"-token te voorspellen, wat aangeeft dat de gegenereerde afbeelding een referentieafbeelding overtreft volgens specifieke criteria, stemt RewardDance de beloningsdoelen intrinsiek af op VLM-architecturen. Deze afstemming maakt schaalbaarheid mogelijk in twee dimensies: (1) Modelschaal: Systematische schaalbaarheid van RMs tot 26 miljard parameters; (2) Contextschaal: Integratie van taakspecifieke instructies, referentievoorbeelden en chain-of-thought (CoT)-redenering. Uitgebreide experimenten tonen aan dat RewardDance state-of-the-art methoden aanzienlijk overtreft in tekst-naar-afbeelding, tekst-naar-video en afbeelding-naar-video generatie. Cruciaal is dat we het hardnekkige probleem van "reward hacking" oplossen: Onze grootschalige RMs vertonen en behouden een hoge beloningsvariantie tijdens RL-finetuning, wat hun weerstand tegen hacking en hun vermogen om diverse, hoogwaardige outputs te produceren bewijst. Dit verlicht het modus-collapse-probleem dat kleinere modellen teistert aanzienlijk.

English

Reward Models (RMs) are critical for improving generation models via Reinforcement Learning (RL), yet the RM scaling paradigm in visual generation remains largely unexplored. It primarily due to fundamental limitations in existing approaches: CLIP-based RMs suffer from architectural and input modality constraints, while prevalent Bradley-Terry losses are fundamentally misaligned with the next-token prediction mechanism of Vision-Language Models (VLMs), hindering effective scaling. More critically, the RLHF optimization process is plagued by Reward Hacking issue, where models exploit flaws in the reward signal without improving true quality. To address these challenges, we introduce RewardDance, a scalable reward modeling framework that overcomes these barriers through a novel generative reward paradigm. By reformulating the reward score as the model's probability of predicting a "yes" token, indicating that the generated image outperforms a reference image according to specific criteria, RewardDance intrinsically aligns reward objectives with VLM architectures. This alignment unlocks scaling across two dimensions: (1) Model Scaling: Systematic scaling of RMs up to 26 billion parameters; (2) Context Scaling: Integration of task-specific instructions, reference examples, and chain-of-thought (CoT) reasoning. Extensive experiments demonstrate that RewardDance significantly surpasses state-of-the-art methods in text-to-image, text-to-video, and image-to-video generation. Crucially, we resolve the persistent challenge of "reward hacking": Our large-scale RMs exhibit and maintain high reward variance during RL fine-tuning, proving their resistance to hacking and ability to produce diverse, high-quality outputs. It greatly relieves the mode collapse problem that plagues smaller models.

RewardDance: Beloningsschaling in Visuele Generatie

RewardDance: Reward Scaling in Visual Generation

Samenvatting

Support