RewardDance: Scalatura delle Ricompense nella Generazione Visiva

RewardDance: Reward Scaling in Visual Generation

September 10, 2025

Autori: Jie Wu, Yu Gao, Zilyu Ye, Ming Li, Liang Li, Hanzhong Guo, Jie Liu, Zeyue Xue, Xiaoxia Hou, Wei Liu, Yan Zeng, Weilin Huang

cs.AI

Abstract

I Modelli di Ricompensa (RMs) sono cruciali per migliorare i modelli di generazione tramite Apprendimento per Rinforzo (RL), tuttavia il paradigma di scalabilità degli RMs nella generazione visiva rimane ampiamente inesplorato. Ciò è principalmente dovuto a limitazioni fondamentali negli approcci esistenti: gli RMs basati su CLIP soffrono di vincoli architetturali e di modalità di input, mentre le perdite Bradley-Terry prevalenti sono fondamentalmente disallineate con il meccanismo di previsione del token successivo dei Modelli Visione-Linguaggio (VLMs), ostacolando una scalabilità efficace. Ancora più critico, il processo di ottimizzazione RLHF è afflitto dal problema del "Reward Hacking", in cui i modelli sfruttano difetti nel segnale di ricompensa senza migliorare la qualità effettiva. Per affrontare queste sfide, introduciamo RewardDance, un framework scalabile di modellazione della ricompensa che supera queste barriere attraverso un nuovo paradigma di ricompensa generativa. Riformulando il punteggio di ricompensa come la probabilità del modello di prevedere un token "sì", indicante che l'immagine generata supera un'immagine di riferimento secondo criteri specifici, RewardDance allinea intrinsecamente gli obiettivi di ricompensa con le architetture VLM. Questo allineamento sblocca la scalabilità su due dimensioni: (1) Scalabilità del Modello: Scalabilità sistematica degli RMs fino a 26 miliardi di parametri; (2) Scalabilità del Contesto: Integrazione di istruzioni specifiche per il compito, esempi di riferimento e ragionamento a catena di pensiero (CoT). Esperimenti estensivi dimostrano che RewardDance supera significativamente i metodi all'avanguardia nella generazione da testo a immagine, da testo a video e da immagine a video. In modo cruciale, risolviamo la persistente sfida del "reward hacking": i nostri RMs su larga scala mostrano e mantengono un'elevata varianza della ricompensa durante la messa a punto RL, dimostrando la loro resistenza all'hacking e la capacità di produrre output diversificati e di alta qualità. Ciò allevia notevolmente il problema del collasso modale che affligge i modelli più piccoli.

English

Reward Models (RMs) are critical for improving generation models via Reinforcement Learning (RL), yet the RM scaling paradigm in visual generation remains largely unexplored. It primarily due to fundamental limitations in existing approaches: CLIP-based RMs suffer from architectural and input modality constraints, while prevalent Bradley-Terry losses are fundamentally misaligned with the next-token prediction mechanism of Vision-Language Models (VLMs), hindering effective scaling. More critically, the RLHF optimization process is plagued by Reward Hacking issue, where models exploit flaws in the reward signal without improving true quality. To address these challenges, we introduce RewardDance, a scalable reward modeling framework that overcomes these barriers through a novel generative reward paradigm. By reformulating the reward score as the model's probability of predicting a "yes" token, indicating that the generated image outperforms a reference image according to specific criteria, RewardDance intrinsically aligns reward objectives with VLM architectures. This alignment unlocks scaling across two dimensions: (1) Model Scaling: Systematic scaling of RMs up to 26 billion parameters; (2) Context Scaling: Integration of task-specific instructions, reference examples, and chain-of-thought (CoT) reasoning. Extensive experiments demonstrate that RewardDance significantly surpasses state-of-the-art methods in text-to-image, text-to-video, and image-to-video generation. Crucially, we resolve the persistent challenge of "reward hacking": Our large-scale RMs exhibit and maintain high reward variance during RL fine-tuning, proving their resistance to hacking and ability to produce diverse, high-quality outputs. It greatly relieves the mode collapse problem that plagues smaller models.