RewardDance: Escalado de Recompensas en Generación Visual

RewardDance: Reward Scaling in Visual Generation

September 10, 2025

Autores: Jie Wu, Yu Gao, Zilyu Ye, Ming Li, Liang Li, Hanzhong Guo, Jie Liu, Zeyue Xue, Xiaoxia Hou, Wei Liu, Yan Zeng, Weilin Huang

cs.AI

Resumen

Los Modelos de Recompensa (RMs) son fundamentales para mejorar los modelos de generación mediante Aprendizaje por Refuerzo (RL), sin embargo, el paradigma de escalado de RMs en generación visual sigue siendo en gran parte inexplorado. Esto se debe principalmente a limitaciones fundamentales en los enfoques existentes: los RMs basados en CLIP sufren restricciones arquitectónicas y de modalidad de entrada, mientras que las funciones de pérdida Bradley-Terry prevalentes están fundamentalmente desalineadas con el mecanismo de predicción del siguiente token de los Modelos de Visión-Lenguaje (VLMs), lo que dificulta un escalado efectivo. Más críticamente, el proceso de optimización de RLHF se ve afectado por el problema de "Reward Hacking", donde los modelos explotan fallas en la señal de recompensa sin mejorar la calidad real. Para abordar estos desafíos, presentamos RewardDance, un marco escalable de modelado de recompensas que supera estas barreras mediante un nuevo paradigma de recompensa generativa. Al reformular la puntuación de recompensa como la probabilidad del modelo de predecir un token "sí", indicando que la imagen generada supera a una imagen de referencia según criterios específicos, RewardDance alinea intrínsecamente los objetivos de recompensa con las arquitecturas de VLM. Esta alineación permite el escalado en dos dimensiones: (1) Escalado de Modelos: Escalado sistemático de RMs hasta 26 mil millones de parámetros; (2) Escalado de Contexto: Integración de instrucciones específicas de tarea, ejemplos de referencia y razonamiento en cadena (CoT). Experimentos extensos demuestran que RewardDance supera significativamente a los métodos más avanzados en generación de texto a imagen, texto a video e imagen a video. Crucialmente, resolvemos el desafío persistente del "reward hacking": Nuestros RMs a gran escala exhiben y mantienen una alta varianza de recompensa durante el ajuste fino de RL, demostrando su resistencia al hacking y su capacidad para producir salidas diversas y de alta calidad. Esto alivia en gran medida el problema de colapso de modos que afecta a los modelos más pequeños.

English

Reward Models (RMs) are critical for improving generation models via Reinforcement Learning (RL), yet the RM scaling paradigm in visual generation remains largely unexplored. It primarily due to fundamental limitations in existing approaches: CLIP-based RMs suffer from architectural and input modality constraints, while prevalent Bradley-Terry losses are fundamentally misaligned with the next-token prediction mechanism of Vision-Language Models (VLMs), hindering effective scaling. More critically, the RLHF optimization process is plagued by Reward Hacking issue, where models exploit flaws in the reward signal without improving true quality. To address these challenges, we introduce RewardDance, a scalable reward modeling framework that overcomes these barriers through a novel generative reward paradigm. By reformulating the reward score as the model's probability of predicting a "yes" token, indicating that the generated image outperforms a reference image according to specific criteria, RewardDance intrinsically aligns reward objectives with VLM architectures. This alignment unlocks scaling across two dimensions: (1) Model Scaling: Systematic scaling of RMs up to 26 billion parameters; (2) Context Scaling: Integration of task-specific instructions, reference examples, and chain-of-thought (CoT) reasoning. Extensive experiments demonstrate that RewardDance significantly surpasses state-of-the-art methods in text-to-image, text-to-video, and image-to-video generation. Crucially, we resolve the persistent challenge of "reward hacking": Our large-scale RMs exhibit and maintain high reward variance during RL fine-tuning, proving their resistance to hacking and ability to produce diverse, high-quality outputs. It greatly relieves the mode collapse problem that plagues smaller models.