RewardDance: Escalonamento de Recompensas na Geração Visual

Resumo

Modelos de Recompensa (RMs) são fundamentais para melhorar modelos de geração por meio de Aprendizado por Reforço (RL), mas o paradigma de escalonamento de RMs na geração visual permanece amplamente inexplorado. Isso se deve principalmente a limitações fundamentais nas abordagens existentes: RMs baseados em CLIP sofrem com restrições arquitetônicas e de modalidade de entrada, enquanto as perdas de Bradley-Terry predominantes estão fundamentalmente desalinhadas com o mecanismo de previsão do próximo token dos Modelos de Visão e Linguagem (VLMs), dificultando o escalonamento eficaz. Mais criticamente, o processo de otimização de RLHF é prejudicado pelo problema de "Reward Hacking", onde os modelos exploram falhas no sinal de recompensa sem melhorar a qualidade real. Para enfrentar esses desafios, introduzimos o RewardDance, uma estrutura escalável de modelagem de recompensa que supera essas barreiras por meio de um novo paradigma de recompensa generativa. Ao reformular a pontuação de recompensa como a probabilidade do modelo prever um token "sim", indicando que a imagem gerada supera uma imagem de referência de acordo com critérios específicos, o RewardDance alinha intrinsecamente os objetivos de recompensa com as arquiteturas de VLMs. Esse alinhamento permite o escalonamento em duas dimensões: (1) Escalonamento de Modelo: Escalonamento sistemático de RMs até 26 bilhões de parâmetros; (2) Escalonamento de Contexto: Integração de instruções específicas da tarefa, exemplos de referência e raciocínio em cadeia (CoT). Experimentos extensivos demonstram que o RewardDance supera significativamente os métodos state-of-the-art em geração de texto para imagem, texto para vídeo e imagem para vídeo. Crucialmente, resolvemos o desafio persistente do "reward hacking": nossos RMs em larga escala exibem e mantêm alta variância de recompensa durante o ajuste fino de RL, comprovando sua resistência ao hacking e capacidade de produzir saídas diversas e de alta qualidade. Isso alivia consideravelmente o problema de colapso de modos que afeta modelos menores.

English

Reward Models (RMs) are critical for improving generation models via Reinforcement Learning (RL), yet the RM scaling paradigm in visual generation remains largely unexplored. It primarily due to fundamental limitations in existing approaches: CLIP-based RMs suffer from architectural and input modality constraints, while prevalent Bradley-Terry losses are fundamentally misaligned with the next-token prediction mechanism of Vision-Language Models (VLMs), hindering effective scaling. More critically, the RLHF optimization process is plagued by Reward Hacking issue, where models exploit flaws in the reward signal without improving true quality. To address these challenges, we introduce RewardDance, a scalable reward modeling framework that overcomes these barriers through a novel generative reward paradigm. By reformulating the reward score as the model's probability of predicting a "yes" token, indicating that the generated image outperforms a reference image according to specific criteria, RewardDance intrinsically aligns reward objectives with VLM architectures. This alignment unlocks scaling across two dimensions: (1) Model Scaling: Systematic scaling of RMs up to 26 billion parameters; (2) Context Scaling: Integration of task-specific instructions, reference examples, and chain-of-thought (CoT) reasoning. Extensive experiments demonstrate that RewardDance significantly surpasses state-of-the-art methods in text-to-image, text-to-video, and image-to-video generation. Crucially, we resolve the persistent challenge of "reward hacking": Our large-scale RMs exhibit and maintain high reward variance during RL fine-tuning, proving their resistance to hacking and ability to produce diverse, high-quality outputs. It greatly relieves the mode collapse problem that plagues smaller models.

RewardDance: Escalonamento de Recompensas na Geração Visual

RewardDance: Reward Scaling in Visual Generation

Resumo

Support