Modelo de Recompensa Unificado para Compreensão e Geração Multimodal

Unified Reward Model for Multimodal Understanding and Generation

March 7, 2025

Autores: Yibin Wang, Yuhang Zang, Hao Li, Cheng Jin, Jiaqi Wang

cs.AI

Resumo

Avanços recentes no alinhamento de preferências humanas têm aprimorado significativamente a geração e compreensão multimodal. Uma abordagem fundamental é o treinamento de modelos de recompensa para orientar a otimização de preferências. No entanto, os modelos existentes são frequentemente específicos para tarefas, limitando sua adaptabilidade em diversas aplicações visuais. Também argumentamos que aprender a avaliar múltiplas tarefas de forma conjunta pode promover um efeito sinérgico, onde a melhoria na compreensão de imagens aprimora a avaliação da geração de imagens, e a avaliação refinada de imagens beneficia a avaliação de vídeos por meio de uma melhor análise de quadros. Para isso, este artigo propõe o UnifiedReward, o primeiro modelo de recompensa unificado para avaliação de compreensão e geração multimodal, permitindo tanto a classificação em pares quanto a pontuação pontual, que pode ser empregada para o alinhamento de preferências de modelos visuais. Especificamente, (1) primeiro desenvolvemos o UnifiedReward em nosso conjunto de dados de preferências humanas em larga escala, incluindo tarefas de geração e compreensão de imagens e vídeos. (2) Em seguida, ele é utilizado para construir automaticamente dados de pares de preferência de alta qualidade com base nos modelos visuais, filtrando gradualmente suas saídas por meio de classificação em pares e seleção pontual. (3) Por fim, esses dados são usados para o alinhamento de preferências por meio da Otimização Direta de Preferências (DPO). Os resultados experimentais demonstram que o aprendizado conjunto para avaliar diversas tarefas visuais pode levar a benefícios mútuos substanciais, e aplicamos nosso pipeline tanto para tarefas de compreensão/geração de imagens quanto de vídeos, melhorando significativamente o desempenho em cada domínio.

English

Recent advances in human preference alignment have significantly enhanced multimodal generation and understanding. A key approach is training reward models to guide preference optimization. However, existing models are often task-specific, limiting their adaptability across diverse visual applications. We also argue that jointly learning to assess multiple tasks may foster a synergistic effect, where improved image understanding enhances image generation assessment, and refined image evaluation benefits video assessment through better frame analysis. To this end, this paper proposes UnifiedReward, the first unified reward model for multimodal understanding and generation assessment, enabling both pairwise ranking and pointwise scoring, which can be employed for vision model preference alignment. Specifically, (1) we first develop UnifiedReward on our constructed large-scale human preference dataset, including both image and video generation/understanding tasks. (2) Then, it is utilized to automatically construct high-quality preference pair data based on the vision models, fine-gradually filtering their outputs through pair ranking and point sifting. (3) Finally, these data are used for their preference alignment through Direct Preference Optimization (DPO). Experimental results demonstrate that joint learning to assess diverse visual tasks can lead to substantial mutual benefits and we apply our pipeline to both image and video understanding/generation tasks, significantly improving the performance in each domain.