Auto-Rubrica como Recompensa: De Preferências Implícitas a Critérios Gerativos Multimodais Explícitos

Resumo

Alinhar modelos generativos multimodais com preferências humanas exige sinais de recompensa que respeitem a estrutura composicional e multidimensional do julgamento humano. Abordagens predominantes de RLHF reduzem essa estrutura a rótulos escalares ou aos pares, colapsando preferências matizadas em proxies paramétricas opacas e expondo vulnerabilidades ao reward hacking. Embora métodos recentes de Rubricas como Recompensa (RaR) tentem recuperar essa estrutura por meio de critérios explícitos, gerar rubricas que sejam simultaneamente confiáveis, escaláveis e eficientes em termos de dados continua sendo um problema em aberto. Apresentamos o Auto-Rubric as Reward (ARR), uma estrutura que reformula a modelagem de recompensas, passando da otimização implícita de pesos para uma decomposição explícita baseada em critérios. Antes de qualquer comparação aos pares, o ARR externaliza o conhecimento de preferência internalizado de um VLM como rubricas específicas do prompt, traduzindo a intenção holística em dimensões de qualidade verificáveis de forma independente. Essa conversão da estrutura de preferência implícita em restrições inspecionáveis e interpretáveis suprime substancialmente os vieses de avaliação, incluindo o viés posicional, possibilitando tanto a implantação zero-shot quanto o condicionamento few-shot com supervisão mínima. Para estender esses ganhos ao treinamento generativo, propomos a Rubric Policy Optimization (RPO), que destila a avaliação multidimensional estruturada do ARR em uma recompensa binária robusta, substituindo a regressão escalar opaca por decisões de preferência condicionadas à rubrica que estabilizam os gradientes da política. Em benchmarks de geração de texto para imagem e edição de imagem, o ARR-RPO supera modelos de recompensa aos pares e avaliadores VLM, demonstrando que externalizar explicitamente o conhecimento de preferência implícito em rubricas estruturadas alcança um alinhamento multimodal mais confiável e eficiente em termos de dados, revelando que o gargalo é a ausência de uma interface fatorada, e não um déficit de conhecimento.

English

Aligning multimodal generative models with human preferences demands reward signals that respect the compositional, multi-dimensional structure of human judgment. Prevailing RLHF approaches reduce this structure to scalar or pairwise labels, collapsing nuanced preferences into opaque parametric proxies and exposing vulnerabilities to reward hacking. While recent Rubrics-as-Reward (RaR) methods attempt to recover this structure through explicit criteria, generating rubrics that are simultaneously reliable, scalable, and data-efficient remains an open problem. We introduce Auto-Rubric as Reward (ARR), a framework that reframes reward modeling from implicit weight optimization to explicit, criteria-based decomposition. Before any pairwise comparison, ARR externalizes a VLM's internalized preference knowledge as prompt-specific rubrics, translating holistic intent into independently verifiable quality dimensions. This conversion of implicit preference structure into inspectable, interpretable constraints substantially suppresses evaluation biases including positional bias, enabling both zero-shot deployment and few-shot conditioning on minimal supervision. To extend these gains into generative training, we propose Rubric Policy Optimization (RPO), which distills ARR's structured multi-dimensional evaluation into a robust binary reward, replacing opaque scalar regression with rubric-conditioned preference decisions that stabilize policy gradients. On text-to-image generation and image editing benchmarks, ARR-RPO outperforms pairwise reward models and VLM judges, demonstrating that explicitly externalizing implicit preference knowledge into structured rubrics achieves more reliable, data-efficient multimodal alignment, revealing that the bottleneck is the absence of a factorized interface, not a deficit of knowledge.