Auto-Rubric comme récompense : des préférences implicites aux critères explicites multimodaux génératifs

Résumé

L'alignement des modèles génératifs multimodaux sur les préférences humaines exige des signaux de récompense qui respectent la structure compositionnelle et multidimensionnelle du jugement humain. Les approches RLHF dominantes réduisent cette structure à des étiquettes scalaires ou par paires, effondrant des préférences nuancées en proxies paramétriques opaques et exposant des vulnérabilités au détournement de récompense. Bien que les méthodes récentes de Rubrics-as-Reward (RaR) tentent de retrouver cette structure via des critères explicites, générer des rubriques à la fois fiables, évolutives et économes en données reste un problème ouvert. Nous présentons Auto-Rubric as Reward (ARR), un cadre qui reformule la modélisation des récompenses en passant d'une optimisation implicite des poids à une décomposition explicite fondée sur des critères. Avant toute comparaison par paires, ARR externalise les connaissances de préférence internalisées d'un VLM sous forme de rubriques spécifiques à chaque prompt, traduisant une intention holistique en dimensions de qualité vérifiables indépendamment. Cette conversion de la structure implicite des préférences en contraintes inspectables et interprétables supprime substantiellement les biais d'évaluation, y compris le biais de position, permettant à la fois un déploiement zero-shot et un conditionnement few-shot avec une supervision minimale. Pour étendre ces gains à l'entraînement génératif, nous proposons Rubric Policy Optimization (RPO), qui distille l'évaluation multidimensionnelle structurée d'ARR en une récompense binaire robuste, remplaçant la régression scalaire opaque par des décisions de préférence conditionnées par les rubriques, stabilisant ainsi les gradients de politique. Sur des benchmarks de génération texte-image et d'édition d'images, ARR-RPO surpasse les modèles de récompense par paires et les juges VLM, démontrant que l'externalisation explicite des connaissances de préférence implicites en rubriques structurées permet un alignement multimodal plus fiable et plus économe en données, révélant que le goulot d'étranglement est l'absence d'une interface factorisée, et non un déficit de connaissances.

English

Aligning multimodal generative models with human preferences demands reward signals that respect the compositional, multi-dimensional structure of human judgment. Prevailing RLHF approaches reduce this structure to scalar or pairwise labels, collapsing nuanced preferences into opaque parametric proxies and exposing vulnerabilities to reward hacking. While recent Rubrics-as-Reward (RaR) methods attempt to recover this structure through explicit criteria, generating rubrics that are simultaneously reliable, scalable, and data-efficient remains an open problem. We introduce Auto-Rubric as Reward (ARR), a framework that reframes reward modeling from implicit weight optimization to explicit, criteria-based decomposition. Before any pairwise comparison, ARR externalizes a VLM's internalized preference knowledge as prompt-specific rubrics, translating holistic intent into independently verifiable quality dimensions. This conversion of implicit preference structure into inspectable, interpretable constraints substantially suppresses evaluation biases including positional bias, enabling both zero-shot deployment and few-shot conditioning on minimal supervision. To extend these gains into generative training, we propose Rubric Policy Optimization (RPO), which distills ARR's structured multi-dimensional evaluation into a robust binary reward, replacing opaque scalar regression with rubric-conditioned preference decisions that stabilize policy gradients. On text-to-image generation and image editing benchmarks, ARR-RPO outperforms pairwise reward models and VLM judges, demonstrating that explicitly externalizing implicit preference knowledge into structured rubrics achieves more reliable, data-efficient multimodal alignment, revealing that the bottleneck is the absence of a factorized interface, not a deficit of knowledge.