Visual-ERM : Modélisation de la récompense pour l'équivalence visuelle
Visual-ERM: Reward Modeling for Visual Equivalence
March 13, 2026
Auteurs: Ziyu Liu, Shengyuan Ding, Xinyu Fang, Xuanlang Dai, Penghui Yang, Jianze Liang, Jiaqi Wang, Kai Chen, Dahua Lin, Yuhang Zang
cs.AI
Résumé
Les tâches de vision-à-code exigent des modèles qu'ils reconstruisent des entrées visuelles structurées, telles que des graphiques, des tableaux et des SVG, en représentations exécutables ou structurées avec une haute fidélité visuelle. Bien que les grands modèles de vision et de langage (LVLM) récents obtiennent des résultats solides via un fine-tuning supervisé, l'apprentissage par renforcement reste difficile en raison de signaux de récompense mal alignés. Les récompenses existantes reposent soit sur des règles textuelles, soit sur une similarité approximative des embeddings visuels, deux approches qui échouent à capturer les écarts visuels fins et sont vulnérables au détournement de récompense. Nous proposons Visual-ERM, un modèle de récompense génératif multimodal qui fournit un retour granulaire, interprétable et agnostique à la tâche pour évaluer la qualité vision-à-code directement dans l'espace visuel rendu. Intégré à l'apprentissage par renforcement, Visual-ERM améliore Qwen3-VL-8B-Instruct de +8,4 points sur la tâche graphique-à-code et produit des gains constants sur l'analyse de tableaux et de SVG (+2,7 et +4,1 en moyenne), tout en renforçant la mise à l'échelle au moment du test via la réflexion et la révision. Nous présentons également VC-RewardBench, un benchmark pour évaluer les écarts image-à-image fins sur des données visuelles structurées, où Visual-ERM (8B) surpasse nettement Qwen3-VL-235B-Instruct et approche les performances des modèles propriétaires leaders. Nos résultats suggèrent qu'une supervision visuelle granulaire est à la fois nécessaire et suffisante pour l'apprentissage par renforcement en vision-à-code, indépendamment de la spécificité de la tâche.
English
Vision-to-code tasks require models to reconstruct structured visual inputs, such as charts, tables, and SVGs, into executable or structured representations with high visual fidelity. While recent Large Vision Language Models (LVLMs) achieve strong results via supervised fine-tuning, reinforcement learning remains challenging due to misaligned reward signals. Existing rewards either rely on textual rules or coarse visual embedding similarity, both of which fail to capture fine-grained visual discrepancies and are vulnerable to reward hacking. We propose Visual Equivalence Reward Model (Visual-ERM), a multimodal generative reward model that provides fine-grained, interpretable, and task-agnostic feedback to evaluate vision-to-code quality directly in the rendered visual space. Integrated into RL, Visual-ERM improves Qwen3-VL-8B-Instruct by +8.4 on chart-to-code and yields consistent gains on table and SVG parsing (+2.7, +4.1 on average), and further strengthens test-time scaling via reflection and revision. We also introduce VisualCritic-RewardBench (VC-RewardBench), a benchmark for judging fine-grained image-to-image discrepancies on structured visual data, where Visual-ERM at 8B decisively outperforms Qwen3-VL-235B-Instruct and approaches leading closed-source models. Our results suggest that fine-grained visual reward supervision is both necessary and sufficient for vision-to-code RL, regardless of task specificity.