Visual-ERM: Modellazione della Ricompensa per l'Equivalenza Visiva

Visual-ERM: Reward Modeling for Visual Equivalence

March 13, 2026

Autori: Ziyu Liu, Shengyuan Ding, Xinyu Fang, Xuanlang Dai, Penghui Yang, Jianze Liang, Jiaqi Wang, Kai Chen, Dahua Lin, Yuhang Zang

cs.AI

Abstract

I compiti di vision-to-code richiedono ai modelli di ricostruire input visivi strutturati, come grafici, tabelle e SVG, in rappresentazioni eseguibili o strutturate con alta fedeltà visiva. Sebbene i recenti Large Vision Language Models (LVLM) ottengano risultati solidi tramite fine-tuning supervisionato, l'apprendimento per rinforzo rimane impegnativo a causa di segnali di ricompensa disallineati. Le ricompense esistenti si basano su regole testuali o su similarità approssimativa di embedding visivi, entrambe incapaci di catturare discrepanze visive granulari e vulnerabili al reward hacking. Proponiamo Visual Equivalence Reward Model (Visual-ERM), un modello generativo multimodale di ricompensa che fornisce un feedback granulare, interpretabile e indipendente dal compito per valutare la qualità vision-to-code direttamente nello spazio visivo renderizzato. Integrato nell'RL, Visual-ERM migliora Qwen3-VL-8B-Instruct di +8,4 su chart-to-code e produce guadagni consistenti nell'analisi di tabelle e SVG (+2,7, +4,1 in media), rafforzando ulteriormente lo scaling a test-time tramite reflection e revision. Introduciamo anche VisualCritic-RewardBench (VC-RewardBench), un benchmark per giudicare discrepanze granulari immagine-immagine su dati visivi strutturati, dove Visual-ERM a 8B supera decisamente Qwen3-VL-235B-Instruct e si avvicina ai modelli closed-source leader. I nostri risultati suggeriscono che una supervisione di ricompensa visiva granulare è sia necessaria che sufficiente per l'RL vision-to-code, indipendentemente dalla specificità del compito.

English

Vision-to-code tasks require models to reconstruct structured visual inputs, such as charts, tables, and SVGs, into executable or structured representations with high visual fidelity. While recent Large Vision Language Models (LVLMs) achieve strong results via supervised fine-tuning, reinforcement learning remains challenging due to misaligned reward signals. Existing rewards either rely on textual rules or coarse visual embedding similarity, both of which fail to capture fine-grained visual discrepancies and are vulnerable to reward hacking. We propose Visual Equivalence Reward Model (Visual-ERM), a multimodal generative reward model that provides fine-grained, interpretable, and task-agnostic feedback to evaluate vision-to-code quality directly in the rendered visual space. Integrated into RL, Visual-ERM improves Qwen3-VL-8B-Instruct by +8.4 on chart-to-code and yields consistent gains on table and SVG parsing (+2.7, +4.1 on average), and further strengthens test-time scaling via reflection and revision. We also introduce VisualCritic-RewardBench (VC-RewardBench), a benchmark for judging fine-grained image-to-image discrepancies on structured visual data, where Visual-ERM at 8B decisively outperforms Qwen3-VL-235B-Instruct and approaches leading closed-source models. Our results suggest that fine-grained visual reward supervision is both necessary and sufficient for vision-to-code RL, regardless of task specificity.