Visual-ERM: Belohnungsmodellierung für visuelle Äquivalenz
Visual-ERM: Reward Modeling for Visual Equivalence
March 13, 2026
Autoren: Ziyu Liu, Shengyuan Ding, Xinyu Fang, Xuanlang Dai, Penghui Yang, Jianze Liang, Jiaqi Wang, Kai Chen, Dahua Lin, Yuhang Zang
cs.AI
Zusammenfassung
Aufgaben der Bild-zu-Code-Generierung erfordern von Modellen, strukturierte visuelle Eingaben wie Diagramme, Tabellen und SVGs mit hoher visueller Treue in ausführbare oder strukturierte Repräsentationen zu rekonstruieren. Während aktuelle Large Vision Language Models (LVLMs) durch überwachtes Feinabstimmen starke Ergebnisse erzielen, bleibt Bestärkendes Lernen aufgrund fehlausgerichteter Belohnungssignale eine Herausforderung. Bestehende Belohnungsfunktionen stützen sich entweder auf textuelle Regeln oder auf grobe Ähnlichkeiten visueller Einbettungen – beide Ansätze erfassen keine feinkörnigen visuellen Diskrepanzen und sind anfällig für Reward Hacking. Wir schlagen Visual-ERM (Visual Equivalence Reward Model) vor, ein multimodales generatives Belohnungsmodell, das feinkörniges, interpretierbares und aufgabenagnostisches Feedback liefert, um die Qualität von Bild-zu-Code-Generierung direkt im gerenderten visuellen Raum zu bewerten. In Bestärkendes Lernen integriert, verbessert Visual-ERM Qwen3-VL-8B-Instruct um +8,4 Punkte bei Diagramm-zu-Code und erzielt konsistente Gewinne bei Tabellen- und SVG-Parsing (+2,7 bzw. +4,1 im Durchschnitt), zusätzlich verstärkt durch Reflexion und Revision zur Laufzeit. Wir stellen außerdem VisualCritic-RewardBench (VC-RewardBench) vor, einen Benchmark zur Bewertung feinkörniger Bild-zu-Bild-Diskrepanzen bei strukturierten visuellen Daten, bei dem Visual-ERM mit 8B Parametern Qwen3-VL-235B-Instruct deutlich übertrifft und sich an führende Closed-Source-Modelle annähert. Unsere Ergebnisse legen nahe, dass feinkörnige visuelle Belohnungsüberwachung für Bild-zu-Code-Bestärkendes Lernen sowohl notwendig als auch hinreichend ist, unabhängig von der Aufgabenspezifität.
English
Vision-to-code tasks require models to reconstruct structured visual inputs, such as charts, tables, and SVGs, into executable or structured representations with high visual fidelity. While recent Large Vision Language Models (LVLMs) achieve strong results via supervised fine-tuning, reinforcement learning remains challenging due to misaligned reward signals. Existing rewards either rely on textual rules or coarse visual embedding similarity, both of which fail to capture fine-grained visual discrepancies and are vulnerable to reward hacking. We propose Visual Equivalence Reward Model (Visual-ERM), a multimodal generative reward model that provides fine-grained, interpretable, and task-agnostic feedback to evaluate vision-to-code quality directly in the rendered visual space. Integrated into RL, Visual-ERM improves Qwen3-VL-8B-Instruct by +8.4 on chart-to-code and yields consistent gains on table and SVG parsing (+2.7, +4.1 on average), and further strengthens test-time scaling via reflection and revision. We also introduce VisualCritic-RewardBench (VC-RewardBench), a benchmark for judging fine-grained image-to-image discrepancies on structured visual data, where Visual-ERM at 8B decisively outperforms Qwen3-VL-235B-Instruct and approaches leading closed-source models. Our results suggest that fine-grained visual reward supervision is both necessary and sufficient for vision-to-code RL, regardless of task specificity.