Visual-ERM: Modelado de Recompensas para la Equivalencia Visual
Visual-ERM: Reward Modeling for Visual Equivalence
March 13, 2026
Autores: Ziyu Liu, Shengyuan Ding, Xinyu Fang, Xuanlang Dai, Penghui Yang, Jianze Liang, Jiaqi Wang, Kai Chen, Dahua Lin, Yuhang Zang
cs.AI
Resumen
Las tareas de visión-a-código requieren que los modelos reconstruyan entradas visuales estructuradas, como gráficos, tablas y SVG, en representaciones ejecutables o estructuradas con alta fidelidad visual. Si bien los modelos grandes de lenguaje y visión (LVLM) recientes obtienen resultados sólidos mediante ajuste fino supervisado, el aprendizaje por refuerzo sigue siendo un desafío debido a señales de recompensa desalineadas. Las recompensas existentes se basan en reglas textuales o en similitudes de incrustaciones visuales gruesas, y ambos enfoques fallan en capturar discrepancias visuales de grano fino y son vulnerables a la manipulación de recompensas. Proponemos Visual-ERM (Modelo de Recompensa por Equivalencia Visual), un modelo generativo multimodal de recompensa que proporciona retroalimentación de grano fino, interpretable y agnóstica a la tarea para evaluar la calidad visión-a-código directamente en el espacio visual renderizado. Integrado en el aprendizaje por refuerzo, Visual-ERM mejora Qwen3-VL-8B-Instruct en +8.4 en la tarea de gráfico-a-código y produce ganancias consistentes en el análisis de tablas y SVG (+2.7, +4.1 en promedio), y además fortalece la escalabilidad en tiempo de prueba mediante reflexión y revisión. También presentamos VC-RewardBench (VisualCritic-RewardBench), un punto de referencia para juzgar discrepancias de grano fino entre imágenes en datos visuales estructurados, donde Visual-ERM de 8B supera decisivamente a Qwen3-VL-235B-Instruct y se acerca a los modelos propietarios líderes. Nuestros resultados sugieren que la supervisión de recompensas visuales de grano fino es necesaria y suficiente para el aprendizaje por refuerzo en visión-a-código, independientemente de la especificidad de la tarea.
English
Vision-to-code tasks require models to reconstruct structured visual inputs, such as charts, tables, and SVGs, into executable or structured representations with high visual fidelity. While recent Large Vision Language Models (LVLMs) achieve strong results via supervised fine-tuning, reinforcement learning remains challenging due to misaligned reward signals. Existing rewards either rely on textual rules or coarse visual embedding similarity, both of which fail to capture fine-grained visual discrepancies and are vulnerable to reward hacking. We propose Visual Equivalence Reward Model (Visual-ERM), a multimodal generative reward model that provides fine-grained, interpretable, and task-agnostic feedback to evaluate vision-to-code quality directly in the rendered visual space. Integrated into RL, Visual-ERM improves Qwen3-VL-8B-Instruct by +8.4 on chart-to-code and yields consistent gains on table and SVG parsing (+2.7, +4.1 on average), and further strengthens test-time scaling via reflection and revision. We also introduce VisualCritic-RewardBench (VC-RewardBench), a benchmark for judging fine-grained image-to-image discrepancies on structured visual data, where Visual-ERM at 8B decisively outperforms Qwen3-VL-235B-Instruct and approaches leading closed-source models. Our results suggest that fine-grained visual reward supervision is both necessary and sufficient for vision-to-code RL, regardless of task specificity.