Jueces VLM Automejorados Sin Anotaciones Humanas
Self-Improving VLM Judges Without Human Annotations
December 2, 2025
Autores: Inna Wanyin Lin, Yushi Hu, Shuyue Stella Li, Scott Geng, Pang Wei Koh, Luke Zettlemoyer, Tim Althoff, Marjan Ghazvininejad
cs.AI
Resumen
Los evaluadores efectivos de Modelos de Visión-Lenguaje (VLM) son cruciales para el desarrollo de modelos. Los métodos actuales para entrenar evaluadores VLM se basan principalmente en anotaciones de preferencia humana a gran escala. Sin embargo, este enfoque es costoso y las anotaciones se vuelven obsoletas fácilmente a medida que los modelos mejoran rápidamente. En este trabajo, presentamos un marco para auto-entrenar un modelo evaluador VLM sin ninguna anotación de preferencia humana, utilizando únicamente datos auto-sintetizados. Nuestro método es iterativo y consta de tres etapas: (1) generar diversos pares de instrucción-respuesta multimodales en distintos niveles de calidad, (2) generar trazas de razonamiento y juicios para cada par, eliminando aquellos que no coincidan con nuestros niveles de calidad esperados, y (3) entrenar con las respuestas correctas del evaluador y sus trazas de razonamiento. Evaluamos al evaluador resultante en Multimodal RewardBench y VL-RewardBench en diversos dominios: corrección, preferencia, razonamiento, seguridad y respuesta a preguntas visuales. Nuestro método mejora a un evaluador multimodal Llama-3.2-11B, pasando de una precisión general de 0.38 a 0.51 en VL-RewardBench, a menudo superando a modelos mucho más grandes como Llama-3.2-90B, GPT-4o y Claude 3.5 Sonnet, con mejoras particularmente fuertes en las dimensiones general, de alucinación y de razonamiento. La solidez general de estos resultados libres de anotación humana sugiere el potencial para un futuro auto-evaluador que evolucione junto con las capacidades de los VLM que mejoran rápidamente.
English
Effective judges of Vision-Language Models (VLMs) are crucial for model development. Current methods for training VLM judges mainly rely on large-scale human preference annotations. However, such an approach is costly, and the annotations easily become obsolete as models rapidly improve. In this work, we present a framework to self-train a VLM judge model without any human preference annotations, using only self-synthesized data. Our method is iterative and has three stages: (1) generate diverse multimodal instruction-response pairs at varying quality levels, (2) generate reasoning traces and judgments for each pair, removing the ones that do not match our expected quality levels, and (3) training on correct judge answers and their reasoning traces. We evaluate the resulting judge on Multimodal RewardBench and VL-RewardBench across domains: correctness, preference, reasoning, safety, and visual question-answering. Our method improves a Llama-3.2-11B multimodal judge from 0.38 to 0.51 in overall accuracy on VL-RewardBench, often outperforming much larger models including Llama-3.2-90B, GPT-4o, and Claude 3.5 Sonnet, with particularly strong gains in general, hallucination, and reasoning dimensions. The overall strength of these human-annotation-free results suggest the potential for a future self-judge that evolves alongside rapidly improving VLM capabilities.