Julgares VLM Auto-Melhoráveis Sem Anotações Humanas
Self-Improving VLM Judges Without Human Annotations
December 2, 2025
Autores: Inna Wanyin Lin, Yushi Hu, Shuyue Stella Li, Scott Geng, Pang Wei Koh, Luke Zettlemoyer, Tim Althoff, Marjan Ghazvininejad
cs.AI
Resumo
Avaliadores eficazes de Modelos de Visão e Linguagem (VLMs) são cruciais para o desenvolvimento de modelos. Os métodos atuais para treinar avaliadores de VLMs dependem principalmente de anotações de preferência humana em larga escala. No entanto, essa abordagem é dispendiosa e as anotações tornam-se rapidamente obsoletas à medida que os modelos melhoram rapidamente. Neste trabalho, apresentamos uma estrutura para auto-treinar um modelo avaliador de VLM sem qualquer anotação de preferência humana, utilizando apenas dados auto-sintetizados. O nosso método é iterativo e possui três etapas: (1) gerar pares diversificados de instrução-resposta multimodais em vários níveis de qualidade, (2) gerar traços de raciocínio e julgamentos para cada par, removendo aqueles que não correspondem aos nossos níveis de qualidade esperados, e (3) treinar com respostas corretas do avaliador e os seus respetivos traços de raciocínio. Avaliamos o avaliador resultante no Multimodal RewardBench e no VL-RewardBench em vários domínios: correção, preferência, raciocínio, segurança e resposta a perguntas visuais. O nosso método melhora um avaliador multimodal Llama-3.2-11B, aumentando a precisão geral no VL-RewardBench de 0,38 para 0,51, frequentemente superando modelos muito maiores, incluindo Llama-3.2-90B, GPT-4o e Claude 3.5 Sonnet, com ganhos particularmente fortes nas dimensões geral, alucinação e raciocínio. A solidez geral destes resultados sem anotações humanas sugere o potencial para um futuro auto-avaliador que evolua em paralelo com as capacidades em rápida melhoria dos VLMs.
English
Effective judges of Vision-Language Models (VLMs) are crucial for model development. Current methods for training VLM judges mainly rely on large-scale human preference annotations. However, such an approach is costly, and the annotations easily become obsolete as models rapidly improve. In this work, we present a framework to self-train a VLM judge model without any human preference annotations, using only self-synthesized data. Our method is iterative and has three stages: (1) generate diverse multimodal instruction-response pairs at varying quality levels, (2) generate reasoning traces and judgments for each pair, removing the ones that do not match our expected quality levels, and (3) training on correct judge answers and their reasoning traces. We evaluate the resulting judge on Multimodal RewardBench and VL-RewardBench across domains: correctness, preference, reasoning, safety, and visual question-answering. Our method improves a Llama-3.2-11B multimodal judge from 0.38 to 0.51 in overall accuracy on VL-RewardBench, often outperforming much larger models including Llama-3.2-90B, GPT-4o, and Claude 3.5 Sonnet, with particularly strong gains in general, hallucination, and reasoning dimensions. The overall strength of these human-annotation-free results suggest the potential for a future self-judge that evolves alongside rapidly improving VLM capabilities.