Giudici VLM Auto-Miglioranti Senza Annotazioni Umane
Self-Improving VLM Judges Without Human Annotations
December 2, 2025
Autori: Inna Wanyin Lin, Yushi Hu, Shuyue Stella Li, Scott Geng, Pang Wei Koh, Luke Zettlemoyer, Tim Althoff, Marjan Ghazvininejad
cs.AI
Abstract
Valutatori efficaci dei Modelli Visione-Linguaggio (VLM) sono cruciali per lo sviluppo dei modelli. I metodi attuali per addestrare valutatori VLM si basano principalmente su annotazioni su larga scala di preferenze umane. Tuttavia, questo approccio è costoso e le annotazioni diventano facilmente obsolete con il rapido miglioramento dei modelli. In questo lavoro, presentiamo un framework per addestrare autonomamente un modello valutatore VLM senza alcuna annotazione di preferenza umana, utilizzando esclusivamente dati auto-sintetizzati. Il nostro metodo è iterativo e si articola in tre fasi: (1) generare coppie istruzione-risposta multimodali diversificate a diversi livelli di qualità, (2) generare tracce di ragionamento e giudizi per ogni coppia, rimuovendo quelle che non corrispondono ai nostri livelli di qualità attesi, e (3) addestrare il modello sulle risposte corrette del valutatore e sulle relative tracce di ragionamento. Valutiamo il valutatore risultante su Multimodal RewardBench e VL-RewardBench in diversi domini: correttezza, preferenza, ragionamento, sicurezza e question-answering visivo. Il nostro metodo migliora un valutatore multimodale Llama-3.2-11B, portandone l'accuratezza complessiva su VL-RewardBench da 0,38 a 0,51, superando spesso modelli molto più grandi come Llama-3.2-90B, GPT-4o e Claude 3.5 Sonnet, con guadagni particolarmente significativi nelle dimensioni generale, allucinazione e ragionamento. La solidità complessiva di questi risultati ottenuti senza annotazioni umane suggerisce il potenziale per un futuro sistema di autovalutazione che si evolva di pari passo con le capacità in rapido miglioramento dei VLM.
English
Effective judges of Vision-Language Models (VLMs) are crucial for model development. Current methods for training VLM judges mainly rely on large-scale human preference annotations. However, such an approach is costly, and the annotations easily become obsolete as models rapidly improve. In this work, we present a framework to self-train a VLM judge model without any human preference annotations, using only self-synthesized data. Our method is iterative and has three stages: (1) generate diverse multimodal instruction-response pairs at varying quality levels, (2) generate reasoning traces and judgments for each pair, removing the ones that do not match our expected quality levels, and (3) training on correct judge answers and their reasoning traces. We evaluate the resulting judge on Multimodal RewardBench and VL-RewardBench across domains: correctness, preference, reasoning, safety, and visual question-answering. Our method improves a Llama-3.2-11B multimodal judge from 0.38 to 0.51 in overall accuracy on VL-RewardBench, often outperforming much larger models including Llama-3.2-90B, GPT-4o, and Claude 3.5 Sonnet, with particularly strong gains in general, hallucination, and reasoning dimensions. The overall strength of these human-annotation-free results suggest the potential for a future self-judge that evolves alongside rapidly improving VLM capabilities.