Auto-amélioration des juges VLM sans annotations humaines
Self-Improving VLM Judges Without Human Annotations
December 2, 2025
papers.authors: Inna Wanyin Lin, Yushi Hu, Shuyue Stella Li, Scott Geng, Pang Wei Koh, Luke Zettlemoyer, Tim Althoff, Marjan Ghazvininejad
cs.AI
papers.abstract
Des juges efficaces pour les modèles vision-langage (VLM) sont cruciaux pour le développement des modèles. Les méthodes actuelles pour entraîner des juges VLM reposent principalement sur des annotations de préférences humaines à grande échelle. Cependant, cette approche est coûteuse et les annotations deviennent rapidement obsolètes face à l'amélioration rapide des modèles. Dans ce travail, nous présentons un cadre pour auto-entraîner un modèle juge VLM sans aucune annotation de préférence humaine, en utilisant uniquement des données auto-synthétisées. Notre méthode est itérative et comporte trois étapes : (1) générer des paires instruction-réponse multimodales diversifiées à différents niveaux de qualité, (2) générer des traces de raisonnement et des jugements pour chaque paire, en éliminant celles qui ne correspondent pas à nos niveaux de qualité attendus, et (3) s'entraîner sur les réponses correctes du juge et leurs traces de raisonnement. Nous évaluons le juge résultant sur Multimodal RewardBench et VL-RewardBench dans divers domaines : exactitude, préférence, raisonnement, sécurité et question-réponse visuelle. Notre méthode améliore un juge multimodal Llama-3.2-11B, faisant passer sa précision globale sur VL-RewardBench de 0,38 à 0,51, surpassant souvent des modèles bien plus grands comme Llama-3.2-90B, GPT-4o et Claude 3.5 Sonnet, avec des gains particulièrement marqués dans les dimensions générales, les hallucinations et le raisonnement. La robustesse globale de ces résultats sans annotation humaine suggère le potentiel d'un futur juge auto-alimenté qui évoluerait au rythme des capacités sans cesse améliorées des VLM.
English
Effective judges of Vision-Language Models (VLMs) are crucial for model development. Current methods for training VLM judges mainly rely on large-scale human preference annotations. However, such an approach is costly, and the annotations easily become obsolete as models rapidly improve. In this work, we present a framework to self-train a VLM judge model without any human preference annotations, using only self-synthesized data. Our method is iterative and has three stages: (1) generate diverse multimodal instruction-response pairs at varying quality levels, (2) generate reasoning traces and judgments for each pair, removing the ones that do not match our expected quality levels, and (3) training on correct judge answers and their reasoning traces. We evaluate the resulting judge on Multimodal RewardBench and VL-RewardBench across domains: correctness, preference, reasoning, safety, and visual question-answering. Our method improves a Llama-3.2-11B multimodal judge from 0.38 to 0.51 in overall accuracy on VL-RewardBench, often outperforming much larger models including Llama-3.2-90B, GPT-4o, and Claude 3.5 Sonnet, with particularly strong gains in general, hallucination, and reasoning dimensions. The overall strength of these human-annotation-free results suggest the potential for a future self-judge that evolves alongside rapidly improving VLM capabilities.