Zelfverbeterende VLM-beoordelaars zonder menselijke annotaties
Self-Improving VLM Judges Without Human Annotations
December 2, 2025
Auteurs: Inna Wanyin Lin, Yushi Hu, Shuyue Stella Li, Scott Geng, Pang Wei Koh, Luke Zettlemoyer, Tim Althoff, Marjan Ghazvininejad
cs.AI
Samenvatting
Effectieve beoordelaars van Vision-Language Models (VLM's) zijn cruciaal voor modelontwikkeling. Huidige methoden voor het trainen van VLM-beoordelaars zijn voornamelijk afhankelijk van grootschalige annotaties van menselijke voorkeuren. Deze aanpak is echter kostbaar en de annotaties raken snel verouderd naarmate modellen zich snel verbeteren. In dit werk presenteren we een raamwerk om een VLM-beoordelaarsmodel zelf te trainen zonder enige annotaties van menselijke voorkeuren, waarbij uitsluitend zelf gesynthetiseerde data wordt gebruikt. Onze methode is iteratief en kent drie fasen: (1) genereer diverse multimodale instructie-responsparen op verschillende kwaliteitsniveaus, (2) genereer redeneersporen en beoordelingen voor elk paar, waarbij paren die niet overeenkomen met onze verwachte kwaliteitsniveaus worden verwijderd, en (3) training op correcte beoordelaarsantwoorden en hun bijbehorende redeneersporen. We evalueren de resulterende beoordelaar op Multimodal RewardBench en VL-RewardBench over verschillende domeinen: correctheid, voorkeur, redenering, veiligheid en visueel vraag-antwoord. Onze methode verbetert een Llama-3.2-11B multimodale beoordelaar van 0,38 naar 0,51 in algemene nauwkeurigheid op VL-RewardBench, waarbij deze vaak beter presteert dan veel grotere modellen, waaronder Llama-3.2-90B, GPT-4o en Claude 3.5 Sonnet, met bijzonder sterke verbeteringen in de algemene, hallucinatie- en redeneerdimensies. De algehele kracht van deze resultaten zonder menselijke annotaties suggereert het potentieel voor een toekomstige zelfbeoordelaar die mee-evolueert met de snel verbeterende mogelijkheden van VLM's.
English
Effective judges of Vision-Language Models (VLMs) are crucial for model development. Current methods for training VLM judges mainly rely on large-scale human preference annotations. However, such an approach is costly, and the annotations easily become obsolete as models rapidly improve. In this work, we present a framework to self-train a VLM judge model without any human preference annotations, using only self-synthesized data. Our method is iterative and has three stages: (1) generate diverse multimodal instruction-response pairs at varying quality levels, (2) generate reasoning traces and judgments for each pair, removing the ones that do not match our expected quality levels, and (3) training on correct judge answers and their reasoning traces. We evaluate the resulting judge on Multimodal RewardBench and VL-RewardBench across domains: correctness, preference, reasoning, safety, and visual question-answering. Our method improves a Llama-3.2-11B multimodal judge from 0.38 to 0.51 in overall accuracy on VL-RewardBench, often outperforming much larger models including Llama-3.2-90B, GPT-4o, and Claude 3.5 Sonnet, with particularly strong gains in general, hallucination, and reasoning dimensions. The overall strength of these human-annotation-free results suggest the potential for a future self-judge that evolves alongside rapidly improving VLM capabilities.