Selbstverbessernde VLM-Bewertungssysteme ohne menschliche Annotationen
Self-Improving VLM Judges Without Human Annotations
December 2, 2025
papers.authors: Inna Wanyin Lin, Yushi Hu, Shuyue Stella Li, Scott Geng, Pang Wei Koh, Luke Zettlemoyer, Tim Althoff, Marjan Ghazvininejad
cs.AI
papers.abstract
Effektive Bewertungseinheiten für Vision-Sprach-Modelle (VLMs) sind entscheidend für die Modellentwicklung. Aktuelle Methoden zum Training von VLM-Bewertungseinheiten basieren hauptsächlich auf großangelegten menschlichen Präferenzannotationen. Dieser Ansatz ist jedoch kostspielig, und die Annotationen veralten leicht, da sich die Modelle rasch verbessern. In dieser Arbeit stellen wir ein Framework vor, um ein VLM-Bewertungsmodell ohne menschliche Präferenzannotationen ausschließlich mit selbstsynthetisierten Daten selbst zu trainieren. Unsere Methode ist iterativ und umfasst drei Stufen: (1) Erzeugung diverser multimodaler Instruktions-Antwort-Paare auf unterschiedlichen Qualitätsniveaus, (2) Generierung von Begründungspfaden und Bewertungen für jedes Paar unter Entfernung derjenigen, die nicht unseren erwarteten Qualitätsniveaus entsprechen, und (3) Training auf korrekten Bewerterantworten und deren Begründungspfaden. Wir evaluieren den resultierenden Bewerter auf Multimodal RewardBench und VL-RewardBench über verschiedene Domänen hinweg: Korrektheit, Präferenz, Schlussfolgerung, Sicherheit und visuelle Fragebeantwortung. Unsere Methode verbessert eine Llama-3.2-11B-Multimodal-Bewertungseinheit von 0,38 auf 0,51 in der Gesamtgenauigkeit auf VL-RewardBench und übertrifft häufig deutlich größere Modelle, einschließlich Llama-3.2-90B, GPT-4o und Claude 3.5 Sonnet, mit besonders starken Gewinnen in den Dimensionen Allgemeinwissen, Halluzinationen und Schlussfolgerungen. Die allgemeine Stärke dieser ergebnisse ohne menschliche Annotationen deutet auf das Potenzial für einen zukünftigen Selbstbewerter hin, der sich parallel zu den sich schnell verbessernden VLM-Fähigkeiten weiterentwickelt.
English
Effective judges of Vision-Language Models (VLMs) are crucial for model development. Current methods for training VLM judges mainly rely on large-scale human preference annotations. However, such an approach is costly, and the annotations easily become obsolete as models rapidly improve. In this work, we present a framework to self-train a VLM judge model without any human preference annotations, using only self-synthesized data. Our method is iterative and has three stages: (1) generate diverse multimodal instruction-response pairs at varying quality levels, (2) generate reasoning traces and judgments for each pair, removing the ones that do not match our expected quality levels, and (3) training on correct judge answers and their reasoning traces. We evaluate the resulting judge on Multimodal RewardBench and VL-RewardBench across domains: correctness, preference, reasoning, safety, and visual question-answering. Our method improves a Llama-3.2-11B multimodal judge from 0.38 to 0.51 in overall accuracy on VL-RewardBench, often outperforming much larger models including Llama-3.2-90B, GPT-4o, and Claude 3.5 Sonnet, with particularly strong gains in general, hallucination, and reasoning dimensions. The overall strength of these human-annotation-free results suggest the potential for a future self-judge that evolves alongside rapidly improving VLM capabilities.