Самообучающиеся VLM-оценщики без аннотаций от человека
Self-Improving VLM Judges Without Human Annotations
December 2, 2025
Авторы: Inna Wanyin Lin, Yushi Hu, Shuyue Stella Li, Scott Geng, Pang Wei Koh, Luke Zettlemoyer, Tim Althoff, Marjan Ghazvininejad
cs.AI
Аннотация
Эффективные системы оценки моделей зрения и языка (VLM) крайне важны для разработки моделей. Современные методы обучения оценщиков VLM в основном опираются на масштабные аннотации человеческих предпочтений. Однако такой подход является дорогостоящим, а аннотации быстро устаревают по мере стремительного улучшения моделей. В данной работе мы представляем фреймворк для самостоятельного обучения модели-оценщика VLM без каких-либо аннотаций человеческих предпочтений, используя только самостоятельно синтезированные данные. Наш метод является итеративным и состоит из трех этапов: (1) генерация разнообразных мультимодальных пар "инструкция-ответ" различного уровня качества, (2) генерация цепочек рассуждений и оценок для каждой пары с удалением тех, которые не соответствуют ожидаемым уровням качества, и (3) обучение на корректных ответах оценщика и соответствующих им цепочках рассуждений. Мы оцениваем полученную модель-оценщик на Multimodal RewardBench и VL-RewardBench в различных областях: корректность, предпочтения, логические рассуждения, безопасность и визуальные вопросы-ответы. Наш метод улучшает мультимодальный оценщик Llama-3.2-11B, повышая общую точность на VL-RewardBench с 0,38 до 0,51, и часто превосходит гораздо более крупные модели, включая Llama-3.2-90B, GPT-4o и Claude 3.5 Sonnet, с особенно значительным прогрессом в общих, анти-галлюцинационных и логических измерениях. Общая сила этих результатов, полученных без участия человека, указывает на потенциал для создания в будущем самооценивающей системы, которая будет эволюционировать вместе с быстро растущими возможностями VLM.
English
Effective judges of Vision-Language Models (VLMs) are crucial for model development. Current methods for training VLM judges mainly rely on large-scale human preference annotations. However, such an approach is costly, and the annotations easily become obsolete as models rapidly improve. In this work, we present a framework to self-train a VLM judge model without any human preference annotations, using only self-synthesized data. Our method is iterative and has three stages: (1) generate diverse multimodal instruction-response pairs at varying quality levels, (2) generate reasoning traces and judgments for each pair, removing the ones that do not match our expected quality levels, and (3) training on correct judge answers and their reasoning traces. We evaluate the resulting judge on Multimodal RewardBench and VL-RewardBench across domains: correctness, preference, reasoning, safety, and visual question-answering. Our method improves a Llama-3.2-11B multimodal judge from 0.38 to 0.51 in overall accuracy on VL-RewardBench, often outperforming much larger models including Llama-3.2-90B, GPT-4o, and Claude 3.5 Sonnet, with particularly strong gains in general, hallucination, and reasoning dimensions. The overall strength of these human-annotation-free results suggest the potential for a future self-judge that evolves alongside rapidly improving VLM capabilities.