Видение — это вера, но в какой степени? Всесторонний анализ вербальной калибровки в моделях, объединяющих зрение и язык
Seeing is Believing, but How Much? A Comprehensive Analysis of Verbalized Calibration in Vision-Language Models
May 26, 2025
Авторы: Weihao Xuan, Qingcheng Zeng, Heli Qi, Junjue Wang, Naoto Yokoya
cs.AI
Аннотация
Количественная оценка неопределенности имеет важное значение для оценки надежности и доверия к современным системам искусственного интеллекта. Среди существующих подходов вербализованная неопределенность, при которой модели выражают свою уверенность с помощью естественного языка, стала легковесным и интерпретируемым решением в больших языковых моделях (LLM). Однако ее эффективность в визуально-языковых моделях (VLM) остается недостаточно изученной. В данной работе мы проводим всестороннюю оценку вербализованной уверенности в VLM, охватывая три категории моделей, четыре предметные области задач и три сценария оценки. Наши результаты показывают, что текущие VLM часто демонстрируют заметную некорректную калибровку в различных задачах и условиях. Примечательно, что модели визуального рассуждения (т.е. мышления с использованием изображений) последовательно показывают лучшую калибровку, что указывает на важность модально-специфического рассуждения для надежной оценки неопределенности. Для дальнейшего решения проблем калибровки мы представляем стратегию визуального уверенного запроса (Visual Confidence-Aware Prompting), двухэтапный подход к запросам, который улучшает согласованность уверенности в мультимодальных условиях. В целом, наше исследование подчеркивает внутреннюю некорректную калибровку VLM в различных модальностях. В более широком смысле, наши результаты подчеркивают фундаментальную важность согласованности модальностей и верности моделей для развития надежных мультимодальных систем.
English
Uncertainty quantification is essential for assessing the reliability and
trustworthiness of modern AI systems. Among existing approaches, verbalized
uncertainty, where models express their confidence through natural language,
has emerged as a lightweight and interpretable solution in large language
models (LLMs). However, its effectiveness in vision-language models (VLMs)
remains insufficiently studied. In this work, we conduct a comprehensive
evaluation of verbalized confidence in VLMs, spanning three model categories,
four task domains, and three evaluation scenarios. Our results show that
current VLMs often display notable miscalibration across diverse tasks and
settings. Notably, visual reasoning models (i.e., thinking with images)
consistently exhibit better calibration, suggesting that modality-specific
reasoning is critical for reliable uncertainty estimation. To further address
calibration challenges, we introduce Visual Confidence-Aware Prompting, a
two-stage prompting strategy that improves confidence alignment in multimodal
settings. Overall, our study highlights the inherent miscalibration in VLMs
across modalities. More broadly, our findings underscore the fundamental
importance of modality alignment and model faithfulness in advancing reliable
multimodal systems.Summary
AI-Generated Summary