Voir, c'est croire, mais jusqu'à quel point ? Une analyse approfondie de la calibration verbalisée dans les modèles vision-langage.

Seeing is Believing, but How Much? A Comprehensive Analysis of Verbalized Calibration in Vision-Language Models

May 26, 2025

Auteurs: Weihao Xuan, Qingcheng Zeng, Heli Qi, Junjue Wang, Naoto Yokoya

cs.AI

Résumé

La quantification de l'incertitude est essentielle pour évaluer la fiabilité et la crédibilité des systèmes d'IA modernes. Parmi les approches existantes, l'incertitude verbalisée, où les modèles expriment leur confiance à travers le langage naturel, s'est imposée comme une solution légère et interprétable dans les grands modèles de langage (LLM). Cependant, son efficacité dans les modèles vision-langage (VLM) reste insuffisamment étudiée. Dans ce travail, nous menons une évaluation complète de la confiance verbalisée dans les VLM, couvrant trois catégories de modèles, quatre domaines de tâches et trois scénarios d'évaluation. Nos résultats montrent que les VLM actuels présentent souvent une mauvaise calibration notable à travers diverses tâches et configurations. Notamment, les modèles de raisonnement visuel (c'est-à-dire, penser avec des images) affichent systématiquement une meilleure calibration, suggérant que le raisonnement spécifique à la modalité est crucial pour une estimation fiable de l'incertitude. Pour mieux répondre aux défis de calibration, nous introduisons le Visual Confidence-Aware Prompting, une stratégie d'invitation en deux étapes qui améliore l'alignement de la confiance dans les contextes multimodaux. Globalement, notre étude met en lumière la mauvaise calibration inhérente des VLM à travers les modalités. Plus largement, nos résultats soulignent l'importance fondamentale de l'alignement des modalités et de la fidélité des modèles pour faire progresser les systèmes multimodaux fiables.

English

Uncertainty quantification is essential for assessing the reliability and trustworthiness of modern AI systems. Among existing approaches, verbalized uncertainty, where models express their confidence through natural language, has emerged as a lightweight and interpretable solution in large language models (LLMs). However, its effectiveness in vision-language models (VLMs) remains insufficiently studied. In this work, we conduct a comprehensive evaluation of verbalized confidence in VLMs, spanning three model categories, four task domains, and three evaluation scenarios. Our results show that current VLMs often display notable miscalibration across diverse tasks and settings. Notably, visual reasoning models (i.e., thinking with images) consistently exhibit better calibration, suggesting that modality-specific reasoning is critical for reliable uncertainty estimation. To further address calibration challenges, we introduce Visual Confidence-Aware Prompting, a two-stage prompting strategy that improves confidence alignment in multimodal settings. Overall, our study highlights the inherent miscalibration in VLMs across modalities. More broadly, our findings underscore the fundamental importance of modality alignment and model faithfulness in advancing reliable multimodal systems.