Ver es creer, pero ¿hasta qué punto? Un análisis exhaustivo de la calibración verbalizada en modelos de visión y lenguaje.

Seeing is Believing, but How Much? A Comprehensive Analysis of Verbalized Calibration in Vision-Language Models

May 26, 2025

Autores: Weihao Xuan, Qingcheng Zeng, Heli Qi, Junjue Wang, Naoto Yokoya

cs.AI

Resumen

La cuantificación de la incertidumbre es esencial para evaluar la confiabilidad y fiabilidad de los sistemas modernos de IA. Entre los enfoques existentes, la incertidumbre verbalizada, donde los modelos expresan su confianza a través del lenguaje natural, ha surgido como una solución ligera e interpretable en los modelos de lenguaje de gran escala (LLMs). Sin embargo, su efectividad en los modelos de visión y lenguaje (VLMs) sigue siendo insuficientemente estudiada. En este trabajo, realizamos una evaluación exhaustiva de la confianza verbalizada en VLMs, abarcando tres categorías de modelos, cuatro dominios de tareas y tres escenarios de evaluación. Nuestros resultados muestran que los VLMs actuales a menudo presentan una notable descalibración en diversas tareas y configuraciones. En particular, los modelos de razonamiento visual (es decir, pensar con imágenes) exhiben consistentemente una mejor calibración, lo que sugiere que el razonamiento específico de la modalidad es crucial para una estimación confiable de la incertidumbre. Para abordar aún más los desafíos de calibración, presentamos Visual Confidence-Aware Prompting, una estrategia de indicación en dos etapas que mejora la alineación de la confianza en entornos multimodales. En general, nuestro estudio destaca la descalibración inherente en los VLMs a través de las modalidades. Más ampliamente, nuestros hallazgos subrayan la importancia fundamental de la alineación de modalidades y la fidelidad del modelo para avanzar en sistemas multimodales confiables.

English

Uncertainty quantification is essential for assessing the reliability and trustworthiness of modern AI systems. Among existing approaches, verbalized uncertainty, where models express their confidence through natural language, has emerged as a lightweight and interpretable solution in large language models (LLMs). However, its effectiveness in vision-language models (VLMs) remains insufficiently studied. In this work, we conduct a comprehensive evaluation of verbalized confidence in VLMs, spanning three model categories, four task domains, and three evaluation scenarios. Our results show that current VLMs often display notable miscalibration across diverse tasks and settings. Notably, visual reasoning models (i.e., thinking with images) consistently exhibit better calibration, suggesting that modality-specific reasoning is critical for reliable uncertainty estimation. To further address calibration challenges, we introduce Visual Confidence-Aware Prompting, a two-stage prompting strategy that improves confidence alignment in multimodal settings. Overall, our study highlights the inherent miscalibration in VLMs across modalities. More broadly, our findings underscore the fundamental importance of modality alignment and model faithfulness in advancing reliable multimodal systems.