Ver é Acreditar, mas Quanto? Uma Análise Abrangente da Calibração Verbalizada em Modelos de Visão e Linguagem

Seeing is Believing, but How Much? A Comprehensive Analysis of Verbalized Calibration in Vision-Language Models

May 26, 2025

Autores: Weihao Xuan, Qingcheng Zeng, Heli Qi, Junjue Wang, Naoto Yokoya

cs.AI

Resumo

A quantificação da incerteza é essencial para avaliar a confiabilidade e a credibilidade dos sistemas modernos de IA. Entre as abordagens existentes, a incerteza verbalizada, em que os modelos expressam sua confiança por meio de linguagem natural, surgiu como uma solução leve e interpretável em grandes modelos de linguagem (LLMs). No entanto, sua eficácia em modelos visão-linguagem (VLMs) ainda não foi suficientemente estudada. Neste trabalho, realizamos uma avaliação abrangente da confiança verbalizada em VLMs, abrangendo três categorias de modelos, quatro domínios de tarefas e três cenários de avaliação. Nossos resultados mostram que os VLMs atuais frequentemente exibem uma calibração notavelmente inadequada em diversas tarefas e configurações. Notavelmente, os modelos de raciocínio visual (ou seja, pensar com imagens) consistentemente apresentam uma melhor calibração, sugerindo que o raciocínio específico da modalidade é crucial para uma estimativa confiável da incerteza. Para abordar ainda mais os desafios de calibração, introduzimos o "Visual Confidence-Aware Prompting", uma estratégia de prompt em duas etapas que melhora o alinhamento da confiança em configurações multimodais. No geral, nosso estudo destaca a calibração inadequada inerente aos VLMs em diferentes modalidades. De forma mais ampla, nossas descobertas ressaltam a importância fundamental do alinhamento de modalidades e da fidelidade do modelo no avanço de sistemas multimodais confiáveis.

English

Uncertainty quantification is essential for assessing the reliability and trustworthiness of modern AI systems. Among existing approaches, verbalized uncertainty, where models express their confidence through natural language, has emerged as a lightweight and interpretable solution in large language models (LLMs). However, its effectiveness in vision-language models (VLMs) remains insufficiently studied. In this work, we conduct a comprehensive evaluation of verbalized confidence in VLMs, spanning three model categories, four task domains, and three evaluation scenarios. Our results show that current VLMs often display notable miscalibration across diverse tasks and settings. Notably, visual reasoning models (i.e., thinking with images) consistently exhibit better calibration, suggesting that modality-specific reasoning is critical for reliable uncertainty estimation. To further address calibration challenges, we introduce Visual Confidence-Aware Prompting, a two-stage prompting strategy that improves confidence alignment in multimodal settings. Overall, our study highlights the inherent miscalibration in VLMs across modalities. More broadly, our findings underscore the fundamental importance of modality alignment and model faithfulness in advancing reliable multimodal systems.