Zien is geloven, maar in hoeverre? Een uitgebreide analyse van verbaal gekalibreerde visie-taalmodellen

Seeing is Believing, but How Much? A Comprehensive Analysis of Verbalized Calibration in Vision-Language Models

May 26, 2025

Auteurs: Weihao Xuan, Qingcheng Zeng, Heli Qi, Junjue Wang, Naoto Yokoya

cs.AI

Samenvatting

Onzekerheidskwantificering is essentieel voor het beoordelen van de betrouwbaarheid en vertrouwenswaardigheid van moderne AI-systemen. Onder de bestaande benaderingen is verbaal uitgedrukte onzekerheid, waarbij modellen hun vertrouwen uitdrukken via natuurlijke taal, naar voren gekomen als een lichtgewicht en interpreteerbare oplossing in grote taalmmodellen (LLMs). De effectiviteit ervan in visueel-taalkundige modellen (VLMs) is echter nog onvoldoende onderzocht. In dit werk voeren we een uitgebreide evaluatie uit van verbaal uitgedrukt vertrouwen in VLMs, waarbij we drie modelcategorieën, vier taakdomeinen en drie evaluatiescenario's bestrijken. Onze resultaten tonen aan dat huidige VLMs vaak aanzienlijke miskalibratie vertonen over diverse taken en instellingen. Opmerkelijk is dat visuele redeneermodellen (d.w.z. denken met afbeeldingen) consistent een betere kalibratie vertonen, wat suggereert dat modalitiespecifiek redeneren cruciaal is voor betrouwbare onzekerheidsschatting. Om kalibratie-uitdagingen verder aan te pakken, introduceren we Visual Confidence-Aware Prompting, een tweestaps promptstrategie die de vertrouwensuitlijning in multimodale instellingen verbetert. Over het algemeen benadrukt onze studie de inherente miskalibratie in VLMs over verschillende modaliteiten. In bredere zin onderstrepen onze bevindingen het fundamentele belang van modaliteitsuitlijning en modelgetrouwheid bij het bevorderen van betrouwbare multimodale systemen.

English

Uncertainty quantification is essential for assessing the reliability and trustworthiness of modern AI systems. Among existing approaches, verbalized uncertainty, where models express their confidence through natural language, has emerged as a lightweight and interpretable solution in large language models (LLMs). However, its effectiveness in vision-language models (VLMs) remains insufficiently studied. In this work, we conduct a comprehensive evaluation of verbalized confidence in VLMs, spanning three model categories, four task domains, and three evaluation scenarios. Our results show that current VLMs often display notable miscalibration across diverse tasks and settings. Notably, visual reasoning models (i.e., thinking with images) consistently exhibit better calibration, suggesting that modality-specific reasoning is critical for reliable uncertainty estimation. To further address calibration challenges, we introduce Visual Confidence-Aware Prompting, a two-stage prompting strategy that improves confidence alignment in multimodal settings. Overall, our study highlights the inherent miscalibration in VLMs across modalities. More broadly, our findings underscore the fundamental importance of modality alignment and model faithfulness in advancing reliable multimodal systems.