Sehen heißt Glauben, aber wie sehr? Eine umfassende Analyse der verbalisierten Kalibrierung in Vision-Sprache-Modellen
Seeing is Believing, but How Much? A Comprehensive Analysis of Verbalized Calibration in Vision-Language Models
May 26, 2025
Autoren: Weihao Xuan, Qingcheng Zeng, Heli Qi, Junjue Wang, Naoto Yokoya
cs.AI
Zusammenfassung
Die Quantifizierung von Unsicherheit ist entscheidend, um die Zuverlässigkeit und Vertrauenswürdigkeit moderner KI-Systeme zu bewerten. Unter den bestehenden Ansätzen hat sich verbalisierte Unsicherheit, bei der Modelle ihr Vertrauen durch natürliche Sprache ausdrücken, als eine leichtgewichtige und interpretierbare Lösung in großen Sprachmodellen (LLMs) etabliert. Ihre Wirksamkeit in visuell-sprachlichen Modellen (VLMs) ist jedoch noch unzureichend erforscht. In dieser Arbeit führen wir eine umfassende Bewertung der verbalisierten Zuversicht in VLMs durch, die drei Modellkategorien, vier Aufgabenbereiche und drei Bewertungsszenarien umfasst. Unsere Ergebnisse zeigen, dass aktuelle VLMs oft eine bemerkenswerte Fehlkalibrierung über verschiedene Aufgaben und Einstellungen hinweg aufweisen. Insbesondere visuelle Denkmodelle (d.h. Denken mit Bildern) zeigen durchweg eine bessere Kalibrierung, was darauf hindeutet, dass modalspezifisches Denken entscheidend für eine zuverlässige Unsicherheitsschätzung ist. Um die Kalibrierungsherausforderungen weiter zu adressieren, führen wir Visual Confidence-Aware Prompting ein, eine zweistufige Prompting-Strategie, die die Zuversichtsausrichtung in multimodalen Einstellungen verbessert. Insgesamt unterstreicht unsere Studie die inhärente Fehlkalibrierung in VLMs über verschiedene Modalitäten hinweg. Im weiteren Sinne betonen unsere Ergebnisse die grundlegende Bedeutung von Modalitätsausrichtung und Modelltreue für die Weiterentwicklung zuverlässiger multimodaler Systeme.
English
Uncertainty quantification is essential for assessing the reliability and
trustworthiness of modern AI systems. Among existing approaches, verbalized
uncertainty, where models express their confidence through natural language,
has emerged as a lightweight and interpretable solution in large language
models (LLMs). However, its effectiveness in vision-language models (VLMs)
remains insufficiently studied. In this work, we conduct a comprehensive
evaluation of verbalized confidence in VLMs, spanning three model categories,
four task domains, and three evaluation scenarios. Our results show that
current VLMs often display notable miscalibration across diverse tasks and
settings. Notably, visual reasoning models (i.e., thinking with images)
consistently exhibit better calibration, suggesting that modality-specific
reasoning is critical for reliable uncertainty estimation. To further address
calibration challenges, we introduce Visual Confidence-Aware Prompting, a
two-stage prompting strategy that improves confidence alignment in multimodal
settings. Overall, our study highlights the inherent miscalibration in VLMs
across modalities. More broadly, our findings underscore the fundamental
importance of modality alignment and model faithfulness in advancing reliable
multimodal systems.Summary
AI-Generated Summary