MetaFaith : Expression fidèle de l'incertitude en langage naturel dans les LLM
MetaFaith: Faithful Natural Language Uncertainty Expression in LLMs
May 30, 2025
Auteurs: Gabrielle Kaili-May Liu, Gal Yona, Avi Caciularu, Idan Szpektor, Tim G. J. Rudner, Arman Cohan
cs.AI
Résumé
Un élément crucial dans la fiabilité des LLM (modèles de langage de grande envergure) est la communication fiable de l'incertitude. Pourtant, les LLM utilisent souvent un langage assertif lorsqu'ils transmettent des affirmations erronées, ce qui entraîne une confiance excessive et une érosion de la crédibilité. Nous présentons la première étude systématique sur la calibration fidèle de la confiance des LLM, en évaluant la capacité des modèles à utiliser des expressions linguistiques d'incertitude qui reflètent fidèlement leur incertitude intrinsèque, à travers un large éventail de modèles, de jeux de données et de stratégies d'incitation. Nos résultats montrent que les LLM échouent largement dans cette tâche et que les interventions existantes sont insuffisantes : les approches d'incitation standard n'apportent que des gains marginaux, et les techniques de calibration existantes basées sur la factualité peuvent même nuire à la calibration fidèle. Pour combler cette lacune critique, nous introduisons MetaFaith, une nouvelle approche de calibration basée sur l'incitation, inspirée par la métacognition humaine. Nous démontrons que MetaFaith améliore de manière robuste la calibration fidèle dans divers modèles et domaines de tâches, permettant une amélioration allant jusqu'à 61 % en termes de fidélité et atteignant un taux de réussite de 83 % par rapport aux générations originales, tel qu'évalué par des humains.
English
A critical component in the trustworthiness of LLMs is reliable uncertainty
communication, yet LLMs often use assertive language when conveying false
claims, leading to over-reliance and eroded trust. We present the first
systematic study of faithful confidence calibration of LLMs,
benchmarking models' ability to use linguistic expressions of uncertainty that
faithfully reflect their intrinsic uncertainty, across a
comprehensive array of models, datasets, and prompting strategies. Our results
demonstrate that LLMs largely fail at this task, and that existing
interventions are insufficient: standard prompt approaches provide only
marginal gains, and existing, factuality-based calibration techniques can even
harm faithful calibration. To address this critical gap, we introduce
MetaFaith, a novel prompt-based calibration approach inspired by human
metacognition. We show that MetaFaith robustly improves faithful calibration
across diverse models and task domains, enabling up to 61% improvement in
faithfulness and achieving an 83% win rate over original generations as judged
by humans.