MetaFaith : Expression fidèle de l'incertitude en langage naturel dans les LLM

MetaFaith: Faithful Natural Language Uncertainty Expression in LLMs

May 30, 2025

Auteurs: Gabrielle Kaili-May Liu, Gal Yona, Avi Caciularu, Idan Szpektor, Tim G. J. Rudner, Arman Cohan

cs.AI

Résumé

Un élément crucial dans la fiabilité des LLM (modèles de langage de grande envergure) est la communication fiable de l'incertitude. Pourtant, les LLM utilisent souvent un langage assertif lorsqu'ils transmettent des affirmations erronées, ce qui entraîne une confiance excessive et une érosion de la crédibilité. Nous présentons la première étude systématique sur la calibration fidèle de la confiance des LLM, en évaluant la capacité des modèles à utiliser des expressions linguistiques d'incertitude qui reflètent fidèlement leur incertitude intrinsèque, à travers un large éventail de modèles, de jeux de données et de stratégies d'incitation. Nos résultats montrent que les LLM échouent largement dans cette tâche et que les interventions existantes sont insuffisantes : les approches d'incitation standard n'apportent que des gains marginaux, et les techniques de calibration existantes basées sur la factualité peuvent même nuire à la calibration fidèle. Pour combler cette lacune critique, nous introduisons MetaFaith, une nouvelle approche de calibration basée sur l'incitation, inspirée par la métacognition humaine. Nous démontrons que MetaFaith améliore de manière robuste la calibration fidèle dans divers modèles et domaines de tâches, permettant une amélioration allant jusqu'à 61 % en termes de fidélité et atteignant un taux de réussite de 83 % par rapport aux générations originales, tel qu'évalué par des humains.

English

A critical component in the trustworthiness of LLMs is reliable uncertainty communication, yet LLMs often use assertive language when conveying false claims, leading to over-reliance and eroded trust. We present the first systematic study of faithful confidence calibration of LLMs, benchmarking models' ability to use linguistic expressions of uncertainty that faithfully reflect their intrinsic uncertainty, across a comprehensive array of models, datasets, and prompting strategies. Our results demonstrate that LLMs largely fail at this task, and that existing interventions are insufficient: standard prompt approaches provide only marginal gains, and existing, factuality-based calibration techniques can even harm faithful calibration. To address this critical gap, we introduce MetaFaith, a novel prompt-based calibration approach inspired by human metacognition. We show that MetaFaith robustly improves faithful calibration across diverse models and task domains, enabling up to 61% improvement in faithfulness and achieving an 83% win rate over original generations as judged by humans.