MetaFaith: Nauwkeurige uitdrukking van natuurlijke taal onzekerheid in LLM's

MetaFaith: Faithful Natural Language Uncertainty Expression in LLMs

May 30, 2025

Auteurs: Gabrielle Kaili-May Liu, Gal Yona, Avi Caciularu, Idan Szpektor, Tim G. J. Rudner, Arman Cohan

cs.AI

Samenvatting

Een cruciaal onderdeel van de betrouwbaarheid van LLM's is een betrouwbare communicatie van onzekerheid, maar LLM's gebruiken vaak assertieve taal bij het overbrengen van onjuiste beweringen, wat leidt tot overmatig vertrouwen en ondermijning van het vertrouwen. Wij presenteren de eerste systematische studie van getrouwe betrouwbaarheidskalibratie van LLM's, waarbij we het vermogen van modellen benchmarken om taaluitingen van onzekerheid te gebruiken die getrouw hun intrinsieke onzekerheid weerspiegelen, over een breed scala aan modellen, datasets en promptstrategieën. Onze resultaten tonen aan dat LLM's grotendeels falen in deze taak en dat bestaande interventies ontoereikend zijn: standaard promptbenaderingen bieden slechts marginale verbeteringen, en bestaande, op feitelijkheid gebaseerde kalibratietechnieken kunnen zelfs schadelijk zijn voor getrouwe kalibratie. Om dit kritieke gat te dichten, introduceren we MetaFaith, een nieuwe promptgebaseerde kalibratiebenadering geïnspireerd door menselijke metacognitie. We laten zien dat MetaFaith robuust de getrouwe kalibratie verbetert over diverse modellen en taakdomeinen, wat resulteert in een verbetering van de getrouwheid tot 61% en een winstpercentage van 83% ten opzichte van de oorspronkelijke generaties, zoals beoordeeld door mensen.

English

A critical component in the trustworthiness of LLMs is reliable uncertainty communication, yet LLMs often use assertive language when conveying false claims, leading to over-reliance and eroded trust. We present the first systematic study of faithful confidence calibration of LLMs, benchmarking models' ability to use linguistic expressions of uncertainty that faithfully reflect their intrinsic uncertainty, across a comprehensive array of models, datasets, and prompting strategies. Our results demonstrate that LLMs largely fail at this task, and that existing interventions are insufficient: standard prompt approaches provide only marginal gains, and existing, factuality-based calibration techniques can even harm faithful calibration. To address this critical gap, we introduce MetaFaith, a novel prompt-based calibration approach inspired by human metacognition. We show that MetaFaith robustly improves faithful calibration across diverse models and task domains, enabling up to 61% improvement in faithfulness and achieving an 83% win rate over original generations as judged by humans.