MetaFaith: Достоверное выражение неопределенности на естественном языке в больших языковых моделях

MetaFaith: Faithful Natural Language Uncertainty Expression in LLMs

May 30, 2025

Авторы: Gabrielle Kaili-May Liu, Gal Yona, Avi Caciularu, Idan Szpektor, Tim G. J. Rudner, Arman Cohan

cs.AI

Аннотация

Ключевым компонентом надежности крупных языковых моделей (LLM) является достоверная передача неопределенности, однако LLM часто используют уверенные формулировки при изложении ложных утверждений, что приводит к излишнему доверию и подрыву доверия. Мы представляем первое систематическое исследование точной калибровки уверенности LLM, оценивая способность моделей использовать языковые выражения неопределенности, которые достоверно отражают их внутреннюю неопределенность, на основе широкого спектра моделей, наборов данных и стратегий запросов. Наши результаты показывают, что LLM в основном не справляются с этой задачей, а существующие методы вмешательства недостаточны: стандартные подходы к запросам дают лишь незначительные улучшения, а существующие методы калибровки, основанные на фактической точности, могут даже ухудшать достоверность калибровки. Для устранения этого критического пробела мы представляем MetaFaith — новый подход к калибровке на основе запросов, вдохновленный человеческой метакогницией. Мы демонстрируем, что MetaFaith значительно улучшает достоверность калибровки в различных моделях и задачах, обеспечивая улучшение достоверности до 61% и достигая 83% успешности по сравнению с исходными генерациями по оценке людей.

English

A critical component in the trustworthiness of LLMs is reliable uncertainty communication, yet LLMs often use assertive language when conveying false claims, leading to over-reliance and eroded trust. We present the first systematic study of faithful confidence calibration of LLMs, benchmarking models' ability to use linguistic expressions of uncertainty that faithfully reflect their intrinsic uncertainty, across a comprehensive array of models, datasets, and prompting strategies. Our results demonstrate that LLMs largely fail at this task, and that existing interventions are insufficient: standard prompt approaches provide only marginal gains, and existing, factuality-based calibration techniques can even harm faithful calibration. To address this critical gap, we introduce MetaFaith, a novel prompt-based calibration approach inspired by human metacognition. We show that MetaFaith robustly improves faithful calibration across diverse models and task domains, enabling up to 61% improvement in faithfulness and achieving an 83% win rate over original generations as judged by humans.