Une étude sur l'authenticité des grands modèles de langage

A Survey on the Honesty of Large Language Models

September 27, 2024

Auteurs: Siheng Li, Cheng Yang, Taiqiang Wu, Chufan Shi, Yuji Zhang, Xinyu Zhu, Zesen Cheng, Deng Cai, Mo Yu, Lemao Liu, Jie Zhou, Yujiu Yang, Ngai Wong, Xixin Wu, Wai Lam

cs.AI

Résumé

L'honnêteté est un principe fondamental pour aligner les grands modèles de langage (LLM) avec les valeurs humaines, exigeant que ces modèles reconnaissent ce qu'ils savent et ne savent pas et soient capables d'exprimer fidèlement leurs connaissances. Malgré des promesses encourageantes, les LLM actuels présentent encore des comportements significativement malhonnêtes, tels que la présentation confiante de réponses incorrectes ou l'incapacité d'exprimer ce qu'ils savent. De plus, la recherche sur l'honnêteté des LLM rencontre également des défis, notamment des définitions variables de l'honnêteté, des difficultés à distinguer entre les connaissances connues et inconnues, et un manque de compréhension globale de la recherche connexe. Pour résoudre ces problèmes, nous proposons une enquête sur l'honnêteté des LLM, couvrant sa clarification, les approches d'évaluation et les stratégies d'amélioration. De plus, nous offrons des perspectives pour la recherche future, dans le but d'inspirer de nouvelles explorations dans ce domaine important.

English

Honesty is a fundamental principle for aligning large language models (LLMs) with human values, requiring these models to recognize what they know and don't know and be able to faithfully express their knowledge. Despite promising, current LLMs still exhibit significant dishonest behaviors, such as confidently presenting wrong answers or failing to express what they know. In addition, research on the honesty of LLMs also faces challenges, including varying definitions of honesty, difficulties in distinguishing between known and unknown knowledge, and a lack of comprehensive understanding of related research. To address these issues, we provide a survey on the honesty of LLMs, covering its clarification, evaluation approaches, and strategies for improvement. Moreover, we offer insights for future research, aiming to inspire further exploration in this important area.