Un'indagine sull'onestà dei grandi modelli linguistici

A Survey on the Honesty of Large Language Models

September 27, 2024

Autori: Siheng Li, Cheng Yang, Taiqiang Wu, Chufan Shi, Yuji Zhang, Xinyu Zhu, Zesen Cheng, Deng Cai, Mo Yu, Lemao Liu, Jie Zhou, Yujiu Yang, Ngai Wong, Xixin Wu, Wai Lam

cs.AI

Abstract

L'onestà è un principio fondamentale per allineare i grandi modelli linguistici (LLM) con i valori umani, richiedendo a questi modelli di riconoscere ciò che sanno e non sanno e di essere in grado di esprimere fedelmente le loro conoscenze. Nonostante le promesse, i LLM attuali mostrano ancora comportamenti significativamente disonesti, come presentare con sicurezza risposte sbagliate o non riuscire a esprimere ciò che sanno. Inoltre, la ricerca sull'onestà dei LLM affronta sfide, tra cui definizioni variabili di onestà, difficoltà nel distinguere tra conoscenze note e sconosciute e una mancanza di comprensione esaustiva della ricerca correlata. Per affrontare questi problemi, forniamo un'indagine sull'onestà dei LLM, che copre la sua chiarificazione, gli approcci di valutazione e le strategie per il miglioramento. Inoltre, offriamo spunti per la ricerca futura, con l'obiettivo di ispirare ulteriori esplorazioni in questo importante settore.

English

Honesty is a fundamental principle for aligning large language models (LLMs) with human values, requiring these models to recognize what they know and don't know and be able to faithfully express their knowledge. Despite promising, current LLMs still exhibit significant dishonest behaviors, such as confidently presenting wrong answers or failing to express what they know. In addition, research on the honesty of LLMs also faces challenges, including varying definitions of honesty, difficulties in distinguishing between known and unknown knowledge, and a lack of comprehensive understanding of related research. To address these issues, we provide a survey on the honesty of LLMs, covering its clarification, evaluation approaches, and strategies for improvement. Moreover, we offer insights for future research, aiming to inspire further exploration in this important area.