Analizzare la Cognizione dei Confini della Conoscenza nei Modelli Linguistici Multilingue Attraverso la Lente delle Rappresentazioni Interne

Analyzing LLMs' Knowledge Boundary Cognition Across Languages Through the Lens of Internal Representations

April 18, 2025

Autori: Chenghao Xiao, Hou Pong Chan, Hao Zhang, Mahani Aljunied, Lidong Bing, Noura Al Moubayed, Yu Rong

cs.AI

Abstract

Sebbene comprendere i confini della conoscenza dei modelli linguistici di grandi dimensioni (LLM) sia cruciale per prevenire le allucinazioni, la ricerca sui confini della conoscenza degli LLM si è concentrata prevalentemente sull'inglese. In questo lavoro, presentiamo il primo studio che analizza come gli LLM riconoscono i confini della conoscenza attraverso diverse lingue, esaminando le loro rappresentazioni interne durante l'elaborazione di domande note e sconosciute in più lingue. I nostri studi empirici rivelano tre risultati chiave: 1) Le percezioni dei confini della conoscenza degli LLM sono codificate negli strati intermedi e medio-alti attraverso diverse lingue. 2) Le differenze linguistiche nella percezione dei confini della conoscenza seguono una struttura lineare, il che motiva la nostra proposta di un metodo di allineamento senza addestramento che trasferisce efficacemente la capacità di percezione dei confini della conoscenza tra le lingue, contribuendo così a ridurre il rischio di allucinazioni nelle lingue con risorse limitate; 3) Il fine-tuning su coppie di domande bilingue migliora ulteriormente il riconoscimento dei confini della conoscenza degli LLM tra le lingue. Data l'assenza di banchi di prova standard per l'analisi dei confini della conoscenza cross-linguale, abbiamo costruito una suite di valutazione multilingue che comprende tre tipi rappresentativi di dati sui confini della conoscenza. Il nostro codice e i dataset sono disponibili pubblicamente all'indirizzo https://github.com/DAMO-NLP-SG/LLM-Multilingual-Knowledge-Boundaries.

English

While understanding the knowledge boundaries of LLMs is crucial to prevent hallucination, research on knowledge boundaries of LLMs has predominantly focused on English. In this work, we present the first study to analyze how LLMs recognize knowledge boundaries across different languages by probing their internal representations when processing known and unknown questions in multiple languages. Our empirical studies reveal three key findings: 1) LLMs' perceptions of knowledge boundaries are encoded in the middle to middle-upper layers across different languages. 2) Language differences in knowledge boundary perception follow a linear structure, which motivates our proposal of a training-free alignment method that effectively transfers knowledge boundary perception ability across languages, thereby helping reduce hallucination risk in low-resource languages; 3) Fine-tuning on bilingual question pair translation further enhances LLMs' recognition of knowledge boundaries across languages. Given the absence of standard testbeds for cross-lingual knowledge boundary analysis, we construct a multilingual evaluation suite comprising three representative types of knowledge boundary data. Our code and datasets are publicly available at https://github.com/DAMO-NLP-SG/LLM-Multilingual-Knowledge-Boundaries.