Analyse de la cognition des limites de connaissances des LLM à travers les langues sous l'angle des représentations internes

Analyzing LLMs' Knowledge Boundary Cognition Across Languages Through the Lens of Internal Representations

April 18, 2025

Auteurs: Chenghao Xiao, Hou Pong Chan, Hao Zhang, Mahani Aljunied, Lidong Bing, Noura Al Moubayed, Yu Rong

cs.AI

Résumé

Bien que la compréhension des limites de connaissance des LLM soit cruciale pour prévenir les hallucinations, les recherches sur ces limites se sont principalement concentrées sur l'anglais. Dans ce travail, nous présentons la première étude analysant comment les LLM reconnaissent les limites de connaissance à travers différentes langues en sondant leurs représentations internes lors du traitement de questions connues et inconnues en plusieurs langues. Nos études empiriques révèlent trois résultats clés : 1) Les perceptions des limites de connaissance par les LLM sont encodées dans les couches intermédiaires à intermédiaires-supérieures, et ce, à travers différentes langues. 2) Les différences linguistiques dans la perception des limites de connaissance suivent une structure linéaire, ce qui motive notre proposition d'une méthode d'alignement sans entraînement qui transfère efficacement la capacité de perception des limites de connaissance entre les langues, contribuant ainsi à réduire le risque d'hallucination dans les langues à ressources limitées ; 3) Le fine-tuning sur des paires de questions bilingues traduites améliore encore la reconnaissance des limites de connaissance par les LLM à travers les langues. Étant donné l'absence de bancs d'essai standard pour l'analyse des limites de connaissance multilingues, nous construisons une suite d'évaluation multilingue comprenant trois types représentatifs de données sur les limites de connaissance. Notre code et nos jeux de données sont disponibles publiquement à l'adresse suivante : https://github.com/DAMO-NLP-SG/LLM-Multilingual-Knowledge-Boundaries.

English

While understanding the knowledge boundaries of LLMs is crucial to prevent hallucination, research on knowledge boundaries of LLMs has predominantly focused on English. In this work, we present the first study to analyze how LLMs recognize knowledge boundaries across different languages by probing their internal representations when processing known and unknown questions in multiple languages. Our empirical studies reveal three key findings: 1) LLMs' perceptions of knowledge boundaries are encoded in the middle to middle-upper layers across different languages. 2) Language differences in knowledge boundary perception follow a linear structure, which motivates our proposal of a training-free alignment method that effectively transfers knowledge boundary perception ability across languages, thereby helping reduce hallucination risk in low-resource languages; 3) Fine-tuning on bilingual question pair translation further enhances LLMs' recognition of knowledge boundaries across languages. Given the absence of standard testbeds for cross-lingual knowledge boundary analysis, we construct a multilingual evaluation suite comprising three representative types of knowledge boundary data. Our code and datasets are publicly available at https://github.com/DAMO-NLP-SG/LLM-Multilingual-Knowledge-Boundaries.