Analizando el Conocimiento de los Límites de los LLMs a Través de Idiomas Mediante el Análisis de sus Representaciones Internas

Analyzing LLMs' Knowledge Boundary Cognition Across Languages Through the Lens of Internal Representations

April 18, 2025

Autores: Chenghao Xiao, Hou Pong Chan, Hao Zhang, Mahani Aljunied, Lidong Bing, Noura Al Moubayed, Yu Rong

cs.AI

Resumen

Si bien comprender los límites del conocimiento de los LLM es crucial para prevenir la alucinación, la investigación sobre los límites del conocimiento de los LLM se ha centrado predominantemente en el inglés. En este trabajo, presentamos el primer estudio que analiza cómo los LLM reconocen los límites del conocimiento en diferentes idiomas, explorando sus representaciones internas al procesar preguntas conocidas y desconocidas en múltiples idiomas. Nuestros estudios empíricos revelan tres hallazgos clave: 1) Las percepciones de los límites del conocimiento de los LLM están codificadas en las capas medias a medias-altas en diferentes idiomas. 2) Las diferencias lingüísticas en la percepción de los límites del conocimiento siguen una estructura lineal, lo que motiva nuestra propuesta de un método de alineación sin entrenamiento que transfiere eficazmente la capacidad de percepción de los límites del conocimiento entre idiomas, ayudando así a reducir el riesgo de alucinación en idiomas de bajos recursos; 3) El ajuste fino en pares de preguntas bilingües traducidas mejora aún más el reconocimiento de los límites del conocimiento de los LLM entre idiomas. Dada la ausencia de bancos de pruebas estándar para el análisis de límites del conocimiento multilingüe, construimos una suite de evaluación multilingüe que comprende tres tipos representativos de datos de límites del conocimiento. Nuestro código y conjuntos de datos están disponibles públicamente en https://github.com/DAMO-NLP-SG/LLM-Multilingual-Knowledge-Boundaries.

English

While understanding the knowledge boundaries of LLMs is crucial to prevent hallucination, research on knowledge boundaries of LLMs has predominantly focused on English. In this work, we present the first study to analyze how LLMs recognize knowledge boundaries across different languages by probing their internal representations when processing known and unknown questions in multiple languages. Our empirical studies reveal three key findings: 1) LLMs' perceptions of knowledge boundaries are encoded in the middle to middle-upper layers across different languages. 2) Language differences in knowledge boundary perception follow a linear structure, which motivates our proposal of a training-free alignment method that effectively transfers knowledge boundary perception ability across languages, thereby helping reduce hallucination risk in low-resource languages; 3) Fine-tuning on bilingual question pair translation further enhances LLMs' recognition of knowledge boundaries across languages. Given the absence of standard testbeds for cross-lingual knowledge boundary analysis, we construct a multilingual evaluation suite comprising three representative types of knowledge boundary data. Our code and datasets are publicly available at https://github.com/DAMO-NLP-SG/LLM-Multilingual-Knowledge-Boundaries.