Analisando o Reconhecimento dos Limites de Conhecimento dos LLMs em Diferentes Idiomas Através da Perspectiva das Representações Internas

Analyzing LLMs' Knowledge Boundary Cognition Across Languages Through the Lens of Internal Representations

April 18, 2025

Autores: Chenghao Xiao, Hou Pong Chan, Hao Zhang, Mahani Aljunied, Lidong Bing, Noura Al Moubayed, Yu Rong

cs.AI

Resumo

Embora compreender os limites de conhecimento dos LLMs seja crucial para prevenir alucinações, as pesquisas sobre os limites de conhecimento dos LLMs têm se concentrado predominantemente no inglês. Neste trabalho, apresentamos o primeiro estudo que analisa como os LLMs reconhecem os limites de conhecimento em diferentes idiomas, investigando suas representações internas ao processar perguntas conhecidas e desconhecidas em múltiplos idiomas. Nossos estudos empíricos revelam três descobertas principais: 1) As percepções dos LLMs sobre os limites de conhecimento são codificadas nas camadas intermediárias a intermediárias superiores em diferentes idiomas. 2) As diferenças linguísticas na percepção dos limites de conhecimento seguem uma estrutura linear, o que motiva nossa proposta de um método de alinhamento sem treinamento que transfere efetivamente a capacidade de percepção dos limites de conhecimento entre idiomas, ajudando assim a reduzir o risco de alucinação em idiomas de baixo recurso; 3) O ajuste fino em pares de perguntas bilíngues de tradução aprimora ainda mais o reconhecimento dos limites de conhecimento pelos LLMs entre idiomas. Dada a ausência de bancos de testes padrão para análise de limites de conhecimento multilíngue, construímos um conjunto de avaliação multilingue composto por três tipos representativos de dados de limites de conhecimento. Nosso código e conjuntos de dados estão publicamente disponíveis em https://github.com/DAMO-NLP-SG/LLM-Multilingual-Knowledge-Boundaries.

English

While understanding the knowledge boundaries of LLMs is crucial to prevent hallucination, research on knowledge boundaries of LLMs has predominantly focused on English. In this work, we present the first study to analyze how LLMs recognize knowledge boundaries across different languages by probing their internal representations when processing known and unknown questions in multiple languages. Our empirical studies reveal three key findings: 1) LLMs' perceptions of knowledge boundaries are encoded in the middle to middle-upper layers across different languages. 2) Language differences in knowledge boundary perception follow a linear structure, which motivates our proposal of a training-free alignment method that effectively transfers knowledge boundary perception ability across languages, thereby helping reduce hallucination risk in low-resource languages; 3) Fine-tuning on bilingual question pair translation further enhances LLMs' recognition of knowledge boundaries across languages. Given the absence of standard testbeds for cross-lingual knowledge boundary analysis, we construct a multilingual evaluation suite comprising three representative types of knowledge boundary data. Our code and datasets are publicly available at https://github.com/DAMO-NLP-SG/LLM-Multilingual-Knowledge-Boundaries.