Analyse der Erkenntnis von Wissensgrenzen bei LLMs über Sprachen hinweg durch die Betrachtung interner Repräsentationen

Analyzing LLMs' Knowledge Boundary Cognition Across Languages Through the Lens of Internal Representations

April 18, 2025

Autoren: Chenghao Xiao, Hou Pong Chan, Hao Zhang, Mahani Aljunied, Lidong Bing, Noura Al Moubayed, Yu Rong

cs.AI

Zusammenfassung

Während das Verständnis der Wissensgrenzen von LLMs entscheidend ist, um Halluzinationen zu verhindern, hat sich die Forschung zu den Wissensgrenzen von LLMs bisher hauptsächlich auf die englische Sprache konzentriert. In dieser Arbeit präsentieren wir die erste Studie, die analysiert, wie LLMs Wissensgrenzen über verschiedene Sprachen hinweg erkennen, indem wir ihre internen Repräsentationen untersuchen, wenn sie bekannte und unbekannte Fragen in mehreren Sprachen verarbeiten. Unsere empirischen Studien offenbaren drei zentrale Erkenntnisse: 1) Die Wahrnehmung von Wissensgrenzen durch LLMs ist in den mittleren bis mittel-oberen Schichten über verschiedene Sprachen hinweg kodiert. 2) Sprachliche Unterschiede in der Wahrnehmung von Wissensgrenzen folgen einer linearen Struktur, was uns dazu motiviert, eine trainingsfreie Ausrichtungsmethode vorzuschlagen, die die Fähigkeit zur Wahrnehmung von Wissensgrenzen effektiv über Sprachen hinweg überträgt und somit dazu beiträgt, das Risiko von Halluzinationen in ressourcenarmen Sprachen zu verringern; 3) Feinabstimmung auf der Grundlage von zweisprachigen Fragepaar-Übersetzungen verbessert die Erkennung von Wissensgrenzen durch LLMs über Sprachen hinweg weiter. Angesichts des Fehlens standardisierter Testumgebungen für die Analyse von Wissensgrenzen über Sprachen hinweg, haben wir eine mehrsprachige Evaluationssuite konstruiert, die drei repräsentative Arten von Wissensgrenzendaten umfasst. Unser Code und unsere Datensätze sind öffentlich verfügbar unter https://github.com/DAMO-NLP-SG/LLM-Multilingual-Knowledge-Boundaries.

English

While understanding the knowledge boundaries of LLMs is crucial to prevent hallucination, research on knowledge boundaries of LLMs has predominantly focused on English. In this work, we present the first study to analyze how LLMs recognize knowledge boundaries across different languages by probing their internal representations when processing known and unknown questions in multiple languages. Our empirical studies reveal three key findings: 1) LLMs' perceptions of knowledge boundaries are encoded in the middle to middle-upper layers across different languages. 2) Language differences in knowledge boundary perception follow a linear structure, which motivates our proposal of a training-free alignment method that effectively transfers knowledge boundary perception ability across languages, thereby helping reduce hallucination risk in low-resource languages; 3) Fine-tuning on bilingual question pair translation further enhances LLMs' recognition of knowledge boundaries across languages. Given the absence of standard testbeds for cross-lingual knowledge boundary analysis, we construct a multilingual evaluation suite comprising three representative types of knowledge boundary data. Our code and datasets are publicly available at https://github.com/DAMO-NLP-SG/LLM-Multilingual-Knowledge-Boundaries.