Die Faktentreue von Sprachmodellen hängt von der Sprache der Anfrage ab

Language Models' Factuality Depends on the Language of Inquiry

February 25, 2025

Autoren: Tushar Aggarwal, Kumar Tanmay, Ayush Agrawal, Kumar Ayush, Hamid Palangi, Paul Pu Liang

cs.AI

Zusammenfassung

Mehrsprachige Sprachmodelle (LMs) sollen faktisches Wissen konsistent über verschiedene Sprachen hinweg abrufen können, doch sie scheitern oft daran, Wissen zwischen Sprachen zu transferieren, selbst wenn sie die korrekten Informationen in einer der Sprachen besitzen. Beispielsweise stellen wir fest, dass ein LM Rashed Al Shashai korrekt als aus Saudi-Arabien stammend identifizieren kann, wenn die Frage auf Arabisch gestellt wird, jedoch konsequent versagt, wenn die Frage auf Englisch oder Swahili gestellt wird. Um diese Einschränkung systematisch zu untersuchen, führen wir einen Benchmark mit 10.000 länderbezogenen Fakten in 13 Sprachen ein und schlagen drei neue Metriken vor: den Faktischen Erinnerungswert, den Wissenstransferierbarkeitswert und den Cross-Lingualen Faktischen Wissenstransferierbarkeitswert, um die faktische Erinnerung und die Wissenstransferierbarkeit in LMs über verschiedene Sprachen hinweg zu quantifizieren. Unsere Ergebnisse zeigen grundlegende Schwächen in den heutigen state-of-the-art LMs auf, insbesondere bei der cross-lingualen Generalisierung, bei der Modelle nicht effektiv Wissen über verschiedene Sprachen hinweg transferieren können, was zu inkonsistenten Leistungen führt, die von der verwendeten Sprache abhängen. Unsere Erkenntnisse unterstreichen die Notwendigkeit, dass LMs die sprachspezifische faktische Zuverlässigkeit erkennen und die vertrauenswürdigsten Informationen über Sprachen hinweg nutzen sollten. Wir veröffentlichen unseren Benchmark und unser Evaluationsframework, um zukünftige Forschung im Bereich des mehrsprachigen Wissenstransfers voranzutreiben.

English

Multilingual language models (LMs) are expected to recall factual knowledge consistently across languages, yet they often fail to transfer knowledge between languages even when they possess the correct information in one of the languages. For example, we find that an LM may correctly identify Rashed Al Shashai as being from Saudi Arabia when asked in Arabic, but consistently fails to do so when asked in English or Swahili. To systematically investigate this limitation, we introduce a benchmark of 10,000 country-related facts across 13 languages and propose three novel metrics: Factual Recall Score, Knowledge Transferability Score, and Cross-Lingual Factual Knowledge Transferability Score-to quantify factual recall and knowledge transferability in LMs across different languages. Our results reveal fundamental weaknesses in today's state-of-the-art LMs, particularly in cross-lingual generalization where models fail to transfer knowledge effectively across different languages, leading to inconsistent performance sensitive to the language used. Our findings emphasize the need for LMs to recognize language-specific factual reliability and leverage the most trustworthy information across languages. We release our benchmark and evaluation framework to drive future research in multilingual knowledge transfer.