La factualidad de los modelos de lenguaje depende del idioma de consulta.

Language Models' Factuality Depends on the Language of Inquiry

February 25, 2025

Autores: Tushar Aggarwal, Kumar Tanmay, Ayush Agrawal, Kumar Ayush, Hamid Palangi, Paul Pu Liang

cs.AI

Resumen

Se espera que los modelos de lenguaje multilingües (LM, por sus siglas en inglés) recuerden conocimientos factuales de manera consistente en todos los idiomas, pero a menudo fallan en transferir conocimientos entre idiomas, incluso cuando poseen la información correcta en uno de ellos. Por ejemplo, encontramos que un LM puede identificar correctamente a Rashed Al Shashai como originario de Arabia Saudita cuando se le pregunta en árabe, pero falla consistentemente al hacerlo cuando se le pregunta en inglés o suajili. Para investigar sistemáticamente esta limitación, introducimos un benchmark de 10,000 hechos relacionados con países en 13 idiomas y proponemos tres métricas novedosas: Puntaje de Recuerdo Factual, Puntaje de Transferibilidad de Conocimiento y Puntaje de Transferibilidad de Conocimiento Factual Translingüístico, con el fin de cuantificar el recuerdo factual y la transferibilidad de conocimiento en LM a través de diferentes idiomas. Nuestros resultados revelan debilidades fundamentales en los LM más avanzados de la actualidad, particularmente en la generalización translingüística, donde los modelos no logran transferir conocimiento de manera efectiva entre diferentes idiomas, lo que lleva a un desempeño inconsistente sensible al idioma utilizado. Nuestros hallazgos enfatizan la necesidad de que los LM reconozcan la confiabilidad factual específica de cada idioma y aprovechen la información más confiable entre idiomas. Publicamos nuestro benchmark y marco de evaluación para impulsar futuras investigaciones en la transferencia de conocimiento multilingüe.

English

Multilingual language models (LMs) are expected to recall factual knowledge consistently across languages, yet they often fail to transfer knowledge between languages even when they possess the correct information in one of the languages. For example, we find that an LM may correctly identify Rashed Al Shashai as being from Saudi Arabia when asked in Arabic, but consistently fails to do so when asked in English or Swahili. To systematically investigate this limitation, we introduce a benchmark of 10,000 country-related facts across 13 languages and propose three novel metrics: Factual Recall Score, Knowledge Transferability Score, and Cross-Lingual Factual Knowledge Transferability Score-to quantify factual recall and knowledge transferability in LMs across different languages. Our results reveal fundamental weaknesses in today's state-of-the-art LMs, particularly in cross-lingual generalization where models fail to transfer knowledge effectively across different languages, leading to inconsistent performance sensitive to the language used. Our findings emphasize the need for LMs to recognize language-specific factual reliability and leverage the most trustworthy information across languages. We release our benchmark and evaluation framework to drive future research in multilingual knowledge transfer.