A Factualidade dos Modelos de Linguagem Dependem da Linguagem da Investigação.

Language Models' Factuality Depends on the Language of Inquiry

February 25, 2025

Autores: Tushar Aggarwal, Kumar Tanmay, Ayush Agrawal, Kumar Ayush, Hamid Palangi, Paul Pu Liang

cs.AI

Resumo

Os modelos de linguagem multilíngue (LMs) são esperados para lembrar conhecimento factual consistentemente em diferentes idiomas, no entanto, muitas vezes falham em transferir conhecimento entre idiomas, mesmo quando possuem a informação correta em um dos idiomas. Por exemplo, podemos observar que um LM pode identificar corretamente Rashed Al Shashai como sendo da Arábia Saudita quando questionado em árabe, mas consistentemente falha em fazê-lo quando questionado em inglês ou suaíli. Para investigar sistematicamente essa limitação, introduzimos um benchmark de 10.000 fatos relacionados a países em 13 idiomas e propomos três novas métricas: Pontuação de Lembrança Factual, Pontuação de Transferibilidade de Conhecimento e Pontuação de Transferibilidade de Conhecimento Factual entre Idiomas - para quantificar a lembrança factual e a transferibilidade de conhecimento em LMs em diferentes idiomas. Nossos resultados revelam fraquezas fundamentais nos LMs de ponta atuais, especialmente na generalização entre idiomas, onde os modelos falham em transferir conhecimento de forma eficaz entre diferentes idiomas, resultando em desempenho inconsistente sensível ao idioma utilizado. Nossas descobertas enfatizam a necessidade de os LMs reconhecerem a confiabilidade factual específica de cada idioma e aproveitarem as informações mais confiáveis entre idiomas. Disponibilizamos nosso benchmark e estrutura de avaliação para impulsionar pesquisas futuras em transferência de conhecimento multilíngue.

English

Multilingual language models (LMs) are expected to recall factual knowledge consistently across languages, yet they often fail to transfer knowledge between languages even when they possess the correct information in one of the languages. For example, we find that an LM may correctly identify Rashed Al Shashai as being from Saudi Arabia when asked in Arabic, but consistently fails to do so when asked in English or Swahili. To systematically investigate this limitation, we introduce a benchmark of 10,000 country-related facts across 13 languages and propose three novel metrics: Factual Recall Score, Knowledge Transferability Score, and Cross-Lingual Factual Knowledge Transferability Score-to quantify factual recall and knowledge transferability in LMs across different languages. Our results reveal fundamental weaknesses in today's state-of-the-art LMs, particularly in cross-lingual generalization where models fail to transfer knowledge effectively across different languages, leading to inconsistent performance sensitive to the language used. Our findings emphasize the need for LMs to recognize language-specific factual reliability and leverage the most trustworthy information across languages. We release our benchmark and evaluation framework to drive future research in multilingual knowledge transfer.