La veridicità dei modelli linguistici dipende dalla lingua di interrogazione.

Language Models' Factuality Depends on the Language of Inquiry

February 25, 2025

Autori: Tushar Aggarwal, Kumar Tanmay, Ayush Agrawal, Kumar Ayush, Hamid Palangi, Paul Pu Liang

cs.AI

Abstract

Si prevede che i modelli linguistici multilingue (LM) siano in grado di richiamare conoscenze fattuali in modo coerente tra le diverse lingue, tuttavia spesso non riescono a trasferire le conoscenze tra le lingue anche quando possiedono le informazioni corrette in una delle lingue. Ad esempio, abbiamo riscontrato che un LM potrebbe identificare correttamente Rashed Al Shashai come originario dell'Arabia Saudita quando interrogato in arabo, ma fallisce sistematicamente nel farlo quando interrogato in inglese o swahili. Per indagare sistematicamente questa limitazione, introduciamo un benchmark di 10.000 fatti relativi ai paesi in 13 lingue e proponiamo tre nuove metriche: il Punteggio di Richiamo Fattuale, il Punteggio di Trasferibilità della Conoscenza e il Punteggio di Trasferibilità della Conoscenza Fattuale Cross-Linguale, per quantificare il richiamo fattuale e la trasferibilità della conoscenza nei LM tra diverse lingue. I nostri risultati rivelano debolezze fondamentali negli LM all'avanguardia di oggi, in particolare nella generalizzazione cross-linguale, dove i modelli non riescono a trasferire efficacemente le conoscenze tra le diverse lingue, portando a prestazioni incoerenti e sensibili alla lingua utilizzata. Le nostre scoperte sottolineano la necessità che i LM riconoscano l'affidabilità fattuale specifica della lingua e sfruttino le informazioni più affidabili tra le lingue. Rilasciamo il nostro benchmark e il framework di valutazione per promuovere future ricerche sul trasferimento di conoscenze multilingue.

English

Multilingual language models (LMs) are expected to recall factual knowledge consistently across languages, yet they often fail to transfer knowledge between languages even when they possess the correct information in one of the languages. For example, we find that an LM may correctly identify Rashed Al Shashai as being from Saudi Arabia when asked in Arabic, but consistently fails to do so when asked in English or Swahili. To systematically investigate this limitation, we introduce a benchmark of 10,000 country-related facts across 13 languages and propose three novel metrics: Factual Recall Score, Knowledge Transferability Score, and Cross-Lingual Factual Knowledge Transferability Score-to quantify factual recall and knowledge transferability in LMs across different languages. Our results reveal fundamental weaknesses in today's state-of-the-art LMs, particularly in cross-lingual generalization where models fail to transfer knowledge effectively across different languages, leading to inconsistent performance sensitive to the language used. Our findings emphasize the need for LMs to recognize language-specific factual reliability and leverage the most trustworthy information across languages. We release our benchmark and evaluation framework to drive future research in multilingual knowledge transfer.