Conoscenza Specifica della Lingua: I Modelli Sono Migliori in X che in Inglese?

Language Specific Knowledge: Do Models Know Better in X than in English?

May 21, 2025

Autori: Ishika Agarwal, Nimet Beyza Bozdag, Dilek Hakkani-Tür

cs.AI

Abstract

Il code-switching è un fenomeno comune che consiste nell'alternare diverse lingue all'interno dello stesso enunciato, pensiero o conversazione. Proponiamo che gli esseri umani ricorrano al code-switching perché si sentono più a loro agio nel parlare di determinati argomenti e domini in una lingua piuttosto che in un'altra. Con l'ascesa dei modelli linguistici ad alta intensità di conoscenza, ci poniamo la successiva, naturale domanda: i modelli potrebbero possedere più conoscenza su alcuni argomenti in una determinata lingua X? Ancora più importante, potremmo migliorare il ragionamento cambiando la lingua in cui esso viene svolto? Coniamo il termine Conoscenza Specifica della Lingua (Language Specific Knowledge, LSK) per rappresentare questo fenomeno. Poiché le culture etniche tendono a svilupparsi parallelamente a lingue diverse, utilizziamo dataset specifici per cultura (che contengono conoscenze sulle norme comportamentali culturali e sociali). Scopriamo che i modelli linguistici possono performare meglio quando utilizzano il ragionamento a catena di pensiero in alcune lingue diverse dall'inglese, a volte persino meglio in lingue a bassa risorsa. Insieme a lavori precedenti che dimostrano come la somiglianza semantica non equivalga alla somiglianza rappresentazionale, ipotizziamo che i testi specifici per cultura siano più abbondanti nelle lingue corrispondenti, permettendo a conoscenze specifiche di manifestarsi solo in determinate lingue "esperte". Motivati dai nostri risultati iniziali, progettiamo una metodologia semplice chiamata LSKExtractor per valutare la conoscenza specifica della lingua presente in un modello linguistico e, successivamente, sfruttarla durante l'inferenza. Mostriamo i nostri risultati su vari modelli e dataset, evidenziando un miglioramento relativo medio del 10% in termini di accuratezza. La nostra ricerca contribuisce allo sviluppo open-source di modelli linguistici che siano inclusivi e più allineati con i contesti culturali e linguistici in cui vengono implementati.

English

Code-switching is a common phenomenon of alternating between different languages in the same utterance, thought, or conversation. We posit that humans code-switch because they feel more comfortable talking about certain topics and domains in one language than another. With the rise of knowledge-intensive language models, we ask ourselves the next, natural question: Could models hold more knowledge on some topics in some language X? More importantly, could we improve reasoning by changing the language that reasoning is performed in? We coin the term Language Specific Knowledge (LSK) to represent this phenomenon. As ethnic cultures tend to develop alongside different languages, we employ culture-specific datasets (that contain knowledge about cultural and social behavioral norms). We find that language models can perform better when using chain-of-thought reasoning in some languages other than English, sometimes even better in low-resource languages. Paired with previous works showing that semantic similarity does not equate to representational similarity, we hypothesize that culturally specific texts occur more abundantly in corresponding languages, enabling specific knowledge to occur only in specific "expert" languages. Motivated by our initial results, we design a simple methodology called LSKExtractor to benchmark the language-specific knowledge present in a language model and, then, exploit it during inference. We show our results on various models and datasets, showing an average relative improvement of 10% in accuracy. Our research contributes to the open-source development of language models that are inclusive and more aligned with the cultural and linguistic contexts in which they are deployed.