Sprachspezifisches Wissen: Wissen Modelle in X mehr als in Englisch?

Language Specific Knowledge: Do Models Know Better in X than in English?

May 21, 2025

Autoren: Ishika Agarwal, Nimet Beyza Bozdag, Dilek Hakkani-Tür

cs.AI

Zusammenfassung

Code-Switching ist ein häufiges Phänomen, bei dem zwischen verschiedenen Sprachen innerhalb derselben Äußerung, Gedanken oder Konversation gewechselt wird. Wir stellen die These auf, dass Menschen Code-Switching betreiben, weil sie sich bei bestimmten Themen und Domänen in einer Sprache wohler fühlen als in einer anderen. Mit dem Aufkommen von wissensintensiven Sprachmodellen stellen wir uns die naheliegende Frage: Könnten Modelle in manchen Sprachen mehr Wissen zu bestimmten Themen besitzen? Noch wichtiger: Könnten wir das logische Denken verbessern, indem wir die Sprache ändern, in der das Denken stattfindet? Wir prägen den Begriff Language Specific Knowledge (LSK), um dieses Phänomen zu beschreiben. Da ethnische Kulturen oft parallel zu verschiedenen Sprachen entstehen, verwenden wir kulturspezifische Datensätze (die Wissen über kulturelle und soziale Verhaltensnormen enthalten). Wir stellen fest, dass Sprachmodelle bei der Chain-of-Thought-Reasoning in manchen Sprachen besser abschneiden können als in Englisch, manchmal sogar in ressourcenarmen Sprachen. In Verbindung mit früheren Arbeiten, die zeigen, dass semantische Ähnlichkeit nicht mit repräsentativer Ähnlichkeit gleichzusetzen ist, vermuten wir, dass kulturspezifische Texte in den entsprechenden Sprachen häufiger vorkommen, wodurch spezifisches Wissen nur in bestimmten „Experten“-Sprachen vorhanden ist. Motiviert durch unsere ersten Ergebnisse entwickeln wir eine einfache Methodik namens LSKExtractor, um das sprachspezifische Wissen in einem Sprachmodell zu bewerten und es während der Inferenz zu nutzen. Wir präsentieren unsere Ergebnisse anhand verschiedener Modelle und Datensätze und zeigen eine durchschnittliche relative Verbesserung der Genauigkeit um 10 %. Unsere Forschung trägt zur Open-Source-Entwicklung von Sprachmodellen bei, die inklusiver und besser an die kulturellen und linguistischen Kontexte angepasst sind, in denen sie eingesetzt werden.

English

Code-switching is a common phenomenon of alternating between different languages in the same utterance, thought, or conversation. We posit that humans code-switch because they feel more comfortable talking about certain topics and domains in one language than another. With the rise of knowledge-intensive language models, we ask ourselves the next, natural question: Could models hold more knowledge on some topics in some language X? More importantly, could we improve reasoning by changing the language that reasoning is performed in? We coin the term Language Specific Knowledge (LSK) to represent this phenomenon. As ethnic cultures tend to develop alongside different languages, we employ culture-specific datasets (that contain knowledge about cultural and social behavioral norms). We find that language models can perform better when using chain-of-thought reasoning in some languages other than English, sometimes even better in low-resource languages. Paired with previous works showing that semantic similarity does not equate to representational similarity, we hypothesize that culturally specific texts occur more abundantly in corresponding languages, enabling specific knowledge to occur only in specific "expert" languages. Motivated by our initial results, we design a simple methodology called LSKExtractor to benchmark the language-specific knowledge present in a language model and, then, exploit it during inference. We show our results on various models and datasets, showing an average relative improvement of 10% in accuracy. Our research contributes to the open-source development of language models that are inclusive and more aligned with the cultural and linguistic contexts in which they are deployed.