言語固有の知識：モデルはX言語よりも英語の方が優れているのか？

Language Specific Knowledge: Do Models Know Better in X than in English?

May 21, 2025

著者: Ishika Agarwal, Nimet Beyza Bozdag, Dilek Hakkani-Tür

cs.AI

要旨

コードスイッチングは、同じ発話や思考、会話の中で異なる言語を切り替える一般的な現象です。私たちは、人間がコードスイッチングを行うのは、特定のトピックや領域について、ある言語で話す方がより快適だと感じるためであると考えます。知識集約型の言語モデルの台頭に伴い、私たちは次の自然な疑問を自問します：モデルは、ある言語Xにおいて特定のトピックに関する知識をより多く保持している可能性があるのか？さらに重要なのは、推論を行う言語を変えることで、推論を改善できるのか？私たちはこの現象を表すために「言語固有知識（Language Specific Knowledge, LSK）」という用語を提唱します。 民族文化は異なる言語とともに発展する傾向があるため、私たちは文化固有のデータセット（文化的および社会的行動規範に関する知識を含む）を活用します。私たちは、言語モデルが英語以外の言語、時には低リソース言語において、連鎖的思考（chain-of-thought）推論を使用することでより良いパフォーマンスを発揮することを発見しました。これまでの研究で、意味的類似性が表現的類似性と等しくないことが示されていることと合わせて、文化的に固有のテキストは対応する言語においてより豊富に存在し、特定の「専門」言語でのみ特定の知識が発生することを仮説として立てます。 初期の結果に動機づけられ、私たちはLSKExtractorと呼ばれるシンプルな方法論を設計し、言語モデルに存在する言語固有の知識をベンチマークし、推論中にそれを活用します。私たちは、さまざまなモデルとデータセットにおいて結果を示し、平均で10%の精度向上を達成しました。私たちの研究は、文化的および言語的文脈に適応した、包括的な言語モデルのオープンソース開発に貢献します。

English

Code-switching is a common phenomenon of alternating between different languages in the same utterance, thought, or conversation. We posit that humans code-switch because they feel more comfortable talking about certain topics and domains in one language than another. With the rise of knowledge-intensive language models, we ask ourselves the next, natural question: Could models hold more knowledge on some topics in some language X? More importantly, could we improve reasoning by changing the language that reasoning is performed in? We coin the term Language Specific Knowledge (LSK) to represent this phenomenon. As ethnic cultures tend to develop alongside different languages, we employ culture-specific datasets (that contain knowledge about cultural and social behavioral norms). We find that language models can perform better when using chain-of-thought reasoning in some languages other than English, sometimes even better in low-resource languages. Paired with previous works showing that semantic similarity does not equate to representational similarity, we hypothesize that culturally specific texts occur more abundantly in corresponding languages, enabling specific knowledge to occur only in specific "expert" languages. Motivated by our initial results, we design a simple methodology called LSKExtractor to benchmark the language-specific knowledge present in a language model and, then, exploit it during inference. We show our results on various models and datasets, showing an average relative improvement of 10% in accuracy. Our research contributes to the open-source development of language models that are inclusive and more aligned with the cultural and linguistic contexts in which they are deployed.