Специфические знания о языке: Модели лучше справляются с X, чем с английским?

Language Specific Knowledge: Do Models Know Better in X than in English?

May 21, 2025

Авторы: Ishika Agarwal, Nimet Beyza Bozdag, Dilek Hakkani-Tür

cs.AI

Аннотация

Кодовое переключение — это распространённое явление, при котором в одном высказывании, мысли или разговоре происходит чередование между разными языками. Мы предполагаем, что люди переключаются между языками, потому что чувствуют себя более комфортно, обсуждая определённые темы и области на одном языке, чем на другом. С ростом популярности языковых моделей, ориентированных на знания, мы задаёмся следующим естественным вопросом: могут ли модели обладать большими знаниями по некоторым темам на определённом языке X? И что более важно, можем ли мы улучшить рассуждения, изменив язык, на котором они выполняются? Мы вводим термин «Языково-специфические знания» (Language Specific Knowledge, LSK) для описания этого явления. Поскольку этнические культуры часто развиваются параллельно с разными языками, мы используем культурно-специфические наборы данных (которые содержат знания о культурных и социальных нормах поведения). Мы обнаруживаем, что языковые модели могут работать лучше, используя цепочку рассуждений (chain-of-thought) на некоторых языках, отличных от английского, иногда даже на языках с ограниченными ресурсами. В сочетании с предыдущими работами, показывающими, что семантическое сходство не эквивалентно сходству представлений, мы выдвигаем гипотезу, что культурно-специфические тексты чаще встречаются на соответствующих языках, что позволяет специфическим знаниям существовать только в определённых «экспертных» языках. Вдохновлённые нашими первоначальными результатами, мы разрабатываем простую методологию под названием LSKExtractor для оценки языково-специфических знаний, присутствующих в языковой модели, и их использования в процессе вывода. Мы демонстрируем наши результаты на различных моделях и наборах данных, показывая среднее относительное улучшение точности на 10%. Наше исследование способствует открытой разработке языковых моделей, которые являются более инклюзивными и лучше соответствуют культурным и лингвистическим контекстам, в которых они применяются.

English

Code-switching is a common phenomenon of alternating between different languages in the same utterance, thought, or conversation. We posit that humans code-switch because they feel more comfortable talking about certain topics and domains in one language than another. With the rise of knowledge-intensive language models, we ask ourselves the next, natural question: Could models hold more knowledge on some topics in some language X? More importantly, could we improve reasoning by changing the language that reasoning is performed in? We coin the term Language Specific Knowledge (LSK) to represent this phenomenon. As ethnic cultures tend to develop alongside different languages, we employ culture-specific datasets (that contain knowledge about cultural and social behavioral norms). We find that language models can perform better when using chain-of-thought reasoning in some languages other than English, sometimes even better in low-resource languages. Paired with previous works showing that semantic similarity does not equate to representational similarity, we hypothesize that culturally specific texts occur more abundantly in corresponding languages, enabling specific knowledge to occur only in specific "expert" languages. Motivated by our initial results, we design a simple methodology called LSKExtractor to benchmark the language-specific knowledge present in a language model and, then, exploit it during inference. We show our results on various models and datasets, showing an average relative improvement of 10% in accuracy. Our research contributes to the open-source development of language models that are inclusive and more aligned with the cultural and linguistic contexts in which they are deployed.