언어별 지식: 모델은 영어보다 X에서 더 잘 아는가?

Language Specific Knowledge: Do Models Know Better in X than in English?

May 21, 2025

저자: Ishika Agarwal, Nimet Beyza Bozdag, Dilek Hakkani-Tür

cs.AI

초록

코드 스위칭은 동일한 발화, 사고 또는 대화 내에서 서로 다른 언어를 번갈아 사용하는 일반적인 현상입니다. 우리는 인간이 특정 주제와 영역에 대해 한 언어보다 다른 언어로 이야기하는 것이 더 편안하다고 느끼기 때문에 코드 스위칭을 한다고 가정합니다. 지식 집약적 언어 모델의 부상과 함께, 우리는 자연스럽게 다음 질문을 던집니다: 모델이 특정 주제에 대해 어떤 언어 X에서 더 많은 지식을 보유할 수 있을까? 더 중요한 것은, 추론을 수행하는 언어를 변경함으로써 추론을 개선할 수 있을까? 우리는 이러한 현상을 나타내기 위해 '언어 특정 지식(Language Specific Knowledge, LSK)'이라는 용어를 만들었습니다. 민족 문화가 서로 다른 언어와 함께 발전하는 경향이 있기 때문에, 우리는 문화 특정 데이터셋(문화적 및 사회적 행동 규범에 대한 지식을 포함하는)을 사용합니다. 우리는 언어 모델이 영어가 아닌 다른 언어에서 사고의 연쇄(chain-of-thought) 추론을 사용할 때 더 나은 성능을 보일 수 있으며, 때로는 저자원 언어에서도 더 나은 성능을 보일 수 있음을 발견했습니다. 이전 연구에서 의미적 유사성이 표현적 유사성과 동일하지 않음을 보여준 것과 결합하여, 우리는 문화적으로 특정한 텍스트가 해당 언어에서 더 풍부하게 발생하여 특정 "전문가" 언어에서만 특정 지식이 발생한다고 가정합니다. 초기 결과에 고무되어, 우리는 언어 모델에 존재하는 언어 특정 지식을 벤치마킹하고 추론 중에 이를 활용하기 위해 LSKExtractor라는 간단한 방법론을 설계했습니다. 우리는 다양한 모델과 데이터셋에 대한 결과를 보여주며, 정확도에서 평균 10%의 상대적 개선을 보여줍니다. 우리의 연구는 문화적 및 언어적 맥락에 더 잘 맞고 포용적인 언어 모델의 오픈소스 개발에 기여합니다.

English

Code-switching is a common phenomenon of alternating between different languages in the same utterance, thought, or conversation. We posit that humans code-switch because they feel more comfortable talking about certain topics and domains in one language than another. With the rise of knowledge-intensive language models, we ask ourselves the next, natural question: Could models hold more knowledge on some topics in some language X? More importantly, could we improve reasoning by changing the language that reasoning is performed in? We coin the term Language Specific Knowledge (LSK) to represent this phenomenon. As ethnic cultures tend to develop alongside different languages, we employ culture-specific datasets (that contain knowledge about cultural and social behavioral norms). We find that language models can perform better when using chain-of-thought reasoning in some languages other than English, sometimes even better in low-resource languages. Paired with previous works showing that semantic similarity does not equate to representational similarity, we hypothesize that culturally specific texts occur more abundantly in corresponding languages, enabling specific knowledge to occur only in specific "expert" languages. Motivated by our initial results, we design a simple methodology called LSKExtractor to benchmark the language-specific knowledge present in a language model and, then, exploit it during inference. We show our results on various models and datasets, showing an average relative improvement of 10% in accuracy. Our research contributes to the open-source development of language models that are inclusive and more aligned with the cultural and linguistic contexts in which they are deployed.