다언어적 사고가 LLM의 추론 능력을 강화할 수 있을까?

Could Thinking Multilingually Empower LLM Reasoning?

April 16, 2025

저자: Changjiang Gao, Xu Huang, Wenhao Zhu, Shujian Huang, Lei Li, Fei Yuan

cs.AI

초록

기존 연구에 따르면, 대형 언어 모델은 상당한 "영어 편향"을 보이며, 즉 영어로 제시된 작업에서 더 나은 성능을 보이는 경향이 있습니다. 흥미롭게도, 우리는 추론 작업에서 특정 다른 언어를 사용할 경우 영어보다 더 나은 성능을 보이는 현상을 관찰했습니다. 그러나 이 현상은 아직 충분히 탐구되지 않았습니다. 본 논문에서는 추론 작업에서 다국어 활용의 상한선을 탐구하며, 다국어 추론이 영어만 사용한 추론보다 상당히(약 10 Acc@k 포인트) 그리고 견고하게(번역 품질과 언어 선택의 변동에 대한 내성) 더 높은 상한선을 약속한다는 점을 제시합니다. 상한선의 원인과 이를 달성하는 데 있어서의 과제를 분석하는 것 외에도, 일반적인 답변 선택 방법이 그 한계와 편향으로 인해 이 상한선을 달성할 수 없다는 점을 발견했습니다. 이러한 통찰력은 LLM에서 다국어 추론의 잠재력을 완전히 활용하기 위한 미래 연구의 길을 열어줄 수 있습니다.

English

Previous work indicates that large language models exhibit a significant "English bias", i.e. they often perform better when tasks are presented in English. Interestingly, we have observed that using certain other languages in reasoning tasks can yield better performance than English. However, this phenomenon remains under-explored. In this paper, we explore the upper bound of harnessing multilingualism in reasoning tasks, suggesting that multilingual reasoning promises significantly (by nearly 10 Acc@k points) and robustly (tolerance for variations in translation quality and language choice) higher upper bounds than English-only reasoning. Besides analyzing the reason behind the upper bound and challenges in reaching it, we also find that common answer selection methods cannot achieve this upper bound, due to their limitations and biases. These insights could pave the way for future research aimed at fully harnessing the potential of multilingual reasoning in LLMs.