스킬 이슈: LLM에서 스킬은 언어에 대해 불변인가?

초록

대규모 언어 모델은 언어에 따라 지식에 일관되지 않게 접근하지만, 서로 다른 언어와 상호작용할 때 기술 세트에는 어느 정도 차이가 있을까? 본 연구는 지식 및 일반 벤치마크 성능과 직교하는 방식으로 교차 언어 기술 불일치를 정량화한다. 이를 위해 다국어 자가 대결을 활용한다. 즉, 동일 모델의 두 인스턴스가 각각 다른 언어 인터페이스를 통해 상호작용하는 텍스트 기반 게임에서 경쟁한다. 모델, 상대방, 규칙, 상태 공간, 사용 가능한 행동이 모두 고정되어 있으므로, 이 설정은 모델의 실제 행동에 대한 언어의 영향을 분리한다. 우리는 TextArena의 다국어 확장판을 구축하고 공간 추론, 불완전 정보, 자원 할당, 반복 상호작용을 포괄하는 8개 언어와 6개 게임에 걸쳐 세 개의 오픈 가중치 모델을 평가한다. 동일한 모델이 언어에 따라 현저히 다른 플레이 강도를 보일 수 있으며, 승패 차이, 무효 행동, 전략적 성향에서 체계적인 변이가 나타난다는 것을 발견했다. 상세 분석은 공간 추론, 카드 조건 기반 결정, 최적 수 선택에서의 언어별 실패를 드러낸다. 일부 설정에서는 중간 추론 언어만 변경해도 상실된 성능의 상당 부분이 회복되는데, 이는 언어가 의사 결정 과정의 서로 다른 단계에 영향을 미칠 수 있음을 시사한다. 이러한 결과는 기술 격차가 진정한 다국어 모델 개발에 있어 측정 가능한 주요 장애물임을 보여준다. 이러한 격차를 더 잘 이해하면 언어 간 더 공평하게 작동하는 모델을 설계하는 데 도움이 될 수 있다.

English

Large language models access knowledge inconsistently across languages, but to what extent do they differ in their skill sets when interacting with different languages? This work quantifies cross-lingual skill inconsistency orthogonally from knowledge and general benchmark performance. We do this via multilingual self-play: two instances of the same model compete in a text-based game, each interacting through a different language interface. Since the model, opponent, rules, state space, and available actions remain fixed, this setting isolates the effect of language on the model's realized behavior. We build a multilingual extension to TextArena and evaluate three open-weight models across eight languages and six games covering spatial reasoning, imperfect information, resource allocation, and repeated interaction. We find that the same model can exhibit markedly different playing strength across languages, with systematic variation in win--loss margins, invalid actions, and strategic tendencies. Detailed analyses reveal language-specific failures in spatial reasoning, card-conditioned decisions, and optimal move selection. In some settings, changing only the intermediate reasoning language recovers much of the lost performance, suggesting that language can affect different stages of the decision process. These results show that skill discrepancies are a measurable major roadblock in the development of truly multilingual models. Better understanding these discrepancies can help us design models that perform more equitably across languages.