Verloren in de Mix: Evaluatie van LLM-begrip van Code-Switched Tekst

Lost in the Mix: Evaluating LLM Understanding of Code-Switched Text

June 16, 2025

Auteurs: Amr Mohamed, Yang Zhang, Michalis Vazirgiannis, Guokan Shang

cs.AI

Samenvatting

Codewisseling (CSW) is het afwisselen van twee of meer talen binnen een enkel discours. Dit fenomeen komt veel voor in meertalige gemeenschappen en wordt steeds gebruikelijker in online content, waar gebruikers talen van nature mengen in alledaagse communicatie. Als gevolg hiervan worden Large Language Models (LLM's), die nu centraal staan in contentverwerking en -generatie, vaak blootgesteld aan invoer met codewisseling. Gezien hun brede toepassing is het cruciaal om te begrijpen hoe LLM's dergelijke gemengd-talige tekst verwerken en interpreteren. Dit artikel presenteert een systematische evaluatie van het begrip van LLM's onder codewisseling door CSW-varianten te genereren van gevestigde benchmarks voor redeneren en begrip. Hoewel achteruitgang duidelijk is wanneer vreemde tokens Engelse tekst verstoren—zelfs onder linguïstische beperkingen—verbetert het inbedden van Engels in andere talen vaak het begrip. Hoewel prompting gemengde resultaten oplevert, biedt fine-tuning een stabielere weg om achteruitgang te verminderen.

English

Code-switching (CSW) is the act of alternating between two or more languages within a single discourse. This phenomenon is widespread in multilingual communities, and increasingly prevalent in online content, where users naturally mix languages in everyday communication. As a result, Large Language Models (LLMs), now central to content processing and generation, are frequently exposed to code-switched inputs. Given their widespread use, it is crucial to understand how LLMs process and reason about such mixed-language text. This paper presents a systematic evaluation of LLM comprehension under code-switching by generating CSW variants of established reasoning and comprehension benchmarks. While degradation is evident when foreign tokens disrupt English textx2013even under linguistic constraintsx2013embedding English into other languages often improves comprehension. Though prompting yields mixed results, fine-tuning offers a more stable path to degradation mitigation.