Verloren im Mix: Bewertung des Verständnisses von Code-Switching durch LLMs

Lost in the Mix: Evaluating LLM Understanding of Code-Switched Text

June 16, 2025

Autoren: Amr Mohamed, Yang Zhang, Michalis Vazirgiannis, Guokan Shang

cs.AI

Zusammenfassung

Code-Switching (CSW) bezeichnet den Wechsel zwischen zwei oder mehr Sprachen innerhalb eines einzelnen Diskurses. Dieses Phänomen ist in multilingualen Gemeinschaften weit verbreitet und zunehmend in Online-Inhalten präsent, wo Nutzer im Alltag natürlicherweise Sprachen vermischen. Infolgedessen sind Large Language Models (LLMs), die mittlerweile zentral für die Verarbeitung und Generierung von Inhalten sind, häufig mit code-switched Eingaben konfrontiert. Angesichts ihrer weitreichenden Nutzung ist es entscheidend zu verstehen, wie LLMs derart gemischtsprachige Texte verarbeiten und interpretieren. Diese Arbeit präsentiert eine systematische Evaluierung des Verständnisses von LLMs unter Code-Switching, indem CSW-Varianten etablierter Verständnis- und Schlussfolgerungs-Benchmarks generiert werden. Während eine Verschlechterung offensichtlich ist, wenn fremde Token englische Texte unterbrechen – selbst unter linguistischen Einschränkungen –, führt die Einbettung von Englisch in andere Sprachen oft zu einem verbesserten Verständnis. Obwohl Prompting gemischte Ergebnisse liefert, bietet Fine-Tuning einen stabileren Weg zur Minderung von Verschlechterungen.

English

Code-switching (CSW) is the act of alternating between two or more languages within a single discourse. This phenomenon is widespread in multilingual communities, and increasingly prevalent in online content, where users naturally mix languages in everyday communication. As a result, Large Language Models (LLMs), now central to content processing and generation, are frequently exposed to code-switched inputs. Given their widespread use, it is crucial to understand how LLMs process and reason about such mixed-language text. This paper presents a systematic evaluation of LLM comprehension under code-switching by generating CSW variants of established reasoning and comprehension benchmarks. While degradation is evident when foreign tokens disrupt English textx2013even under linguistic constraintsx2013embedding English into other languages often improves comprehension. Though prompting yields mixed results, fine-tuning offers a more stable path to degradation mitigation.