Perdido en la mezcla: Evaluando la comprensión de LLM sobre texto con cambio de código

Lost in the Mix: Evaluating LLM Understanding of Code-Switched Text

June 16, 2025

Autores: Amr Mohamed, Yang Zhang, Michalis Vazirgiannis, Guokan Shang

cs.AI

Resumen

El cambio de código (CSW, por sus siglas en inglés) es el acto de alternar entre dos o más lenguajes dentro de un mismo discurso. Este fenómeno está ampliamente extendido en comunidades multilingües y es cada vez más frecuente en el contenido en línea, donde los usuarios mezclan idiomas de manera natural en su comunicación cotidiana. Como resultado, los Modelos de Lenguaje de Gran Escala (LLMs), que ahora son fundamentales para el procesamiento y generación de contenido, están frecuentemente expuestos a entradas con cambio de código. Dado su uso generalizado, es crucial comprender cómo los LLMs procesan y razonan sobre este tipo de texto multilingüe. Este artículo presenta una evaluación sistemática de la comprensión de los LLMs bajo el cambio de código, generando variantes CSW de benchmarks establecidos de razonamiento y comprensión. Si bien se observa una degradación cuando los tokens en idiomas extranjeros interrumpen el texto en inglés—incluso bajo restricciones lingüísticas—la incorporación del inglés en otros idiomas a menudo mejora la comprensión. Aunque el uso de prompts arroja resultados mixtos, el ajuste fino ofrece un camino más estable para mitigar la degradación.

English

Code-switching (CSW) is the act of alternating between two or more languages within a single discourse. This phenomenon is widespread in multilingual communities, and increasingly prevalent in online content, where users naturally mix languages in everyday communication. As a result, Large Language Models (LLMs), now central to content processing and generation, are frequently exposed to code-switched inputs. Given their widespread use, it is crucial to understand how LLMs process and reason about such mixed-language text. This paper presents a systematic evaluation of LLM comprehension under code-switching by generating CSW variants of established reasoning and comprehension benchmarks. While degradation is evident when foreign tokens disrupt English textx2013even under linguistic constraintsx2013embedding English into other languages often improves comprehension. Though prompting yields mixed results, fine-tuning offers a more stable path to degradation mitigation.