CS-Sum: Un punto de referencia para la resumen de diálogos con cambio de código y los límites de los modelos de lenguaje de gran escala

CS-Sum: A Benchmark for Code-Switching Dialogue Summarization and the Limits of Large Language Models

May 19, 2025

Autores: Sathya Krishnan Suresh, Tanmay Surana, Lim Zhi Hao, Eng Siong Chng

cs.AI

Resumen

El cambio de código (CS, por sus siglas en inglés) representa un desafío significativo para los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés), sin embargo, su comprensibilidad sigue siendo poco explorada en estos modelos. Presentamos CS-Sum, una herramienta para evaluar la comprensibilidad del CS por parte de los LLMs a través de la resumen de diálogos con CS al inglés. CS-Sum es el primer punto de referencia para la resumen de diálogos con CS en pares de idiomas como mandarín-inglés (EN-ZH), tamil-inglés (EN-TA) y malayo-inglés (EN-MS), con 900-1300 diálogos anotados manualmente por cada par de idiomas. Al evaluar diez LLMs, incluyendo modelos de código abierto y cerrado, analizamos el rendimiento en enfoques de pocos ejemplos, traducción-resumen y ajuste fino (LoRA, QLoRA en datos sintéticos). Nuestros hallazgos muestran que, aunque las puntuaciones en métricas automatizadas son altas, los LLMs cometen errores sutiles que alteran el significado completo del diálogo. Con este fin, presentamos los 3 tipos de errores más comunes que cometen los LLMs al manejar entradas con CS. Las tasas de error varían entre los pares de CS y los LLMs, con algunos modelos mostrando errores más frecuentes en ciertos pares de idiomas, lo que subraya la necesidad de un entrenamiento especializado en datos con cambio de código.

English

Code-switching (CS) poses a significant challenge for Large Language Models (LLMs), yet its comprehensibility remains underexplored in LLMs. We introduce CS-Sum, to evaluate the comprehensibility of CS by the LLMs through CS dialogue to English summarization. CS-Sum is the first benchmark for CS dialogue summarization across Mandarin-English (EN-ZH), Tamil-English (EN-TA), and Malay-English (EN-MS), with 900-1300 human-annotated dialogues per language pair. Evaluating ten LLMs, including open and closed-source models, we analyze performance across few-shot, translate-summarize, and fine-tuning (LoRA, QLoRA on synthetic data) approaches. Our findings show that though the scores on automated metrics are high, LLMs make subtle mistakes that alter the complete meaning of the dialogue. To this end, we introduce 3 most common type of errors that LLMs make when handling CS input. Error rates vary across CS pairs and LLMs, with some LLMs showing more frequent errors on certain language pairs, underscoring the need for specialized training on code-switched data.