CS-Sum: Een Benchmark voor Code-Switching Dialoogsamenvatting en de Grenzen van Grote Taalmodellen

CS-Sum: A Benchmark for Code-Switching Dialogue Summarization and the Limits of Large Language Models

May 19, 2025

Auteurs: Sathya Krishnan Suresh, Tanmay Surana, Lim Zhi Hao, Eng Siong Chng

cs.AI

Samenvatting

Code-switching (CS) vormt een aanzienlijke uitdaging voor Large Language Models (LLM's), maar de begrijpelijkheid ervan blijft onderbelicht in LLM's. We introduceren CS-Sum om de begrijpelijkheid van CS door LLM's te evalueren via CS-dialoog naar Engelse samenvatting. CS-Sum is de eerste benchmark voor CS-dialoogsamenvatting voor Mandarijn-Engels (EN-ZH), Tamil-Engels (EN-TA) en Maleis-Engels (EN-MS), met 900-1300 door mensen geannoteerde dialogen per taalpaar. Door tien LLM's te evalueren, waaronder open en closed-source modellen, analyseren we de prestaties bij few-shot, translate-summarize en fine-tuning (LoRA, QLoRA op synthetische data) benaderingen. Onze bevindingen tonen aan dat hoewel de scores op geautomatiseerde metrieken hoog zijn, LLM's subtiele fouten maken die de volledige betekenis van de dialoog veranderen. Daarom introduceren we de 3 meest voorkomende type fouten die LLM's maken bij het verwerken van CS-invoer. Foutpercentages variëren tussen CS-paren en LLM's, waarbij sommige LLM's vaker fouten maken bij bepaalde taalparen, wat de noodzaak onderstreept van gespecialiseerde training op code-switched data.

English

Code-switching (CS) poses a significant challenge for Large Language Models (LLMs), yet its comprehensibility remains underexplored in LLMs. We introduce CS-Sum, to evaluate the comprehensibility of CS by the LLMs through CS dialogue to English summarization. CS-Sum is the first benchmark for CS dialogue summarization across Mandarin-English (EN-ZH), Tamil-English (EN-TA), and Malay-English (EN-MS), with 900-1300 human-annotated dialogues per language pair. Evaluating ten LLMs, including open and closed-source models, we analyze performance across few-shot, translate-summarize, and fine-tuning (LoRA, QLoRA on synthetic data) approaches. Our findings show that though the scores on automated metrics are high, LLMs make subtle mistakes that alter the complete meaning of the dialogue. To this end, we introduce 3 most common type of errors that LLMs make when handling CS input. Error rates vary across CS pairs and LLMs, with some LLMs showing more frequent errors on certain language pairs, underscoring the need for specialized training on code-switched data.