CS-Sum: Um Benchmark para Sumarização de Diálogos com Alternância de Códigos e os Limites dos Modelos de Linguagem de Grande Escala

CS-Sum: A Benchmark for Code-Switching Dialogue Summarization and the Limits of Large Language Models

May 19, 2025

Autores: Sathya Krishnan Suresh, Tanmay Surana, Lim Zhi Hao, Eng Siong Chng

cs.AI

Resumo

A alternância de código (CS, do inglês Code-Switching) representa um desafio significativo para os Modelos de Linguagem de Grande Escala (LLMs, do inglês Large Language Models), mas sua compreensibilidade ainda é pouco explorada nesses modelos. Apresentamos o CS-Sum, uma ferramenta para avaliar a compreensibilidade da CS pelos LLMs por meio da sumarização de diálogos em CS para o inglês. O CS-Sum é o primeiro benchmark para sumarização de diálogos em CS abrangendo os pares Mandarim-Inglês (EN-ZH), Tâmil-Inglês (EN-TA) e Malaio-Inglês (EN-MS), com 900 a 1300 diálogos anotados manualmente por par de idiomas. Avaliando dez LLMs, incluindo modelos de código aberto e fechado, analisamos o desempenho em abordagens de few-shot, tradução-summarização e fine-tuning (LoRA, QLoRA em dados sintéticos). Nossos resultados mostram que, embora as pontuações em métricas automatizadas sejam altas, os LLMs cometem erros sutis que alteram o significado completo do diálogo. Para isso, identificamos os 3 tipos mais comuns de erros que os LLMs cometem ao processar entradas em CS. As taxas de erro variam entre os pares de CS e os LLMs, com alguns modelos apresentando erros mais frequentes em determinados pares de idiomas, destacando a necessidade de treinamento especializado em dados com alternância de código.

English

Code-switching (CS) poses a significant challenge for Large Language Models (LLMs), yet its comprehensibility remains underexplored in LLMs. We introduce CS-Sum, to evaluate the comprehensibility of CS by the LLMs through CS dialogue to English summarization. CS-Sum is the first benchmark for CS dialogue summarization across Mandarin-English (EN-ZH), Tamil-English (EN-TA), and Malay-English (EN-MS), with 900-1300 human-annotated dialogues per language pair. Evaluating ten LLMs, including open and closed-source models, we analyze performance across few-shot, translate-summarize, and fine-tuning (LoRA, QLoRA on synthetic data) approaches. Our findings show that though the scores on automated metrics are high, LLMs make subtle mistakes that alter the complete meaning of the dialogue. To this end, we introduce 3 most common type of errors that LLMs make when handling CS input. Error rates vary across CS pairs and LLMs, with some LLMs showing more frequent errors on certain language pairs, underscoring the need for specialized training on code-switched data.