CS-Sum: コードスイッチング対話要約のベンチマークと大規模言語モデルの限界

CS-Sum: A Benchmark for Code-Switching Dialogue Summarization and the Limits of Large Language Models

May 19, 2025

著者: Sathya Krishnan Suresh, Tanmay Surana, Lim Zhi Hao, Eng Siong Chng

cs.AI

要旨

コードスイッチング（CS）は大規模言語モデル（LLM）にとって重要な課題であるが、その理解可能性についてはLLMにおいて十分に検討されていない。本論文では、CS対話を英語の要約に変換することでLLMのCS理解能力を評価するためのCS-Sumを提案する。CS-Sumは、北京語-英語（EN-ZH）、タミル語-英語（EN-TA）、マレー語-英語（EN-MS）の3つの言語ペアにわたるCS対話要約の最初のベンチマークであり、各言語ペアにつき900～1300の人手注釈付き対話を収録している。オープンソースおよびクローズドソースのモデルを含む10種類のLLMを評価し、Few-shot、翻訳-要約、および微調整（LoRA、QLoRAを合成データに適用）のアプローチにおける性能を分析した。その結果、自動評価指標のスコアは高いものの、LLMは対話の完全な意味を変える微妙な誤りを犯すことが明らかとなった。これを受けて、LLMがCS入力を処理する際に犯す最も一般的な3種類のエラーを提示する。エラー率はCSペアおよびLLMによって異なり、特定の言語ペアにおいてより頻繁にエラーを起こすLLMも存在し、コードスイッチングデータに対する専門的なトレーニングの必要性が強調される。

English

Code-switching (CS) poses a significant challenge for Large Language Models (LLMs), yet its comprehensibility remains underexplored in LLMs. We introduce CS-Sum, to evaluate the comprehensibility of CS by the LLMs through CS dialogue to English summarization. CS-Sum is the first benchmark for CS dialogue summarization across Mandarin-English (EN-ZH), Tamil-English (EN-TA), and Malay-English (EN-MS), with 900-1300 human-annotated dialogues per language pair. Evaluating ten LLMs, including open and closed-source models, we analyze performance across few-shot, translate-summarize, and fine-tuning (LoRA, QLoRA on synthetic data) approaches. Our findings show that though the scores on automated metrics are high, LLMs make subtle mistakes that alter the complete meaning of the dialogue. To this end, we introduce 3 most common type of errors that LLMs make when handling CS input. Error rates vary across CS pairs and LLMs, with some LLMs showing more frequent errors on certain language pairs, underscoring the need for specialized training on code-switched data.