Valutazione, Sintesi e Miglioramento per il Supporto Clienti nelle Conversazioni

Abstract

Un supporto clienti efficace richiede non solo una risoluzione accurata dei problemi, ma anche una comunicazione strutturata ed empatica allineata agli standard professionali. Tuttavia, i dataset di dialogo esistenti spesso mancano di una guida strategica, e i dati di servizio del mondo reale sono difficili da accedere e annotare. Per affrontare questo problema, introduciamo il task di Conversazione di Supporto Clienti (CSC), finalizzato a formare gli agenti di servizio clienti a rispondere utilizzando strategie di supporto ben definite. Proponiamo un framework strutturato per il CSC basato sulle linee guida COPC, definendo cinque fasi conversazionali e dodici strategie per guidare interazioni di alta qualità. Sulla base di ciò, costruiamo CSConv, un dataset di valutazione composto da 1.855 conversazioni reali tra clienti e agenti riscritte utilizzando LLM per riflettere un uso deliberato delle strategie, e annotate di conseguenza. Inoltre, sviluppiamo un approccio di role-playing che simula conversazioni ricche di strategie utilizzando ruoli alimentati da LLM allineati con il framework CSC, risultando nel dataset di addestramento RoleCS. Gli esperimenti dimostrano che il fine-tuning di LLM avanzati su RoleCS migliora significativamente la loro capacità di generare risposte di alta qualità e allineate alle strategie su CSConv. Le valutazioni umane confermano ulteriormente i miglioramenti nella risoluzione dei problemi. Tutto il codice e i dati saranno resi pubblicamente disponibili su https://github.com/aliyun/qwen-dianjin.

English

Effective customer support requires not only accurate problem solving but also structured and empathetic communication aligned with professional standards. However, existing dialogue datasets often lack strategic guidance, and real-world service data is difficult to access and annotate. To address this, we introduce the task of Customer Support Conversation (CSC), aimed at training customer service agents to respond using well-defined support strategies. We propose a structured CSC framework grounded in COPC guidelines, defining five conversational stages and twelve strategies to guide high-quality interactions. Based on this, we construct CSConv, an evaluation dataset of 1,855 real-world customer-agent conversations rewritten using LLMs to reflect deliberate strategy use, and annotated accordingly. Additionally, we develop a role-playing approach that simulates strategy-rich conversations using LLM-powered roles aligned with the CSC framework, resulting in the training dataset RoleCS. Experiments show that fine-tuning strong LLMs on RoleCS significantly improves their ability to generate high-quality, strategy-aligned responses on CSConv. Human evaluations further confirm gains in problem resolution. All code and data will be made publicly available at https://github.com/aliyun/qwen-dianjin.