Évaluation, Synthèse et Amélioration pour le Support Client Conversationnel

papers.abstract

Un support client efficace nécessite non seulement une résolution précise des problèmes, mais aussi une communication structurée et empathique conforme aux standards professionnels. Cependant, les ensembles de données de dialogue existants manquent souvent de guidance stratégique, et les données de service réelles sont difficiles à accéder et à annoter. Pour remédier à cela, nous introduisons la tâche de Conversation de Support Client (CSC), visant à former les agents de service client à répondre en utilisant des stratégies de support bien définies. Nous proposons un cadre structuré de CSC basé sur les directives COPC, définissant cinq étapes conversationnelles et douze stratégies pour guider des interactions de haute qualité. Sur cette base, nous construisons CSConv, un ensemble de données d'évaluation de 1 855 conversations réelles entre clients et agents, réécrites à l'aide de modèles de langage (LLMs) pour refléter l'utilisation délibérée de stratégies, et annotées en conséquence. De plus, nous développons une approche de jeu de rôle qui simule des conversations riches en stratégies en utilisant des rôles alimentés par des LLMs alignés sur le cadre CSC, aboutissant à l'ensemble de données d'entraînement RoleCS. Les expériences montrent que le fine-tuning de LLMs performants sur RoleCS améliore significativement leur capacité à générer des réponses de haute qualité et alignées sur les stratégies dans CSConv. Les évaluations humaines confirment en outre des gains dans la résolution des problèmes. Tous les codes et données seront rendus publics sur https://github.com/aliyun/qwen-dianjin.

English

Effective customer support requires not only accurate problem solving but also structured and empathetic communication aligned with professional standards. However, existing dialogue datasets often lack strategic guidance, and real-world service data is difficult to access and annotate. To address this, we introduce the task of Customer Support Conversation (CSC), aimed at training customer service agents to respond using well-defined support strategies. We propose a structured CSC framework grounded in COPC guidelines, defining five conversational stages and twelve strategies to guide high-quality interactions. Based on this, we construct CSConv, an evaluation dataset of 1,855 real-world customer-agent conversations rewritten using LLMs to reflect deliberate strategy use, and annotated accordingly. Additionally, we develop a role-playing approach that simulates strategy-rich conversations using LLM-powered roles aligned with the CSC framework, resulting in the training dataset RoleCS. Experiments show that fine-tuning strong LLMs on RoleCS significantly improves their ability to generate high-quality, strategy-aligned responses on CSConv. Human evaluations further confirm gains in problem resolution. All code and data will be made publicly available at https://github.com/aliyun/qwen-dianjin.