Avaliação, Síntese e Aprimoramento para Conversas de Suporte ao Cliente

Resumo

Um suporte ao cliente eficaz requer não apenas a resolução precisa de problemas, mas também uma comunicação estruturada e empática alinhada com padrões profissionais. No entanto, os conjuntos de dados de diálogo existentes frequentemente carecem de orientação estratégica, e os dados de serviços do mundo real são difíceis de acessar e anotar. Para abordar isso, introduzimos a tarefa de Conversa de Suporte ao Cliente (CSC), destinada a treinar agentes de atendimento ao cliente para responder usando estratégias de suporte bem definidas. Propomos um framework estruturado de CSC baseado nas diretrizes COPC, definindo cinco estágios conversacionais e doze estratégias para orientar interações de alta qualidade. Com base nisso, construímos o CSConv, um conjunto de dados de avaliação de 1.855 conversas reais entre cliente e agente reescritas usando LLMs para refletir o uso deliberado de estratégias, e anotadas de acordo. Além disso, desenvolvemos uma abordagem de role-playing que simula conversas ricas em estratégias usando papéis alimentados por LLMs alinhados com o framework CSC, resultando no conjunto de dados de treinamento RoleCS. Experimentos mostram que o ajuste fino de LLMs robustos no RoleCS melhora significativamente sua capacidade de gerar respostas de alta qualidade e alinhadas com estratégias no CSConv. Avaliações humanas confirmam ainda mais ganhos na resolução de problemas. Todo o código e dados serão disponibilizados publicamente em https://github.com/aliyun/qwen-dianjin.

English

Effective customer support requires not only accurate problem solving but also structured and empathetic communication aligned with professional standards. However, existing dialogue datasets often lack strategic guidance, and real-world service data is difficult to access and annotate. To address this, we introduce the task of Customer Support Conversation (CSC), aimed at training customer service agents to respond using well-defined support strategies. We propose a structured CSC framework grounded in COPC guidelines, defining five conversational stages and twelve strategies to guide high-quality interactions. Based on this, we construct CSConv, an evaluation dataset of 1,855 real-world customer-agent conversations rewritten using LLMs to reflect deliberate strategy use, and annotated accordingly. Additionally, we develop a role-playing approach that simulates strategy-rich conversations using LLM-powered roles aligned with the CSC framework, resulting in the training dataset RoleCS. Experiments show that fine-tuning strong LLMs on RoleCS significantly improves their ability to generate high-quality, strategy-aligned responses on CSConv. Human evaluations further confirm gains in problem resolution. All code and data will be made publicly available at https://github.com/aliyun/qwen-dianjin.