Evaluación, Síntesis y Mejora para Conversaciones de Soporte al Cliente

Resumen

Un soporte al cliente efectivo requiere no solo la resolución precisa de problemas, sino también una comunicación estructurada y empática alineada con estándares profesionales. Sin embargo, los conjuntos de datos de diálogo existentes a menudo carecen de orientación estratégica, y los datos de servicio del mundo real son difíciles de acceder y anotar. Para abordar esto, introducimos la tarea de Conversación de Soporte al Cliente (CSC, por sus siglas en inglés), destinada a capacitar a los agentes de servicio al cliente para responder utilizando estrategias de soporte bien definidas. Proponemos un marco estructurado de CSC basado en las directrices COPC, definiendo cinco etapas conversacionales y doce estrategias para guiar interacciones de alta calidad. Basándonos en esto, construimos CSConv, un conjunto de datos de evaluación de 1,855 conversaciones reales entre clientes y agentes reescritas utilizando LLMs para reflejar el uso deliberado de estrategias, y anotadas en consecuencia. Además, desarrollamos un enfoque de juego de roles que simula conversaciones ricas en estrategias utilizando roles impulsados por LLMs alineados con el marco CSC, resultando en el conjunto de datos de entrenamiento RoleCS. Los experimentos muestran que el ajuste fino de LLMs potentes en RoleCS mejora significativamente su capacidad para generar respuestas de alta calidad y alineadas con estrategias en CSConv. Las evaluaciones humanas confirman además mejoras en la resolución de problemas. Todo el código y los datos estarán disponibles públicamente en https://github.com/aliyun/qwen-dianjin.

English

Effective customer support requires not only accurate problem solving but also structured and empathetic communication aligned with professional standards. However, existing dialogue datasets often lack strategic guidance, and real-world service data is difficult to access and annotate. To address this, we introduce the task of Customer Support Conversation (CSC), aimed at training customer service agents to respond using well-defined support strategies. We propose a structured CSC framework grounded in COPC guidelines, defining five conversational stages and twelve strategies to guide high-quality interactions. Based on this, we construct CSConv, an evaluation dataset of 1,855 real-world customer-agent conversations rewritten using LLMs to reflect deliberate strategy use, and annotated accordingly. Additionally, we develop a role-playing approach that simulates strategy-rich conversations using LLM-powered roles aligned with the CSC framework, resulting in the training dataset RoleCS. Experiments show that fine-tuning strong LLMs on RoleCS significantly improves their ability to generate high-quality, strategy-aligned responses on CSConv. Human evaluations further confirm gains in problem resolution. All code and data will be made publicly available at https://github.com/aliyun/qwen-dianjin.