Bewertung, Synthese und Verbesserung von Kundensupport-Konversationen

papers.abstract

Effektiver Kundensupport erfordert nicht nur präzise Problemlösung, sondern auch strukturierte und einfühlsame Kommunikation, die professionellen Standards entspricht. Allerdings mangelt es in bestehenden Dialogdatensätzen oft an strategischer Anleitung, und reale Servicedaten sind schwer zugänglich und zu annotieren. Um dies zu adressieren, führen wir die Aufgabe der Kundensupport-Konversation (Customer Support Conversation, CSC) ein, die darauf abzielt, Kundenservice-Mitarbeiter darin zu schulen, mithilfe klar definierter Supportstrategien zu antworten. Wir schlagen ein strukturiertes CSC-Rahmenwerk vor, das auf COPC-Richtlinien basiert und fünf Konversationsphasen sowie zwölf Strategien definiert, um hochwertige Interaktionen zu leiten. Auf dieser Grundlage erstellen wir CSConv, einen Evaluationsdatensatz von 1.855 realen Kunden-Agenten-Konversationen, die mithilfe von LLMs umgeschrieben wurden, um gezielte Strategieanwendung widerzuspiegeln und entsprechend annotiert sind. Zusätzlich entwickeln wir einen Rollenspielansatz, der strategiereiche Konversationen simuliert, indem LLM-gestützte Rollen verwendet werden, die mit dem CSC-Rahmenwerk abgestimmt sind, was den Trainingsdatensatz RoleCS ergibt. Experimente zeigen, dass das Feinabstimmen starker LLMs auf RoleCS ihre Fähigkeit signifikant verbessert, hochwertige, strategieorientierte Antworten auf CSConv zu generieren. Menschliche Bewertungen bestätigen weiterhin Verbesserungen in der Problemlösung. Der gesamte Code und die Daten werden öffentlich unter https://github.com/aliyun/qwen-dianjin verfügbar gemacht.

English

Effective customer support requires not only accurate problem solving but also structured and empathetic communication aligned with professional standards. However, existing dialogue datasets often lack strategic guidance, and real-world service data is difficult to access and annotate. To address this, we introduce the task of Customer Support Conversation (CSC), aimed at training customer service agents to respond using well-defined support strategies. We propose a structured CSC framework grounded in COPC guidelines, defining five conversational stages and twelve strategies to guide high-quality interactions. Based on this, we construct CSConv, an evaluation dataset of 1,855 real-world customer-agent conversations rewritten using LLMs to reflect deliberate strategy use, and annotated accordingly. Additionally, we develop a role-playing approach that simulates strategy-rich conversations using LLM-powered roles aligned with the CSC framework, resulting in the training dataset RoleCS. Experiments show that fine-tuning strong LLMs on RoleCS significantly improves their ability to generate high-quality, strategy-aligned responses on CSConv. Human evaluations further confirm gains in problem resolution. All code and data will be made publicly available at https://github.com/aliyun/qwen-dianjin.