Evaluatie, Synthese en Verbetering van Klantondersteuningsgesprekken

Samenvatting

Effectieve klantenservice vereist niet alleen nauwkeurige probleemoplossing, maar ook gestructureerde en empathische communicatie die aansluit bij professionele standaarden. Bestaande dialoogdatasets bieden echter vaak geen strategische richtlijnen, en real-world servicedata is moeilijk toegankelijk en te annoteren. Om dit aan te pakken, introduceren we de taak van Customer Support Conversation (CSC), gericht op het trainen van klantenservicemedewerkers om te reageren met behulp van goed gedefinieerde ondersteuningsstrategieën. We stellen een gestructureerd CSC-raamwerk voor, gebaseerd op COPC-richtlijnen, dat vijf conversatiefasen en twaalf strategieën definieert om hoogwaardige interacties te begeleiden. Op basis hiervan construeren we CSConv, een evaluatiedataset van 1.855 real-world klant-agentgesprekken die zijn herschreven met behulp van LLM's om bewust strategiegebruik te weerspiegelen, en dienovereenkomstig geannoteerd. Daarnaast ontwikkelen we een rollenspelbenadering die strategierijke gesprekken simuleert met behulp van LLM-gestuurde rollen die zijn afgestemd op het CSC-raamwerk, wat resulteert in de trainingsdataset RoleCS. Experimenten tonen aan dat het fine-tunen van sterke LLM's op RoleCS hun vermogen om hoogwaardige, strategie-afgestemde reacties te genereren op CSConv aanzienlijk verbetert. Menselijke evaluaties bevestigen verder verbeteringen in probleemoplossing. Alle code en data zullen openbaar beschikbaar worden gesteld op https://github.com/aliyun/qwen-dianjin.

English

Effective customer support requires not only accurate problem solving but also structured and empathetic communication aligned with professional standards. However, existing dialogue datasets often lack strategic guidance, and real-world service data is difficult to access and annotate. To address this, we introduce the task of Customer Support Conversation (CSC), aimed at training customer service agents to respond using well-defined support strategies. We propose a structured CSC framework grounded in COPC guidelines, defining five conversational stages and twelve strategies to guide high-quality interactions. Based on this, we construct CSConv, an evaluation dataset of 1,855 real-world customer-agent conversations rewritten using LLMs to reflect deliberate strategy use, and annotated accordingly. Additionally, we develop a role-playing approach that simulates strategy-rich conversations using LLM-powered roles aligned with the CSC framework, resulting in the training dataset RoleCS. Experiments show that fine-tuning strong LLMs on RoleCS significantly improves their ability to generate high-quality, strategy-aligned responses on CSConv. Human evaluations further confirm gains in problem resolution. All code and data will be made publicly available at https://github.com/aliyun/qwen-dianjin.