顧客サポート会話の評価、統合、および強化

要旨

効果的なカスタマーサポートには、正確な問題解決だけでなく、専門的な基準に沿った構造化された共感的なコミュニケーションが求められます。しかし、既存の対話データセットには戦略的なガイダンスが欠けており、実際のサービスデータへのアクセスや注釈付けは困難です。この問題に対処するため、私たちは「カスタマーサポート会話（CSC）」というタスクを導入し、カスタマーサービス担当者が明確に定義されたサポート戦略を用いて応答するよう訓練することを目指します。COPCガイドラインに基づいた構造化されたCSCフレームワークを提案し、高品質なインタラクションを導くための5つの会話段階と12の戦略を定義します。これに基づいて、LLMを使用して意図的な戦略の使用を反映するよう書き直された1,855件の実際の顧客とエージェントの会話からなる評価データセットCSConvを構築し、それに応じて注釈を付けました。さらに、CSCフレームワークに沿ったLLM駆動の役割を使用して戦略豊富な会話をシミュレートするロールプレイングアプローチを開発し、トレーニングデータセットRoleCSを作成しました。実験では、RoleCSで強力なLLMをファインチューニングすることで、CSConvにおいて高品質で戦略に沿った応答を生成する能力が大幅に向上することが示されました。人間による評価でも、問題解決の向上が確認されています。すべてのコードとデータはhttps://github.com/aliyun/qwen-dianjinで公開されます。

English

Effective customer support requires not only accurate problem solving but also structured and empathetic communication aligned with professional standards. However, existing dialogue datasets often lack strategic guidance, and real-world service data is difficult to access and annotate. To address this, we introduce the task of Customer Support Conversation (CSC), aimed at training customer service agents to respond using well-defined support strategies. We propose a structured CSC framework grounded in COPC guidelines, defining five conversational stages and twelve strategies to guide high-quality interactions. Based on this, we construct CSConv, an evaluation dataset of 1,855 real-world customer-agent conversations rewritten using LLMs to reflect deliberate strategy use, and annotated accordingly. Additionally, we develop a role-playing approach that simulates strategy-rich conversations using LLM-powered roles aligned with the CSC framework, resulting in the training dataset RoleCS. Experiments show that fine-tuning strong LLMs on RoleCS significantly improves their ability to generate high-quality, strategy-aligned responses on CSConv. Human evaluations further confirm gains in problem resolution. All code and data will be made publicly available at https://github.com/aliyun/qwen-dianjin.