Оценка, синтез и улучшение поддержки клиентов в диалогах

Аннотация

Эффективная поддержка клиентов требует не только точного решения проблем, но и структурированного и эмпатичного общения, соответствующего профессиональным стандартам. Однако существующие наборы диалогов часто не содержат стратегических рекомендаций, а данные из реальных служб поддержки сложно получить и аннотировать. Для решения этой проблемы мы представляем задачу "Диалог поддержки клиентов" (Customer Support Conversation, CSC), направленную на обучение агентов службы поддержки отвечать с использованием четко определенных стратегий. Мы предлагаем структурированную CSC-модель, основанную на рекомендациях COPC, определяющую пять этапов диалога и двенадцать стратегий для обеспечения высококачественного взаимодействия. На основе этого мы создаем CSConv — оценочный набор данных, состоящий из 1855 реальных диалогов между клиентами и агентами, переписанных с использованием языковых моделей (LLM) для отражения осознанного применения стратегий и соответствующим образом аннотированных. Кроме того, мы разрабатываем подход, основанный на ролевых играх, который моделирует стратегически насыщенные диалоги с использованием ролей, управляемых LLM и соответствующих CSC-модели, что приводит к созданию обучающего набора данных RoleCS. Эксперименты показывают, что тонкая настройка мощных LLM на данных RoleCS значительно улучшает их способность генерировать высококачественные ответы, соответствующие стратегиям, на данных CSConv. Человеческая оценка также подтверждает улучшения в разрешении проблем. Весь код и данные будут доступны публично по адресу https://github.com/aliyun/qwen-dianjin.

English

Effective customer support requires not only accurate problem solving but also structured and empathetic communication aligned with professional standards. However, existing dialogue datasets often lack strategic guidance, and real-world service data is difficult to access and annotate. To address this, we introduce the task of Customer Support Conversation (CSC), aimed at training customer service agents to respond using well-defined support strategies. We propose a structured CSC framework grounded in COPC guidelines, defining five conversational stages and twelve strategies to guide high-quality interactions. Based on this, we construct CSConv, an evaluation dataset of 1,855 real-world customer-agent conversations rewritten using LLMs to reflect deliberate strategy use, and annotated accordingly. Additionally, we develop a role-playing approach that simulates strategy-rich conversations using LLM-powered roles aligned with the CSC framework, resulting in the training dataset RoleCS. Experiments show that fine-tuning strong LLMs on RoleCS significantly improves their ability to generate high-quality, strategy-aligned responses on CSConv. Human evaluations further confirm gains in problem resolution. All code and data will be made publicly available at https://github.com/aliyun/qwen-dianjin.