고객 지원 대화 평가, 통합 및 개선

초록

효과적인 고객 지원은 정확한 문제 해결뿐만 아니라 전문적 기준에 부합하는 구조적이고 공감적인 커뮤니케이션을 요구합니다. 그러나 기존의 대화 데이터셋은 전략적 지침이 부족하며, 실제 서비스 데이터는 접근 및 주석 달기가 어렵습니다. 이를 해결하기 위해, 우리는 고객 서비스 담당자가 명확히 정의된 지원 전략을 사용하여 응답하도록 훈련시키는 것을 목표로 하는 고객 지원 대화(Customer Support Conversation, CSC) 작업을 소개합니다. 우리는 COPC 가이드라인에 기반한 구조화된 CSC 프레임워크를 제안하며, 고품질 상호작용을 이끌기 위한 다섯 가지 대화 단계와 열두 가지 전략을 정의합니다. 이를 바탕으로, 우리는 LLM(Large Language Model)을 사용하여 의도적인 전략 사용을 반영하도록 재작성된 1,855개의 실제 고객-에이전트 대화로 구성된 평가 데이터셋인 CSConv를 구축하고, 이에 맞게 주석을 달았습니다. 또한, CSC 프레임워크에 맞춰 LLM 기반 역할을 사용하여 전략이 풍부한 대화를 시뮬레이션하는 역할극 접근 방식을 개발하여, 훈련 데이터셋인 RoleCS를 생성했습니다. 실험 결과, RoleCS로 강력한 LLM을 미세 조정하면 CSConv에서 전략에 부합하는 고품질 응답을 생성하는 능력이 크게 향상됨을 보여줍니다. 인간 평가는 또한 문제 해결 측면에서의 개선을 추가로 확인합니다. 모든 코드와 데이터는 https://github.com/aliyun/qwen-dianjin에서 공개될 예정입니다.

English

Effective customer support requires not only accurate problem solving but also structured and empathetic communication aligned with professional standards. However, existing dialogue datasets often lack strategic guidance, and real-world service data is difficult to access and annotate. To address this, we introduce the task of Customer Support Conversation (CSC), aimed at training customer service agents to respond using well-defined support strategies. We propose a structured CSC framework grounded in COPC guidelines, defining five conversational stages and twelve strategies to guide high-quality interactions. Based on this, we construct CSConv, an evaluation dataset of 1,855 real-world customer-agent conversations rewritten using LLMs to reflect deliberate strategy use, and annotated accordingly. Additionally, we develop a role-playing approach that simulates strategy-rich conversations using LLM-powered roles aligned with the CSC framework, resulting in the training dataset RoleCS. Experiments show that fine-tuning strong LLMs on RoleCS significantly improves their ability to generate high-quality, strategy-aligned responses on CSConv. Human evaluations further confirm gains in problem resolution. All code and data will be made publicly available at https://github.com/aliyun/qwen-dianjin.