예시를 작업 지침으로 증류: 실제 B2B 대화를 위한 향상된 인컨텍스트 학습

초록

맥락 내 학습(In-context learning, ICL)은 저자원 분류에서 표준적인 방법이지만, 전문 분야에서의 효과성은 아직 충분히 탐구되지 않았다. 본 연구에서는 여러 개의 소수 샷 예제를 결합함에 따라 맥락 길이가 증가할 때 전통적인 ICL이 상당한 한계를 겪는, 의미적으로 복잡한 다자간 B2B 대화를 분류하는 과제를 다룬다. 실제 B2B 대화에서 추출된 핵심 영업 개념을 대상으로 하는 다섯 가지 분류 과제를 포함하는 Call Playbook 데이터셋을 소개한다. 성능과 실용성 간의 격차를 해소하기 위해, 장황한 예제를 구조화된 분류 기준과 정밀한 과제 설명으로 구성된 간결하고 해석 가능한 표현으로 압축하는 새로운 지식 추출 방법을 제안한다. 본 접근법은 전통적인 ICL 대비 토큰 사용량을 99% 감소시키고 매크로 평균 AUC를 최대 7% 향상시킨다. 특히, 고급 토큰 압축 기준선이 맥락 증가 시 F1 점수 9포인트 이상 하락하는 반면, 본 프레임워크는 맥락 증가에도 강건함을 유지한다. 중요하게도, 본 프레임워크는 분류 로직의 직접적인 개선을 가능하게 하여 실제 NLP 애플리케이션에서 투명성, 효율성 및 사용자 상호작용에 대한 중요한 요구를 해결한다.

English

In-context learning (ICL) is the standard method for low-resource classification, yet its efficacy in specialized domains remains largely unexplored. We address the challenge of classifying semantically complex, multi-party B2B conversations, where traditional ICL encounters significant limitations, especially as context length increases due to the concatenation of multiple few-shot examples. We introduce the Call Playbook dataset, featuring five classification tasks derived from real-world B2B conversations targeting core sales concepts. To bridge the gap between performance and practical utility, we propose novel knowledge extraction methods that distill verbose examples into compact, interpretable representations of structured classification criteria and precise task descriptions. Our approach achieves a 99\% reduction in token usage and improves macro-averaged AUC by up to 7\% over traditional ICL. Notably, it remains robust as context grows, unlike advanced token compression baselines which degrade by over 9 F1 points. Importantly, our framework enables direct refinement of classification logic, addressing critical needs for transparency, efficiency, and user interaction in real-world NLP applications.