Дистилляция примеров в инструкции задач: улучшенное обучение в контексте для реальных B2B-разговоров

Аннотация

Обучение в контексте (ICL) является стандартным методом для классификации с малым количеством ресурсов, однако его эффективность в специализированных областях остаётся в значительной степени неисследованной. Мы решаем задачу классификации семантически сложных многосторонних B2B-диалогов, где традиционное ICL сталкивается с существенными ограничениями, особенно при увеличении длины контекста из-за объединения нескольких примеров с малым числом демонстраций. Мы представляем датасет Call Playbook, содержащий пять задач классификации, полученных из реальных B2B-диалогов, нацеленных на ключевые концепции продаж. Чтобы преодолеть разрыв между производительностью и практической полезностью, мы предлагаем новые методы извлечения знаний, которые преобразуют многословные примеры в компактные, интерпретируемые представления структурированных критериев классификации и точных описаний задач. Наш подход обеспечивает сокращение использования токенов на 99% и повышает макроусреднённый AUC до 7% по сравнению с традиционным ICL. Примечательно, что он остаётся устойчивым при росте контекста, в отличие от продвинутых базовых методов сжатия токенов, которые теряют более 9 пунктов F1. Важно, что наша структура позволяет напрямую уточнять логику классификации, отвечая критическим потребностям в прозрачности, эффективности и взаимодействии с пользователем в реальных NLP-приложениях.

English

In-context learning (ICL) is the standard method for low-resource classification, yet its efficacy in specialized domains remains largely unexplored. We address the challenge of classifying semantically complex, multi-party B2B conversations, where traditional ICL encounters significant limitations, especially as context length increases due to the concatenation of multiple few-shot examples. We introduce the Call Playbook dataset, featuring five classification tasks derived from real-world B2B conversations targeting core sales concepts. To bridge the gap between performance and practical utility, we propose novel knowledge extraction methods that distill verbose examples into compact, interpretable representations of structured classification criteria and precise task descriptions. Our approach achieves a 99\% reduction in token usage and improves macro-averaged AUC by up to 7\% over traditional ICL. Notably, it remains robust as context grows, unlike advanced token compression baselines which degrade by over 9 F1 points. Importantly, our framework enables direct refinement of classification logic, addressing critical needs for transparency, efficiency, and user interaction in real-world NLP applications.