Distiller des exemples en instructions de tâche : Apprentissage en contexte amélioré pour les conversations B2B réelles

Résumé

L'apprentissage en contexte (AEC) constitue la méthode standard pour la classification en contexte de faibles ressources, mais son efficacité dans des domaines spécialisés reste en grande partie inexplorée. Nous abordons le défi de la classification de conversations B2B multipartites et sémantiquement complexes, où l'AEC traditionnel rencontre des limitations importantes, en particulier lorsque la longueur du contexte augmente en raison de la concaténation de multiples exemples few-shot. Nous présentons le jeu de données Call Playbook, comprenant cinq tâches de classification issues de conversations B2B réelles ciblant des concepts commerciaux fondamentaux. Pour combler le fossé entre performance et utilité pratique, nous proposons de nouvelles méthodes d'extraction de connaissances qui distillent des exemples verbeux en représentations compactes et interprétables de critères de classification structurés et de descriptions précises de tâches. Notre approche atteint une réduction de 99 % de l'utilisation des tokens et améliore l'AUC moyenne macro jusqu'à 7 % par rapport à l'AEC traditionnel. Notamment, elle reste robuste à mesure que le contexte s'allonge, contrairement aux méthodes de référence avancées de compression de tokens dont la performance se dégrade de plus de 9 points F1. Enfin, notre cadre permet un affinement direct de la logique de classification, répondant aux besoins critiques de transparence, d'efficacité et d'interaction utilisateur dans les applications réelles de traitement du langage naturel.

English

In-context learning (ICL) is the standard method for low-resource classification, yet its efficacy in specialized domains remains largely unexplored. We address the challenge of classifying semantically complex, multi-party B2B conversations, where traditional ICL encounters significant limitations, especially as context length increases due to the concatenation of multiple few-shot examples. We introduce the Call Playbook dataset, featuring five classification tasks derived from real-world B2B conversations targeting core sales concepts. To bridge the gap between performance and practical utility, we propose novel knowledge extraction methods that distill verbose examples into compact, interpretable representations of structured classification criteria and precise task descriptions. Our approach achieves a 99\% reduction in token usage and improves macro-averaged AUC by up to 7\% over traditional ICL. Notably, it remains robust as context grows, unlike advanced token compression baselines which degrade by over 9 F1 points. Importantly, our framework enables direct refinement of classification logic, addressing critical needs for transparency, efficiency, and user interaction in real-world NLP applications.