Destillation von Beispielen in Aufgabeninstruktionen: Verbessertes In-Context-Lernen für reale B2B-Gespräche

Zusammenfassung

In-Context-Lernen (ICL) ist die Standardmethode für die Klassifikation mit geringen Ressourcen, doch ihre Wirksamkeit in spezialisierten Domänen ist weitgehend unerforscht. Wir befassen uns mit der Herausforderung der Klassifikation semantisch komplexer, mehrseitiger B2B-Gespräche, bei der traditionelles ICL erhebliche Einschränkungen aufweist, insbesondere wenn die Kontextlänge durch die Verkettung mehrerer Few-Shot-Beispiele zunimmt. Wir stellen den Call Playbook-Datensatz vor, der fünf Klassifikationsaufgaben umfasst, die aus realen B2B-Gesprächen zu zentralen Verkaufskonzepten abgeleitet wurden. Um die Kluft zwischen Leistung und praktischem Nutzen zu überbrücken, schlagen wir neuartige Methoden zur Wissensextraktion vor, die ausführliche Beispiele in kompakte, interpretierbare Darstellungen strukturierter Klassifikationskriterien und präziser Aufgabenbeschreibungen destillieren. Unser Ansatz erreicht eine Reduzierung des Token-Verbrauchs um 99 % und verbessert die makrogemittelte AUC im Vergleich zu traditionellem ICL um bis zu 7 %. Bemerkenswerterweise bleibt er bei wachsendem Kontext robust, während fortschrittliche Token-Kompressions-Baselines um über 9 F1-Punkte abfallen. Entscheidend ist, dass unser Framework eine direkte Verfeinerung der Klassifikationslogik ermöglicht und damit kritische Anforderungen an Transparenz, Effizienz und Benutzerinteraktion in realen NLP-Anwendungen adressiert.

English

In-context learning (ICL) is the standard method for low-resource classification, yet its efficacy in specialized domains remains largely unexplored. We address the challenge of classifying semantically complex, multi-party B2B conversations, where traditional ICL encounters significant limitations, especially as context length increases due to the concatenation of multiple few-shot examples. We introduce the Call Playbook dataset, featuring five classification tasks derived from real-world B2B conversations targeting core sales concepts. To bridge the gap between performance and practical utility, we propose novel knowledge extraction methods that distill verbose examples into compact, interpretable representations of structured classification criteria and precise task descriptions. Our approach achieves a 99\% reduction in token usage and improves macro-averaged AUC by up to 7\% over traditional ICL. Notably, it remains robust as context grows, unlike advanced token compression baselines which degrade by over 9 F1 points. Importantly, our framework enables direct refinement of classification logic, addressing critical needs for transparency, efficiency, and user interaction in real-world NLP applications.