Voorbeelden distilleren tot taakinstructies: Verbeterd in-context-leren voor echte B2B-gesprekken

Samenvatting

In-context learning (ICL) is de standaardmethode voor classificatie in situaties met beperkte middelen, maar de effectiviteit ervan in gespecialiseerde domeinen is nog grotendeels onbekend. We pakken de uitdaging aan van het classificeren van semantisch complexe, meerpartijen-B2B-gesprekken, waar traditionele ICL aanzienlijke beperkingen ondervindt, vooral naarmate de contextlengte toeneemt door het aaneenschakelen van meerdere few-shot-voorbeelden. We introduceren de Call Playbook-dataset, die vijf classificatietaken omvat die zijn afgeleid van echte B2B-gesprekken gericht op kernconcepten in de verkoop. Om de kloof tussen prestaties en praktisch nut te overbruggen, stellen we nieuwe methoden voor kennisextractie voor die uitvoerige voorbeelden distilleren tot compacte, interpreteerbare representaties van gestructureerde classificatiecriteria en nauwkeurige taakbeschrijvingen. Onze aanpak bereikt een vermindering van 99% in tokenverbruik en verbetert de macro-gemiddelde AUC met tot 7% ten opzichte van traditionele ICL. Opmerkelijk is dat het robuust blijft naarmate de context groeit, in tegenstelling tot geavanceerde tokencompressie-baselines die meer dan 9 F1-punten achteruitgaan. Belangrijk is dat ons raamwerk directe verfijning van de classificatielogica mogelijk maakt, waarmee wordt ingespeeld op kritieke behoeften aan transparantie, efficiëntie en gebruikersinteractie in praktische NLP-toepassingen.

English

In-context learning (ICL) is the standard method for low-resource classification, yet its efficacy in specialized domains remains largely unexplored. We address the challenge of classifying semantically complex, multi-party B2B conversations, where traditional ICL encounters significant limitations, especially as context length increases due to the concatenation of multiple few-shot examples. We introduce the Call Playbook dataset, featuring five classification tasks derived from real-world B2B conversations targeting core sales concepts. To bridge the gap between performance and practical utility, we propose novel knowledge extraction methods that distill verbose examples into compact, interpretable representations of structured classification criteria and precise task descriptions. Our approach achieves a 99\% reduction in token usage and improves macro-averaged AUC by up to 7\% over traditional ICL. Notably, it remains robust as context grows, unlike advanced token compression baselines which degrade by over 9 F1 points. Importantly, our framework enables direct refinement of classification logic, addressing critical needs for transparency, efficiency, and user interaction in real-world NLP applications.