Destilando Exemplos em Instruções de Tarefa: Aprendizado em Contexto Aprimorado para Conversas B2B do Mundo Real

Resumo

O aprendizado em contexto (ICL) é o método padrão para classificação com poucos recursos, porém sua eficácia em domínios especializados permanece amplamente inexplorada. Abordamos o desafio de classificar conversas B2B com múltiplos participantes e complexidade semântica, onde o ICL tradicional enfrenta limitações significativas, especialmente à medida que o comprimento do contexto aumenta devido à concatenação de múltiplos exemplos de poucas amostras. Introduzimos o conjunto de dados Call Playbook, com cinco tarefas de classificação derivadas de conversas B2B reais focadas em conceitos essenciais de vendas. Para preencher a lacuna entre desempenho e utilidade prática, propomos métodos inovadores de extração de conhecimento que destilam exemplos prolixos em representações compactas e interpretáveis de critérios de classificação estruturados e descrições precisas de tarefas. Nossa abordagem alcança uma redução de 99% no uso de tokens e melhora a AUC macro-média em até 7% em relação ao ICL tradicional. Notavelmente, ela se mantém robusta à medida que o contexto aumenta, ao contrário das linhas de base avançadas de compressão de tokens, que degradam em mais de 9 pontos F1. De forma importante, nossa estrutura permite o refinamento direto da lógica de classificação, atendendo a necessidades críticas de transparência, eficiência e interação com o usuário em aplicações reais de PLN.

English

In-context learning (ICL) is the standard method for low-resource classification, yet its efficacy in specialized domains remains largely unexplored. We address the challenge of classifying semantically complex, multi-party B2B conversations, where traditional ICL encounters significant limitations, especially as context length increases due to the concatenation of multiple few-shot examples. We introduce the Call Playbook dataset, featuring five classification tasks derived from real-world B2B conversations targeting core sales concepts. To bridge the gap between performance and practical utility, we propose novel knowledge extraction methods that distill verbose examples into compact, interpretable representations of structured classification criteria and precise task descriptions. Our approach achieves a 99\% reduction in token usage and improves macro-averaged AUC by up to 7\% over traditional ICL. Notably, it remains robust as context grows, unlike advanced token compression baselines which degrade by over 9 F1 points. Importantly, our framework enables direct refinement of classification logic, addressing critical needs for transparency, efficiency, and user interaction in real-world NLP applications.