Un singolo modello può padroneggiare sia conversazioni multi-turn che l'uso di strumenti? CALM: Un modello linguistico agente conversazionale unificato

Can a Single Model Master Both Multi-turn Conversations and Tool Use? CALM: A Unified Conversational Agentic Language Model

February 12, 2025

Autori: Emre Can Acikgoz, Jeremiah Greer, Akul Datta, Ze Yang, William Zeng, Oussama Elachqar, Emmanouil Koukoumidis, Dilek Hakkani-Tür, Gokhan Tur

cs.AI

Abstract

I Large Language Model (LLM) con capacità di chiamata API hanno permesso la creazione di Language Agent (LA) efficaci, rivoluzionando al contempo il paradigma convenzionale del dialogo orientato ai compiti (TOD). Tuttavia, gli approcci attuali affrontano un dilemma critico: i sistemi TOD sono spesso addestrati su un insieme limitato di API target, richiedendo nuovi dati per mantenere la loro qualità quando interagiscono con nuovi servizi, mentre i LA non sono addestrati a preservare l'intento dell'utente in conversazioni multi-turn. Poiché sia una gestione robusta delle interazioni multi-turn sia una chiamata avanzata di funzioni sono cruciali per agenti conversazionali efficaci, valutiamo queste abilità su tre benchmark popolari: MultiWOZ 2.4 (TOD), BFCL V3 (LA) e API-Bank (LA), e le nostre analisi rivelano che approcci specializzati eccellono in un dominio ma sottoperformano nell'altro. Per colmare questo divario, introduciamo CALM (Conversational Agentic Language Model), un approccio unificato che integra sia capacità conversazionali che agentiche. Abbiamo creato CALM-IT, un dataset multi-task accuratamente costruito che intercala ragionamenti ReAct multi-turn con l'uso complesso di API. Utilizzando CALM-IT, abbiamo addestrato tre modelli: CALM 8B, CALM 70B e CALM 405B, che superano i migliori modelli specifici per dominio, incluso GPT-4o, su tutti e tre i benchmark.

English

Large Language Models (LLMs) with API-calling capabilities enabled building effective Language Agents (LA), while also revolutionizing the conventional task-oriented dialogue (TOD) paradigm. However, current approaches face a critical dilemma: TOD systems are often trained on a limited set of target APIs, requiring new data to maintain their quality when interfacing with new services, while LAs are not trained to maintain user intent over multi-turn conversations. Because both robust multi-turn management and advanced function calling are crucial for effective conversational agents, we evaluate these skills on three popular benchmarks: MultiWOZ 2.4 (TOD), BFCL V3 (LA), and API-Bank (LA), and our analyses reveal that specialized approaches excel in one domain but underperform in the other. To bridge this chasm, we introduce CALM (Conversational Agentic Language Model), a unified approach that integrates both conversational and agentic capabilities. We created CALM-IT, a carefully constructed multi-task dataset that interleave multi-turn ReAct reasoning with complex API usage. Using CALM-IT, we train three models CALM 8B, CALM 70B, and CALM 405B, which outperform top domain-specific models, including GPT-4o, across all three benchmarks.