Kan één model zowel multi-turn gesprekken als toolgebruik beheersen? CALM: Een verenigd conversationeel agentisch taalmodel

Can a Single Model Master Both Multi-turn Conversations and Tool Use? CALM: A Unified Conversational Agentic Language Model

February 12, 2025

Auteurs: Emre Can Acikgoz, Jeremiah Greer, Akul Datta, Ze Yang, William Zeng, Oussama Elachqar, Emmanouil Koukoumidis, Dilek Hakkani-Tür, Gokhan Tur

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) met API-aanroepmogelijkheden hebben het mogelijk gemaakt effectieve Taalagenten (LA) te ontwikkelen, terwijl ze tegelijkertijd het conventionele taakgerichte dialoogparadigma (TOD) hebben gerevolutioneerd. Huidige benaderingen staan echter voor een cruciaal dilemma: TOD-systemen worden vaak getraind op een beperkte set doel-API's, waardoor nieuwe data nodig is om hun kwaliteit te behouden bij het werken met nieuwe services, terwijl LA's niet zijn getraind om gebruikersintentie te behouden over meerdere dialoogbeurten. Omdat zowel robuust beheer van meerdere beurten als geavanceerde functieaanroepen cruciaal zijn voor effectieve conversatieagenten, evalueren we deze vaardigheden op drie populaire benchmarks: MultiWOZ 2.4 (TOD), BFCL V3 (LA) en API-Bank (LA). Onze analyses tonen aan dat gespecialiseerde benaderingen uitblinken in één domein, maar onderpresteren in het andere. Om deze kloof te overbruggen, introduceren we CALM (Conversational Agentic Language Model), een geïntegreerde aanpak die zowel conversatie- als agentische capaciteiten combineert. We hebben CALM-IT ontwikkeld, een zorgvuldig samengestelde multi-task dataset die meerdere beurten van ReAct-redenering verweeft met complex API-gebruik. Met CALM-IT trainen we drie modellen: CALM 8B, CALM 70B en CALM 405B, die alle drie de benchmarks overtreffen, inclusief GPT-4o, en daarmee de toonaangevende domeinspecifieke modellen overstijgen.

English

Large Language Models (LLMs) with API-calling capabilities enabled building effective Language Agents (LA), while also revolutionizing the conventional task-oriented dialogue (TOD) paradigm. However, current approaches face a critical dilemma: TOD systems are often trained on a limited set of target APIs, requiring new data to maintain their quality when interfacing with new services, while LAs are not trained to maintain user intent over multi-turn conversations. Because both robust multi-turn management and advanced function calling are crucial for effective conversational agents, we evaluate these skills on three popular benchmarks: MultiWOZ 2.4 (TOD), BFCL V3 (LA), and API-Bank (LA), and our analyses reveal that specialized approaches excel in one domain but underperform in the other. To bridge this chasm, we introduce CALM (Conversational Agentic Language Model), a unified approach that integrates both conversational and agentic capabilities. We created CALM-IT, a carefully constructed multi-task dataset that interleave multi-turn ReAct reasoning with complex API usage. Using CALM-IT, we train three models CALM 8B, CALM 70B, and CALM 405B, which outperform top domain-specific models, including GPT-4o, across all three benchmarks.