Un seul modèle peut-il maîtriser à la fois les conversations multi-tours et l'utilisation d'outils ? CALM : Un modèle de langage conversationnel agentique unifié

Can a Single Model Master Both Multi-turn Conversations and Tool Use? CALM: A Unified Conversational Agentic Language Model

February 12, 2025

Auteurs: Emre Can Acikgoz, Jeremiah Greer, Akul Datta, Ze Yang, William Zeng, Oussama Elachqar, Emmanouil Koukoumidis, Dilek Hakkani-Tür, Gokhan Tur

cs.AI

Résumé

Les modèles de langage de grande taille (LLM) dotés de capacités d'appel d'API ont permis la création d'agents linguistiques (LA) efficaces, tout en révolutionnant le paradigme conventionnel des dialogues orientés tâches (TOD). Cependant, les approches actuelles font face à un dilemme critique : les systèmes TOD sont souvent entraînés sur un ensemble limité d'API cibles, nécessitant de nouvelles données pour maintenir leur qualité lors de l'interfaçage avec de nouveaux services, tandis que les LA ne sont pas entraînés à maintenir l'intention de l'utilisateur sur des conversations à plusieurs tours. Étant donné que la gestion robuste des conversations multi-tours et l'appel de fonctions avancées sont tous deux cruciaux pour des agents conversationnels efficaces, nous évaluons ces compétences sur trois benchmarks populaires : MultiWOZ 2.4 (TOD), BFCL V3 (LA) et API-Bank (LA), et nos analyses révèlent que les approches spécialisées excellent dans un domaine mais sous-performent dans l'autre. Pour combler ce fossé, nous introduisons CALM (Conversational Agentic Language Model), une approche unifiée qui intègre à la fois des capacités conversationnelles et agentiques. Nous avons créé CALM-IT, un ensemble de données multi-tâches soigneusement construit qui entrelace un raisonnement ReAct multi-tours avec une utilisation complexe d'API. En utilisant CALM-IT, nous entraînons trois modèles : CALM 8B, CALM 70B et CALM 405B, qui surpassent les meilleurs modèles spécifiques à un domaine, y compris GPT-4o, sur les trois benchmarks.

English

Large Language Models (LLMs) with API-calling capabilities enabled building effective Language Agents (LA), while also revolutionizing the conventional task-oriented dialogue (TOD) paradigm. However, current approaches face a critical dilemma: TOD systems are often trained on a limited set of target APIs, requiring new data to maintain their quality when interfacing with new services, while LAs are not trained to maintain user intent over multi-turn conversations. Because both robust multi-turn management and advanced function calling are crucial for effective conversational agents, we evaluate these skills on three popular benchmarks: MultiWOZ 2.4 (TOD), BFCL V3 (LA), and API-Bank (LA), and our analyses reveal that specialized approaches excel in one domain but underperform in the other. To bridge this chasm, we introduce CALM (Conversational Agentic Language Model), a unified approach that integrates both conversational and agentic capabilities. We created CALM-IT, a carefully constructed multi-task dataset that interleave multi-turn ReAct reasoning with complex API usage. Using CALM-IT, we train three models CALM 8B, CALM 70B, and CALM 405B, which outperform top domain-specific models, including GPT-4o, across all three benchmarks.