Husky : Un agent linguistique unifié et open-source pour le raisonnement multi-étapes

Husky: A Unified, Open-Source Language Agent for Multi-Step Reasoning

June 10, 2024

Auteurs: Joongwon Kim, Bhargavi Paranjape, Tushar Khot, Hannaneh Hajishirzi

cs.AI

Résumé

Les agents linguistiques accomplissent des tâches complexes en utilisant des outils pour exécuter chaque étape avec précision. Cependant, la plupart des agents existants sont basés sur des modèles propriétaires ou conçus pour cibler des tâches spécifiques, telles que les mathématiques ou le question-réponse multi-étapes. Nous présentons Husky, un agent linguistique holistique et open-source qui apprend à raisonner sur un espace d'actions unifié pour traiter un ensemble diversifié de tâches complexes impliquant un raisonnement numérique, tabulaire et basé sur des connaissances. Husky alterne entre deux étapes : 1) générer la prochaine action à entreprendre pour résoudre une tâche donnée et 2) exécuter l'action en utilisant des modèles experts et mettre à jour l'état actuel de la solution. Nous identifions une ontologie approfondie des actions pour aborder des tâches complexes et constituons des données de haute qualité pour entraîner des modèles experts chargés d'exécuter ces actions. Nos expériences montrent que Husky surpasse les agents linguistiques précédents sur 14 ensembles de données d'évaluation. De plus, nous introduisons HuskyQA, un nouvel ensemble d'évaluation qui teste rigoureusement les agents linguistiques pour un raisonnement mixte utilisant plusieurs outils, en mettant l'accent sur la récupération de connaissances manquantes et l'exécution d'un raisonnement numérique. Malgré l'utilisation de modèles de 7B, Husky égale ou dépasse même des modèles de pointe comme GPT-4 sur ces tâches, démontrant l'efficacité de notre approche holistique pour résoudre des problèmes de raisonnement complexes. Notre code et nos modèles sont disponibles à l'adresse https://github.com/agent-husky/Husky-v1.

English

Language agents perform complex tasks by using tools to execute each step precisely. However, most existing agents are based on proprietary models or designed to target specific tasks, such as mathematics or multi-hop question answering. We introduce Husky, a holistic, open-source language agent that learns to reason over a unified action space to address a diverse set of complex tasks involving numerical, tabular, and knowledge-based reasoning. Husky iterates between two stages: 1) generating the next action to take towards solving a given task and 2) executing the action using expert models and updating the current solution state. We identify a thorough ontology of actions for addressing complex tasks and curate high-quality data to train expert models for executing these actions. Our experiments show that Husky outperforms prior language agents across 14 evaluation datasets. Moreover, we introduce HuskyQA, a new evaluation set which stress tests language agents for mixed-tool reasoning, with a focus on retrieving missing knowledge and performing numerical reasoning. Despite using 7B models, Husky matches or even exceeds frontier LMs such as GPT-4 on these tasks, showcasing the efficacy of our holistic approach in addressing complex reasoning problems. Our code and models are available at https://github.com/agent-husky/Husky-v1.