Husky: Un Agente Linguistico Unificato e Open-Source per il Ragionamento a Più Passi

Husky: A Unified, Open-Source Language Agent for Multi-Step Reasoning

June 10, 2024

Autori: Joongwon Kim, Bhargavi Paranjape, Tushar Khot, Hannaneh Hajishirzi

cs.AI

Abstract

Gli agenti linguistici eseguono compiti complessi utilizzando strumenti per portare a termine ogni passaggio con precisione. Tuttavia, la maggior parte degli agenti esistenti si basa su modelli proprietari o è progettata per affrontare compiti specifici, come la matematica o il question answering multi-hop. Presentiamo Husky, un agente linguistico olistico e open-source che impara a ragionare su uno spazio d'azione unificato per affrontare un insieme diversificato di compiti complessi che coinvolgono ragionamenti numerici, tabellari e basati sulla conoscenza. Husky itera tra due fasi: 1) generare la prossima azione da intraprendere per risolvere un determinato compito e 2) eseguire l'azione utilizzando modelli esperti e aggiornare lo stato corrente della soluzione. Identifichiamo un'ontologia completa delle azioni per affrontare compiti complessi e curiamo dati di alta qualità per addestrare modelli esperti nell'esecuzione di queste azioni. I nostri esperimenti dimostrano che Husky supera i precedenti agenti linguistici su 14 dataset di valutazione. Inoltre, introduciamo HuskyQA, un nuovo set di valutazione che mette alla prova gli agenti linguistici per il ragionamento con strumenti misti, con un focus sul recupero di conoscenze mancanti e sull'esecuzione di ragionamenti numerici. Nonostante utilizzi modelli da 7B, Husky eguaglia o addirittura supera modelli all'avanguardia come GPT-4 in questi compiti, dimostrando l'efficacia del nostro approccio olistico nell'affrontare problemi di ragionamento complessi. Il nostro codice e i nostri modelli sono disponibili all'indirizzo https://github.com/agent-husky/Husky-v1.

English

Language agents perform complex tasks by using tools to execute each step precisely. However, most existing agents are based on proprietary models or designed to target specific tasks, such as mathematics or multi-hop question answering. We introduce Husky, a holistic, open-source language agent that learns to reason over a unified action space to address a diverse set of complex tasks involving numerical, tabular, and knowledge-based reasoning. Husky iterates between two stages: 1) generating the next action to take towards solving a given task and 2) executing the action using expert models and updating the current solution state. We identify a thorough ontology of actions for addressing complex tasks and curate high-quality data to train expert models for executing these actions. Our experiments show that Husky outperforms prior language agents across 14 evaluation datasets. Moreover, we introduce HuskyQA, a new evaluation set which stress tests language agents for mixed-tool reasoning, with a focus on retrieving missing knowledge and performing numerical reasoning. Despite using 7B models, Husky matches or even exceeds frontier LMs such as GPT-4 on these tasks, showcasing the efficacy of our holistic approach in addressing complex reasoning problems. Our code and models are available at https://github.com/agent-husky/Husky-v1.