Husky: Un agente lingüístico unificado y de código abierto para razonamiento de múltiples pasos

Husky: A Unified, Open-Source Language Agent for Multi-Step Reasoning

June 10, 2024

Autores: Joongwon Kim, Bhargavi Paranjape, Tushar Khot, Hannaneh Hajishirzi

cs.AI

Resumen

Los agentes de lenguaje realizan tareas complejas utilizando herramientas para ejecutar cada paso con precisión. Sin embargo, la mayoría de los agentes existentes se basan en modelos propietarios o están diseñados para abordar tareas específicas, como matemáticas o respuestas a preguntas de múltiples saltos. Presentamos Husky, un agente de lenguaje holístico y de código abierto que aprende a razonar sobre un espacio de acción unificado para abordar un conjunto diverso de tareas complejas que involucran razonamiento numérico, tabular y basado en conocimiento. Husky itera entre dos etapas: 1) generar la siguiente acción para resolver una tarea dada y 2) ejecutar la acción utilizando modelos expertos y actualizar el estado actual de la solución. Identificamos una ontología exhaustiva de acciones para abordar tareas complejas y seleccionamos datos de alta calidad para entrenar modelos expertos que ejecuten estas acciones. Nuestros experimentos muestran que Husky supera a los agentes de lenguaje anteriores en 14 conjuntos de datos de evaluación. Además, presentamos HuskyQA, un nuevo conjunto de evaluación que pone a prueba a los agentes de lenguaje en el razonamiento con herramientas mixtas, con un enfoque en la recuperación de conocimiento faltante y la realización de razonamiento numérico. A pesar de utilizar modelos de 7B, Husky iguala o incluso supera a modelos de vanguardia como GPT-4 en estas tareas, demostrando la eficacia de nuestro enfoque holístico para abordar problemas de razonamiento complejos. Nuestro código y modelos están disponibles en https://github.com/agent-husky/Husky-v1.

English

Language agents perform complex tasks by using tools to execute each step precisely. However, most existing agents are based on proprietary models or designed to target specific tasks, such as mathematics or multi-hop question answering. We introduce Husky, a holistic, open-source language agent that learns to reason over a unified action space to address a diverse set of complex tasks involving numerical, tabular, and knowledge-based reasoning. Husky iterates between two stages: 1) generating the next action to take towards solving a given task and 2) executing the action using expert models and updating the current solution state. We identify a thorough ontology of actions for addressing complex tasks and curate high-quality data to train expert models for executing these actions. Our experiments show that Husky outperforms prior language agents across 14 evaluation datasets. Moreover, we introduce HuskyQA, a new evaluation set which stress tests language agents for mixed-tool reasoning, with a focus on retrieving missing knowledge and performing numerical reasoning. Despite using 7B models, Husky matches or even exceeds frontier LMs such as GPT-4 on these tasks, showcasing the efficacy of our holistic approach in addressing complex reasoning problems. Our code and models are available at https://github.com/agent-husky/Husky-v1.