Husky: Um Agente de Linguagem Unificado e de Código Aberto para Raciocínio em Múltiplos Passos

Husky: A Unified, Open-Source Language Agent for Multi-Step Reasoning

June 10, 2024

Autores: Joongwon Kim, Bhargavi Paranjape, Tushar Khot, Hannaneh Hajishirzi

cs.AI

Resumo

Agentes de linguagem executam tarefas complexas utilizando ferramentas para realizar cada etapa com precisão. No entanto, a maioria dos agentes existentes é baseada em modelos proprietários ou projetada para tarefas específicas, como matemática ou respostas a perguntas de múltiplos saltos. Apresentamos o Husky, um agente de linguagem holístico e de código aberto que aprende a raciocinar sobre um espaço de ação unificado para abordar um conjunto diversificado de tarefas complexas envolvendo raciocínio numérico, tabular e baseado em conhecimento. O Husky itera entre dois estágios: 1) gerar a próxima ação a ser tomada para resolver uma tarefa específica e 2) executar a ação utilizando modelos especializados e atualizar o estado atual da solução. Identificamos uma ontologia detalhada de ações para abordar tarefas complexas e curamos dados de alta qualidade para treinar modelos especializados na execução dessas ações. Nossos experimentos mostram que o Husky supera agentes de linguagem anteriores em 14 conjuntos de dados de avaliação. Além disso, introduzimos o HuskyQA, um novo conjunto de avaliação que testa a capacidade de agentes de linguagem para raciocínio com múltiplas ferramentas, com foco na recuperação de conhecimento ausente e na realização de raciocínio numérico. Apesar de utilizar modelos de 7B, o Husky iguala ou até supera modelos de ponta como o GPT-4 nessas tarefas, demonstrando a eficácia de nossa abordagem holística na resolução de problemas de raciocínio complexo. Nosso código e modelos estão disponíveis em https://github.com/agent-husky/Husky-v1.

English

Language agents perform complex tasks by using tools to execute each step precisely. However, most existing agents are based on proprietary models or designed to target specific tasks, such as mathematics or multi-hop question answering. We introduce Husky, a holistic, open-source language agent that learns to reason over a unified action space to address a diverse set of complex tasks involving numerical, tabular, and knowledge-based reasoning. Husky iterates between two stages: 1) generating the next action to take towards solving a given task and 2) executing the action using expert models and updating the current solution state. We identify a thorough ontology of actions for addressing complex tasks and curate high-quality data to train expert models for executing these actions. Our experiments show that Husky outperforms prior language agents across 14 evaluation datasets. Moreover, we introduce HuskyQA, a new evaluation set which stress tests language agents for mixed-tool reasoning, with a focus on retrieving missing knowledge and performing numerical reasoning. Despite using 7B models, Husky matches or even exceeds frontier LMs such as GPT-4 on these tasks, showcasing the efficacy of our holistic approach in addressing complex reasoning problems. Our code and models are available at https://github.com/agent-husky/Husky-v1.