Хаски: Единый открытый языковой агент для многошагового рассуждения

Husky: A Unified, Open-Source Language Agent for Multi-Step Reasoning

June 10, 2024

Авторы: Joongwon Kim, Bhargavi Paranjape, Tushar Khot, Hannaneh Hajishirzi

cs.AI

Аннотация

Языковые агенты выполняют сложные задачи, используя инструменты для точного выполнения каждого шага. Однако большинство существующих агентов основаны на собственных моделях или разработаны для выполнения конкретных задач, таких как математика или многошаговые вопросно-ответные системы. Мы представляем Husky, целостного, открытого языкового агента, который учится рассуждать в рамках объединенного пространства действий для решения разнообразных сложных задач, включающих числовое, табличное и знаниевое рассуждение. Husky итерирует между двумя этапами: 1) генерация следующего действия для решения данной задачи и 2) выполнение действия с использованием экспертных моделей и обновление текущего состояния решения. Мы выделяем тщательную онтологию действий для решения сложных задач и курируем высококачественные данные для обучения экспертных моделей для выполнения этих действий. Наши эксперименты показывают, что Husky превосходит предыдущие языковые агенты на 14 наборах оценочных данных. Более того, мы представляем HuskyQA, новый набор оценки, который тестирует языковые агенты на смешанном рассуждении с использованием различных инструментов, с акцентом на поиск недостающих знаний и выполнение числового рассуждения. Несмотря на использование моделей 7B, Husky соответствует или даже превосходит передовые языковые модели, такие как GPT-4, на этих задачах, демонстрируя эффективность нашего целостного подхода к решению сложных проблем рассуждения. Наш код и модели доступны по адресу https://github.com/agent-husky/Husky-v1.

English

Language agents perform complex tasks by using tools to execute each step precisely. However, most existing agents are based on proprietary models or designed to target specific tasks, such as mathematics or multi-hop question answering. We introduce Husky, a holistic, open-source language agent that learns to reason over a unified action space to address a diverse set of complex tasks involving numerical, tabular, and knowledge-based reasoning. Husky iterates between two stages: 1) generating the next action to take towards solving a given task and 2) executing the action using expert models and updating the current solution state. We identify a thorough ontology of actions for addressing complex tasks and curate high-quality data to train expert models for executing these actions. Our experiments show that Husky outperforms prior language agents across 14 evaluation datasets. Moreover, we introduce HuskyQA, a new evaluation set which stress tests language agents for mixed-tool reasoning, with a focus on retrieving missing knowledge and performing numerical reasoning. Despite using 7B models, Husky matches or even exceeds frontier LMs such as GPT-4 on these tasks, showcasing the efficacy of our holistic approach in addressing complex reasoning problems. Our code and models are available at https://github.com/agent-husky/Husky-v1.