허스키: 다단계 추론을 위한 통합 오픈소스 언어 에이전트

Husky: A Unified, Open-Source Language Agent for Multi-Step Reasoning

June 10, 2024

저자: Joongwon Kim, Bhargavi Paranjape, Tushar Khot, Hannaneh Hajishirzi

cs.AI

초록

언어 에이전트는 각 단계를 정확하게 실행하기 위해 도구를 사용하여 복잡한 작업을 수행합니다. 그러나 대부분의 기존 에이전트는 독점 모델을 기반으로 하거나 수학 또는 다중 홉 질문 응답과 같은 특정 작업을 대상으로 설계되었습니다. 우리는 수치, 표, 지식 기반 추론을 포함한 다양한 복잡한 작업을 해결하기 위해 통합된 액션 공간에서 추론하는 방법을 학습하는 전체적인 오픈소스 언어 에이전트인 Husky를 소개합니다. Husky는 두 단계를 반복합니다: 1) 주어진 작업을 해결하기 위해 다음에 취할 액션을 생성하고, 2) 전문가 모델을 사용하여 액션을 실행하고 현재 솔루션 상태를 업데이트합니다. 우리는 복잡한 작업을 해결하기 위한 철저한 액션 온톨로지를 식별하고 이러한 액션을 실행하기 위한 전문가 모델을 훈련시키기 위해 고품질 데이터를 큐레이션했습니다. 우리의 실험 결과, Husky는 14개의 평가 데이터셋에서 기존 언어 에이전트들을 능가하는 성능을 보여줍니다. 또한, 우리는 혼합 도구 추론, 특히 누락된 지식을 검색하고 수치 추론을 수행하는 데 초점을 맞춘 새로운 평가 세트인 HuskyQA를 소개합니다. 7B 모델을 사용함에도 불구하고, Husky는 이러한 작업에서 GPT-4와 같은 최첨단 언어 모델과 동등하거나 더 나은 성능을 보여주며, 복잡한 추론 문제를 해결하는 데 있어 우리의 전체적 접근 방식의 효율성을 입증합니다. 우리의 코드와 모델은 https://github.com/agent-husky/Husky-v1에서 확인할 수 있습니다.

English

Language agents perform complex tasks by using tools to execute each step precisely. However, most existing agents are based on proprietary models or designed to target specific tasks, such as mathematics or multi-hop question answering. We introduce Husky, a holistic, open-source language agent that learns to reason over a unified action space to address a diverse set of complex tasks involving numerical, tabular, and knowledge-based reasoning. Husky iterates between two stages: 1) generating the next action to take towards solving a given task and 2) executing the action using expert models and updating the current solution state. We identify a thorough ontology of actions for addressing complex tasks and curate high-quality data to train expert models for executing these actions. Our experiments show that Husky outperforms prior language agents across 14 evaluation datasets. Moreover, we introduce HuskyQA, a new evaluation set which stress tests language agents for mixed-tool reasoning, with a focus on retrieving missing knowledge and performing numerical reasoning. Despite using 7B models, Husky matches or even exceeds frontier LMs such as GPT-4 on these tasks, showcasing the efficacy of our holistic approach in addressing complex reasoning problems. Our code and models are available at https://github.com/agent-husky/Husky-v1.