Husky: Een Uniforme, Open-Source Taalagent voor Multi-Stap Redeneren

Husky: A Unified, Open-Source Language Agent for Multi-Step Reasoning

June 10, 2024

Auteurs: Joongwon Kim, Bhargavi Paranjape, Tushar Khot, Hannaneh Hajishirzi

cs.AI

Samenvatting

Taalagents voeren complexe taken uit door tools te gebruiken om elke stap precies uit te voeren. De meeste bestaande agents zijn echter gebaseerd op propriëtaire modellen of ontworpen voor specifieke taken, zoals wiskunde of meerstapsvraagbeantwoording. Wij introduceren Husky, een holistisch, open-source taalagent die leert te redeneren over een uniforme actieruimte om een diverse set van complexe taken aan te pakken die betrekking hebben op numerieke, tabelvormige en kennisgebaseerde redenering. Husky wisselt tussen twee fasen: 1) het genereren van de volgende actie om een gegeven taak op te lossen en 2) het uitvoeren van de actie met behulp van expertmodellen en het bijwerken van de huidige oplossingsstatus. We identificeren een uitgebreide ontologie van acties voor het aanpakken van complexe taken en stellen hoogwaardige data samen om expertmodellen te trainen voor het uitvoeren van deze acties. Onze experimenten tonen aan dat Husky eerdere taalagents overtreft op 14 evaluatiedatasets. Bovendien introduceren we HuskyQA, een nieuwe evaluatieset die taalagents stress test voor gemengde toolredenering, met een focus op het ophalen van ontbrekende kennis en het uitvoeren van numerieke redenering. Ondanks het gebruik van 7B-modellen, evenaart of overtreft Husky zelfs frontier LM's zoals GPT-4 bij deze taken, wat de effectiviteit van onze holistische aanpak bij het aanpakken van complexe redeneerproblemen aantoont. Onze code en modellen zijn beschikbaar op https://github.com/agent-husky/Husky-v1.

English

Language agents perform complex tasks by using tools to execute each step precisely. However, most existing agents are based on proprietary models or designed to target specific tasks, such as mathematics or multi-hop question answering. We introduce Husky, a holistic, open-source language agent that learns to reason over a unified action space to address a diverse set of complex tasks involving numerical, tabular, and knowledge-based reasoning. Husky iterates between two stages: 1) generating the next action to take towards solving a given task and 2) executing the action using expert models and updating the current solution state. We identify a thorough ontology of actions for addressing complex tasks and curate high-quality data to train expert models for executing these actions. Our experiments show that Husky outperforms prior language agents across 14 evaluation datasets. Moreover, we introduce HuskyQA, a new evaluation set which stress tests language agents for mixed-tool reasoning, with a focus on retrieving missing knowledge and performing numerical reasoning. Despite using 7B models, Husky matches or even exceeds frontier LMs such as GPT-4 on these tasks, showcasing the efficacy of our holistic approach in addressing complex reasoning problems. Our code and models are available at https://github.com/agent-husky/Husky-v1.