Husky: Ein vereinheitlichter, Open-Source-Sprachagent für mehrstufige Argumentation

Husky: A Unified, Open-Source Language Agent for Multi-Step Reasoning

June 10, 2024

Autoren: Joongwon Kim, Bhargavi Paranjape, Tushar Khot, Hannaneh Hajishirzi

cs.AI

Zusammenfassung

Sprachagenten führen komplexe Aufgaben aus, indem sie Werkzeuge verwenden, um jeden Schritt präzise auszuführen. Die meisten bestehenden Agenten basieren jedoch auf proprietären Modellen oder sind darauf ausgelegt, spezifische Aufgaben wie Mathematik oder Fragestellungen mit mehreren Schritten zu bearbeiten. Wir stellen Husky vor, einen ganzheitlichen, Open-Source-Sprachagenten, der lernt, über einen vereinheitlichten Aktionsraum zu argumentieren, um eine vielfältige Palette komplexer Aufgaben zu bewältigen, die numerisches, tabellarisches und wissensbasiertes Denken erfordern. Husky wechselt zwischen zwei Phasen: 1) Generierung der nächsten Aktion zur Lösung einer gegebenen Aufgabe und 2) Ausführung der Aktion mithilfe von Expertenmodellen und Aktualisierung des aktuellen Lösungszustands. Wir identifizieren eine umfassende Ontologie von Aktionen zur Bewältigung komplexer Aufgaben und kuratieren hochwertige Daten zur Schulung von Expertenmodellen zur Ausführung dieser Aktionen. Unsere Experimente zeigen, dass Husky im Vergleich zu früheren Sprachagenten auf 14 Evaluierungsdatensätzen besser abschneidet. Darüber hinaus stellen wir HuskyQA vor, einen neuen Evaluierungssatz, der Sprachagenten auf gemischte Werkzeugargumentation testet, mit Schwerpunkt auf dem Abrufen fehlenden Wissens und der Durchführung numerischer Argumentation. Trotz Verwendung von 7B-Modellen erreicht oder übertrifft Husky Leistungsgrenzen wie GPT-4 bei diesen Aufgaben, was die Wirksamkeit unseres ganzheitlichen Ansatzes zur Bewältigung komplexer Denkprobleme zeigt. Unser Code und unsere Modelle sind unter https://github.com/agent-husky/Husky-v1 verfügbar.

English

Language agents perform complex tasks by using tools to execute each step precisely. However, most existing agents are based on proprietary models or designed to target specific tasks, such as mathematics or multi-hop question answering. We introduce Husky, a holistic, open-source language agent that learns to reason over a unified action space to address a diverse set of complex tasks involving numerical, tabular, and knowledge-based reasoning. Husky iterates between two stages: 1) generating the next action to take towards solving a given task and 2) executing the action using expert models and updating the current solution state. We identify a thorough ontology of actions for addressing complex tasks and curate high-quality data to train expert models for executing these actions. Our experiments show that Husky outperforms prior language agents across 14 evaluation datasets. Moreover, we introduce HuskyQA, a new evaluation set which stress tests language agents for mixed-tool reasoning, with a focus on retrieving missing knowledge and performing numerical reasoning. Despite using 7B models, Husky matches or even exceeds frontier LMs such as GPT-4 on these tasks, showcasing the efficacy of our holistic approach in addressing complex reasoning problems. Our code and models are available at https://github.com/agent-husky/Husky-v1.