Hephaestus: Verbesserung der grundlegenden Agentenfähigkeiten großer Sprachmodelle durch kontinuierliches Vor-Training

Hephaestus: Improving Fundamental Agent Capabilities of Large Language Models through Continual Pre-Training

February 10, 2025

Autoren: Yuchen Zhuang, Jingfeng Yang, Haoming Jiang, Xin Liu, Kewei Cheng, Sanket Lokegaonkar, Yifan Gao, Qing Ping, Tianyi Liu, Binxuan Huang, Zheng Li, Zhengyang Wang, Pei Chen, Ruijie Wang, Rongzhi Zhang, Nasser Zalmout, Priyanka Nigam, Bing Yin, Chao Zhang

cs.AI

Zusammenfassung

Aufgrund der Knappheit von agentenorientierten Vortrainingsdaten verlassen sich LLM-basierte autonome Agenten in der Regel auf komplexe Aufforderungen oder umfangreiches Feintuning, was oft scheitert, neue Fähigkeiten einzuführen, während eine starke Generalisierbarkeit erhalten bleibt. Wir stellen Hephaestus-Forge vor, das erste groß angelegte Vortrainingskorpus, das darauf abzielt, die grundlegenden Fähigkeiten von LLM-Agenten in der API-Funktionsaufruf, intrinsischen Schlussfolgerung und Planung sowie der Anpassung an Umgebungsfeedback zu verbessern. Hephaestus-Forge umfasst 103B agentenspezifische Daten, die 76.537 APIs abdecken, einschließlich sowohl Tool-Dokumentation zur Einführung von Wissen über API-Funktionen als auch Funktionsaufruftrajektorien zur Stärkung der intrinsischen Schlussfolgerung. Um effektive Trainingsprotokolle zu erforschen, untersuchen wir Skalengesetze, um das optimale Rezept in den Datenmischungsverhältnissen zu identifizieren. Durch kontinuierliches Vortraining auf Hephaestus-Forge übertrifft Hephaestus kleine bis mittelgroße Open-Source LLMs und konkurriert mit kommerziellen LLMs in drei Agenten-Benchmarks, was die Wirksamkeit unseres Vortrainingskorpus bei der Verbesserung grundlegender agentischer Fähigkeiten und der Generalisierung von LLMs auf neue Aufgaben oder Umgebungen zeigt.

English

Due to the scarcity of agent-oriented pre-training data, LLM-based autonomous agents typically rely on complex prompting or extensive fine-tuning, which often fails to introduce new capabilities while preserving strong generalizability. We introduce Hephaestus-Forge, the first large-scale pre-training corpus designed to enhance the fundamental capabilities of LLM agents in API function calling, intrinsic reasoning and planning, and adapting to environmental feedback. Hephaestus-Forge comprises 103B agent-specific data encompassing 76,537 APIs, including both tool documentation to introduce knowledge of API functions and function calling trajectories to strengthen intrinsic reasoning. To explore effective training protocols, we investigate scaling laws to identify the optimal recipe in data mixing ratios. By continual pre-training on Hephaestus-Forge, Hephaestus outperforms small- to medium-scale open-source LLMs and rivals commercial LLMs on three agent benchmarks, demonstrating the effectiveness of our pre-training corpus in enhancing fundamental agentic capabilities and generalization of LLMs to new tasks or environments.