Hephaestus: Het Verbeteren van Fundamentele Agentmogelijkheden van Grote Taalmodellen door Voortdurende Voorafgaande Training

Hephaestus: Improving Fundamental Agent Capabilities of Large Language Models through Continual Pre-Training

February 10, 2025

Auteurs: Yuchen Zhuang, Jingfeng Yang, Haoming Jiang, Xin Liu, Kewei Cheng, Sanket Lokegaonkar, Yifan Gao, Qing Ping, Tianyi Liu, Binxuan Huang, Zheng Li, Zhengyang Wang, Pei Chen, Ruijie Wang, Rongzhi Zhang, Nasser Zalmout, Priyanka Nigam, Bing Yin, Chao Zhang

cs.AI

Samenvatting

Vanwege de schaarste aan op agenten gerichte voorafgaande trainingsgegevens vertrouwen op LLM-gebaseerde autonome agenten meestal op complexe aanwijzingen of uitgebreide fijnafstemming, wat vaak niet lukt om nieuwe mogelijkheden te introduceren terwijl sterke generaliseerbaarheid behouden blijft. Wij introduceren Hephaestus-Forge, het eerste grootschalige voorafgaande trainingscorpus ontworpen om de fundamentele mogelijkheden van LLM-agenten te verbeteren in API-functieaanroepen, intrinsieke redenering en planning, en het aanpassen aan omgevingsfeedback. Hephaestus-Forge omvat 103B agent-specifieke gegevens die 76,537 API's omvatten, inclusief zowel tooldocumentatie om kennis van API-functies te introduceren als functieaanroeptrajecten om intrinsieke redenering te versterken. Om effectieve trainingsprotocollen te verkennen, onderzoeken we schaalwetten om het optimale recept in datamengverhoudingen te identificeren. Door voortdurende voorafgaande training op Hephaestus-Forge presteert Hephaestus beter dan LLM's op kleine tot middelgrote schaal en evenaart commerciële LLM's op drie agentbenchmarks, waarbij de effectiviteit van ons voorafgaande trainingscorpus wordt aangetoond in het verbeteren van fundamentele agentmogelijkheden en generalisatie van LLM's naar nieuwe taken of omgevingen.

English

Due to the scarcity of agent-oriented pre-training data, LLM-based autonomous agents typically rely on complex prompting or extensive fine-tuning, which often fails to introduce new capabilities while preserving strong generalizability. We introduce Hephaestus-Forge, the first large-scale pre-training corpus designed to enhance the fundamental capabilities of LLM agents in API function calling, intrinsic reasoning and planning, and adapting to environmental feedback. Hephaestus-Forge comprises 103B agent-specific data encompassing 76,537 APIs, including both tool documentation to introduce knowledge of API functions and function calling trajectories to strengthen intrinsic reasoning. To explore effective training protocols, we investigate scaling laws to identify the optimal recipe in data mixing ratios. By continual pre-training on Hephaestus-Forge, Hephaestus outperforms small- to medium-scale open-source LLMs and rivals commercial LLMs on three agent benchmarks, demonstrating the effectiveness of our pre-training corpus in enhancing fundamental agentic capabilities and generalization of LLMs to new tasks or environments.