Hephaestus : Amélioration des Capacités Fondamentales des Agents des Grands Modèles de Langage grâce à un Entraînement Préalable Continuel

Hephaestus: Improving Fundamental Agent Capabilities of Large Language Models through Continual Pre-Training

February 10, 2025

Auteurs: Yuchen Zhuang, Jingfeng Yang, Haoming Jiang, Xin Liu, Kewei Cheng, Sanket Lokegaonkar, Yifan Gao, Qing Ping, Tianyi Liu, Binxuan Huang, Zheng Li, Zhengyang Wang, Pei Chen, Ruijie Wang, Rongzhi Zhang, Nasser Zalmout, Priyanka Nigam, Bing Yin, Chao Zhang

cs.AI

Résumé

En raison de la rareté des données de pré-entraînement orientées agent, les agents autonomes basés sur LLM s'appuient généralement sur des formulations complexes ou un ajustement fin approfondi, ce qui échoue souvent à introduire de nouvelles capacités tout en préservant une forte capacité de généralisation. Nous présentons Hephaestus-Forge, le premier corpus de pré-entraînement à grande échelle conçu pour améliorer les capacités fondamentales des agents LLM dans l'appel de fonctions API, le raisonnement intrinsèque et la planification, ainsi que dans l'adaptation aux retours environnementaux. Hephaestus-Forge comprend 103 milliards de données spécifiques à l'agent englobant 76 537 APIs, comprenant à la fois la documentation des outils pour introduire la connaissance des fonctions API et les trajectoires d'appel de fonctions pour renforcer le raisonnement intrinsèque. Pour explorer des protocoles d'entraînement efficaces, nous étudions les lois d'échelle pour identifier la recette optimale en termes de ratios de mélange de données. En continuant l'entraînement sur Hephaestus-Forge, Hephaestus surpasse les LLM open-source de petite à moyenne échelle et rivalise avec les LLM commerciaux sur trois benchmarks d'agents, démontrant l'efficacité de notre corpus de pré-entraînement dans l'amélioration des capacités agentic fondamentales et de la généralisation des LLM à de nouvelles tâches ou environnements.

English

Due to the scarcity of agent-oriented pre-training data, LLM-based autonomous agents typically rely on complex prompting or extensive fine-tuning, which often fails to introduce new capabilities while preserving strong generalizability. We introduce Hephaestus-Forge, the first large-scale pre-training corpus designed to enhance the fundamental capabilities of LLM agents in API function calling, intrinsic reasoning and planning, and adapting to environmental feedback. Hephaestus-Forge comprises 103B agent-specific data encompassing 76,537 APIs, including both tool documentation to introduce knowledge of API functions and function calling trajectories to strengthen intrinsic reasoning. To explore effective training protocols, we investigate scaling laws to identify the optimal recipe in data mixing ratios. By continual pre-training on Hephaestus-Forge, Hephaestus outperforms small- to medium-scale open-source LLMs and rivals commercial LLMs on three agent benchmarks, demonstrating the effectiveness of our pre-training corpus in enhancing fundamental agentic capabilities and generalization of LLMs to new tasks or environments.