Hephaestus: Migliorare le Capacità Fondamentali degli Agenti dei Grandi Modelli Linguistici attraverso il Pre-Training Continuo

Hephaestus: Improving Fundamental Agent Capabilities of Large Language Models through Continual Pre-Training

February 10, 2025

Autori: Yuchen Zhuang, Jingfeng Yang, Haoming Jiang, Xin Liu, Kewei Cheng, Sanket Lokegaonkar, Yifan Gao, Qing Ping, Tianyi Liu, Binxuan Huang, Zheng Li, Zhengyang Wang, Pei Chen, Ruijie Wang, Rongzhi Zhang, Nasser Zalmout, Priyanka Nigam, Bing Yin, Chao Zhang

cs.AI

Abstract

A causa della scarsità di dati di pre-addestramento orientati agli agenti, gli agenti autonomi basati su LLM di solito si affidano a prompt complessi o ad un'ampia messa a punto, che spesso non riesce a introdurre nuove capacità pur preservando una forte generalizzabilità. Presentiamo Hephaestus-Forge, il primo corpus di pre-addestramento su larga scala progettato per potenziare le capacità fondamentali degli agenti LLM nella chiamata di funzioni API, nel ragionamento intrinseco e nella pianificazione, e nell'adattamento al feedback ambientale. Hephaestus-Forge comprende 103 miliardi di dati specifici degli agenti che abbracciano 76.537 API, includendo sia la documentazione degli strumenti per introdurre la conoscenza delle funzioni API che le traiettorie di chiamata delle funzioni per rafforzare il ragionamento intrinseco. Per esplorare protocolli di addestramento efficaci, indaghiamo sulle leggi di scala per identificare la ricetta ottimale nei rapporti di miscelazione dei dati. Attraverso un pre-addestramento continuo su Hephaestus-Forge, Hephaestus supera i LLM open-source di piccole e medie dimensioni e si confronta con i LLM commerciali su tre benchmark degli agenti, dimostrando l'efficacia del nostro corpus di pre-addestramento nel potenziare le capacità agentiche fondamentali e la generalizzazione dei LLM a nuovi compiti o ambienti.

English

Due to the scarcity of agent-oriented pre-training data, LLM-based autonomous agents typically rely on complex prompting or extensive fine-tuning, which often fails to introduce new capabilities while preserving strong generalizability. We introduce Hephaestus-Forge, the first large-scale pre-training corpus designed to enhance the fundamental capabilities of LLM agents in API function calling, intrinsic reasoning and planning, and adapting to environmental feedback. Hephaestus-Forge comprises 103B agent-specific data encompassing 76,537 APIs, including both tool documentation to introduce knowledge of API functions and function calling trajectories to strengthen intrinsic reasoning. To explore effective training protocols, we investigate scaling laws to identify the optimal recipe in data mixing ratios. By continual pre-training on Hephaestus-Forge, Hephaestus outperforms small- to medium-scale open-source LLMs and rivals commercial LLMs on three agent benchmarks, demonstrating the effectiveness of our pre-training corpus in enhancing fundamental agentic capabilities and generalization of LLMs to new tasks or environments.