Hephaestus: Melhorando as Capacidades Fundamentais de Agentes de Modelos de Linguagem Grandes por Meio de Pré-Treinamento Contínuo

Hephaestus: Improving Fundamental Agent Capabilities of Large Language Models through Continual Pre-Training

February 10, 2025

Autores: Yuchen Zhuang, Jingfeng Yang, Haoming Jiang, Xin Liu, Kewei Cheng, Sanket Lokegaonkar, Yifan Gao, Qing Ping, Tianyi Liu, Binxuan Huang, Zheng Li, Zhengyang Wang, Pei Chen, Ruijie Wang, Rongzhi Zhang, Nasser Zalmout, Priyanka Nigam, Bing Yin, Chao Zhang

cs.AI

Resumo

Devido à escassez de dados de pré-treinamento orientados a agentes, agentes autônomos baseados em LLM geralmente dependem de prompts complexos ou ajustes extensivos, o que frequentemente falha em introduzir novas capacidades mantendo uma forte capacidade de generalização. Apresentamos o Hephaestus-Forge, o primeiro corpus de pré-treinamento em larga escala projetado para aprimorar as capacidades fundamentais de agentes LLM na chamada de funções de API, raciocínio intrínseco e planejamento, e adaptação ao feedback ambiental. O Hephaestus-Forge é composto por 103B de dados específicos do agente abrangendo 76.537 APIs, incluindo documentação de ferramentas para introduzir conhecimento das funções de API e trajetórias de chamada de funções para fortalecer o raciocínio intrínseco. Para explorar protocolos de treinamento eficazes, investigamos leis de escala para identificar a receita ideal em termos de proporções de mistura de dados. Ao continuar o pré-treinamento no Hephaestus-Forge, o Hephaestus supera LLMs de código aberto de pequena a média escala e rivaliza com LLMs comerciais em três benchmarks de agentes, demonstrando a eficácia de nosso corpus de pré-treinamento em aprimorar as capacidades agentes fundamentais e a generalização de LLMs para novas tarefas ou ambientes.

English

Due to the scarcity of agent-oriented pre-training data, LLM-based autonomous agents typically rely on complex prompting or extensive fine-tuning, which often fails to introduce new capabilities while preserving strong generalizability. We introduce Hephaestus-Forge, the first large-scale pre-training corpus designed to enhance the fundamental capabilities of LLM agents in API function calling, intrinsic reasoning and planning, and adapting to environmental feedback. Hephaestus-Forge comprises 103B agent-specific data encompassing 76,537 APIs, including both tool documentation to introduce knowledge of API functions and function calling trajectories to strengthen intrinsic reasoning. To explore effective training protocols, we investigate scaling laws to identify the optimal recipe in data mixing ratios. By continual pre-training on Hephaestus-Forge, Hephaestus outperforms small- to medium-scale open-source LLMs and rivals commercial LLMs on three agent benchmarks, demonstrating the effectiveness of our pre-training corpus in enhancing fundamental agentic capabilities and generalization of LLMs to new tasks or environments.