Гефест: Улучшение основных возможностей агента больших языковых моделей через непрерывное предварительное обучение

Hephaestus: Improving Fundamental Agent Capabilities of Large Language Models through Continual Pre-Training

February 10, 2025

Авторы: Yuchen Zhuang, Jingfeng Yang, Haoming Jiang, Xin Liu, Kewei Cheng, Sanket Lokegaonkar, Yifan Gao, Qing Ping, Tianyi Liu, Binxuan Huang, Zheng Li, Zhengyang Wang, Pei Chen, Ruijie Wang, Rongzhi Zhang, Nasser Zalmout, Priyanka Nigam, Bing Yin, Chao Zhang

cs.AI

Аннотация

В связи с недостатком предварительных данных, ориентированных на агента, автономные агенты на основе LLM обычно полагаются на сложные подсказки или обширное донастройка, что часто не позволяет внедрить новые возможности, сохраняя при этом сильную обобщаемость. Мы представляем Hephaestus-Forge, первый крупномасштабный корпус предварительного обучения, разработанный для улучшения основных возможностей агентов LLM в вызове функций API, внутреннем рассуждении и планировании, а также в адаптации к обратной связи от окружающей среды. Hephaestus-Forge включает в себя 103 млрд агенто-специфических данных, охватывающих 76 537 API, включая как документацию по инструментам для введения знаний о функциях API, так и траектории вызова функций для укрепления внутреннего рассуждения. Для изучения эффективных протоколов обучения мы исследуем законы масштабирования для определения оптимального рецепта в соотношениях смешивания данных. Путем непрерывного предварительного обучения на Hephaestus-Forge, Hephaestus превосходит мало- и среднемасштабные LLM с открытым исходным кодом и конкурирует с коммерческими LLM на трех агентных бенчмарках, демонстрируя эффективность нашего корпуса предварительного обучения в улучшении основных агентных возможностей и обобщения LLM на новые задачи или среды.

English

Due to the scarcity of agent-oriented pre-training data, LLM-based autonomous agents typically rely on complex prompting or extensive fine-tuning, which often fails to introduce new capabilities while preserving strong generalizability. We introduce Hephaestus-Forge, the first large-scale pre-training corpus designed to enhance the fundamental capabilities of LLM agents in API function calling, intrinsic reasoning and planning, and adapting to environmental feedback. Hephaestus-Forge comprises 103B agent-specific data encompassing 76,537 APIs, including both tool documentation to introduce knowledge of API functions and function calling trajectories to strengthen intrinsic reasoning. To explore effective training protocols, we investigate scaling laws to identify the optimal recipe in data mixing ratios. By continual pre-training on Hephaestus-Forge, Hephaestus outperforms small- to medium-scale open-source LLMs and rivals commercial LLMs on three agent benchmarks, demonstrating the effectiveness of our pre-training corpus in enhancing fundamental agentic capabilities and generalization of LLMs to new tasks or environments.