에이전트오하나: 효과적인 에이전트 학습을 위한 통합 데이터 및 훈련 파이프라인 설계

초록

대형 언어 모델(LLM) 기반의 자율 에이전트는 상당한 연구 관심을 받고 있다. 그러나 다양한 데이터 소스의 이질적 특성과 다중 터제트로 구성된 데이터의 특성으로 인해, 에이전트 기반 작업에서 LLM의 잠재력을 완전히 활용하는 데는 본질적인 어려움이 존재한다. 본 논문에서는 이러한 문제를 해결하기 위한 포괄적인 솔루션으로 AgentOhana를 소개한다. AgentOhana는 다양한 환경에서 수집된 에이전트 터제트를 통합하며, 광범위한 시나리오를 아우른다. 이를 통해 터제트를 일관된 형식으로 표준화하고 통합함으로써, 에이전트 학습에 최적화된 일반적인 데이터 로더의 구성을 간소화한다. 데이터 통합을 활용하여, 우리의 학습 파이프라인은 다양한 데이터 소스 간의 균형을 유지하고, 데이터셋 분할 및 모델 학습 과정에서 디바이스 간 독립적인 무작위성을 보존한다. 또한, AI 에이전트를 위해 특화된 대형 액션 모델인 xLAM-v0.1을 제시하며, 이는 다양한 벤치마크에서 탁월한 성능을 보인다.

English

Autonomous agents powered by large language models (LLMs) have garnered significant research attention. However, fully harnessing the potential of LLMs for agent-based tasks presents inherent challenges due to the heterogeneous nature of diverse data sources featuring multi-turn trajectories. In this paper, we introduce AgentOhana as a comprehensive solution to address these challenges. AgentOhana aggregates agent trajectories from distinct environments, spanning a wide array of scenarios. It meticulously standardizes and unifies these trajectories into a consistent format, streamlining the creation of a generic data loader optimized for agent training. Leveraging the data unification, our training pipeline maintains equilibrium across different data sources and preserves independent randomness across devices during dataset partitioning and model training. Additionally, we present xLAM-v0.1, a large action model tailored for AI agents, which demonstrates exceptional performance across various benchmarks.

에이전트오하나: 효과적인 에이전트 학습을 위한 통합 데이터 및 훈련 파이프라인 설계

AgentOhana: Design Unified Data and Training Pipeline for Effective Agent Learning

초록

Support