AgentOhana: Diseño de una Canalización Unificada de Datos y Entrenamiento para un Aprendizaje Efectivo de Agentes
AgentOhana: Design Unified Data and Training Pipeline for Effective Agent Learning
February 23, 2024
Autores: Jianguo Zhang, Tian Lan, Rithesh Murthy, Zhiwei Liu, Weiran Yao, Juntao Tan, Thai Hoang, Liangwei Yang, Yihao Feng, Zuxin Liu, Tulika Awalgaonkar, Juan Carlos Niebles, Silvio Savarese, Shelby Heinecke, Huan Wang, Caiming Xiong
cs.AI
Resumen
Los agentes autónomos impulsados por modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han captado una atención significativa en la investigación. Sin embargo, aprovechar plenamente el potencial de los LLMs para tareas basadas en agentes presenta desafíos inherentes debido a la naturaleza heterogénea de diversas fuentes de datos que incluyen trayectorias de múltiples turnos. En este artículo, presentamos AgentOhana como una solución integral para abordar estos desafíos. AgentOhana agrega trayectorias de agentes provenientes de distintos entornos, abarcando una amplia gama de escenarios. Meticulosamente, estandariza y unifica estas trayectorias en un formato consistente, optimizando la creación de un cargador de datos genérico diseñado para el entrenamiento de agentes. Aprovechando la unificación de datos, nuestra canalización de entrenamiento mantiene un equilibrio entre diferentes fuentes de datos y preserva la aleatoriedad independiente en los dispositivos durante la partición del conjunto de datos y el entrenamiento del modelo. Además, presentamos xLAM-v0.1, un modelo de acción de gran escala diseñado específicamente para agentes de IA, que demuestra un rendimiento excepcional en varios puntos de referencia.
English
Autonomous agents powered by large language models (LLMs) have garnered
significant research attention. However, fully harnessing the potential of LLMs
for agent-based tasks presents inherent challenges due to the heterogeneous
nature of diverse data sources featuring multi-turn trajectories. In this
paper, we introduce AgentOhana as a comprehensive solution to address
these challenges. AgentOhana aggregates agent trajectories from
distinct environments, spanning a wide array of scenarios. It meticulously
standardizes and unifies these trajectories into a consistent format,
streamlining the creation of a generic data loader optimized for agent
training. Leveraging the data unification, our training pipeline maintains
equilibrium across different data sources and preserves independent randomness
across devices during dataset partitioning and model training. Additionally, we
present xLAM-v0.1, a large action model tailored for AI agents, which
demonstrates exceptional performance across various benchmarks.