Lumos : Agents d'apprentissage avec données unifiées, conception modulaire et modèles de langage open source

Lumos: Learning Agents with Unified Data, Modular Design, and Open-Source LLMs

November 9, 2023

Auteurs: Da Yin, Faeze Brahman, Abhilasha Ravichander, Khyathi Chandu, Kai-Wei Chang, Yejin Choi, Bill Yuchen Lin

cs.AI

Résumé

Nous présentons Lumos, un nouveau cadre pour l'entraînement d'agents linguistiques qui utilise un format de données unifié et une architecture modulaire basée sur des modèles de langage de grande taille (LLMs) open-source. Lumos se compose de trois modules distincts : planification, ancrage et exécution. Le module de planification décompose une tâche en une série de sous-objectifs de haut niveau, indépendants des outils, qui sont ensuite rendus spécifiques par le module d'ancrage via un ensemble d'actions de bas niveau. Ces actions sont ensuite exécutées par le module d'exécution, en utilisant une gamme d'outils et d'API prêts à l'emploi. Pour entraîner efficacement ces modules, des annotations de haute qualité des sous-objectifs et des actions ont été collectées et sont mises à disposition pour le fine-tuning de LLMs open-source pour diverses tâches telles que la réponse à des questions complexes, les tâches web et les problèmes mathématiques. En tirant parti de ces données unifiées et de cette conception modulaire, Lumos non seulement atteint des performances comparables ou supérieures à celles des agents actuels de pointe, mais présente également plusieurs avantages clés : (1) Lumos surpasse les agents basés sur GPT-4/3.5 dans les tâches de réponse à des questions complexes et les tâches web, tout en égalant les performances d'agents LLM significativement plus grands sur les tâches mathématiques ; (2) Lumos surpasse les agents open-source créés via des méthodes d'entraînement conventionnelles et ceux utilisant l'entraînement en chaîne de pensées ; et (3) Lumos est capable de généraliser efficacement à des tâches interactives non vues, surpassant les agents basés sur des LLM plus grands et dépassant même les performances d'agents spécialisés.

English

We introduce Lumos, a novel framework for training language agents that employs a unified data format and a modular architecture based on open-source large language models (LLMs). Lumos consists of three distinct modules: planning, grounding, and execution. The planning module breaks down a task into a series of high-level, tool-agnostic subgoals, which are then made specific by the grounding module through a set of low-level actions. These actions are subsequently executed by the execution module, utilizing a range of off-the-shelf tools and APIs. In order to train these modules effectively, high-quality annotations of subgoals and actions were collected and are made available for fine-tuning open-source LLMs for various tasks such as complex question answering, web tasks, and math problems. Leveraging this unified data and modular design, Lumos not only achieves comparable or superior performance to current, state-of-the-art agents, but also exhibits several key advantages: (1) Lumos surpasses GPT-4/3.5-based agents in complex question answering and web tasks, while equalling the performance of significantly larger LLM agents on math tasks; (2) Lumos outperforms open-source agents created through conventional training methods and those using chain-of-thoughts training; and (3) Lumos is capable of effectively generalizing to unseen interactive tasks, outperforming larger LLM-based agents and even exceeding performance of specialized agents.