Lemur: Armonizando el Lenguaje Natural y el Código para Agentes de Lenguaje
Lemur: Harmonizing Natural Language and Code for Language Agents
October 10, 2023
Autores: Yiheng Xu, Hongjin Su, Chen Xing, Boyu Mi, Qian Liu, Weijia Shi, Binyuan Hui, Fan Zhou, Yitao Liu, Tianbao Xie, Zhoujun Cheng, Siheng Zhao, Lingpeng Kong, Bailin Wang, Caiming Xiong, Tao Yu
cs.AI
Resumen
Presentamos Lemur y Lemur-Chat, modelos de lenguaje de acceso abierto optimizados tanto para capacidades de lenguaje natural como de programación, diseñados para servir como la base de agentes de lenguaje versátiles. La evolución desde modelos de chat de lenguaje hacia agentes de lenguaje funcionales exige que los modelos no solo dominen la interacción humana, el razonamiento y la planificación, sino que también aseguren un anclaje en los entornos relevantes. Esto requiere una armoniosa combinación de capacidades de lenguaje y programación en los modelos. Lemur y Lemur-Chat se proponen para abordar esta necesidad, demostrando competencias equilibradas en ambos dominios, a diferencia de los modelos de código abierto existentes que tienden a especializarse en uno u otro. A través de un preentrenamiento meticuloso utilizando un corpus intensivo en código y un ajuste fino mediante instrucciones sobre datos de texto y código, nuestros modelos logran un rendimiento promedio de vanguardia en diversos puntos de referencia de texto y programación entre los modelos de código abierto. Experimentos exhaustivos demuestran la superioridad de Lemur sobre los modelos de código abierto existentes y su competencia en diversas tareas de agentes que involucran comunicación humana, uso de herramientas e interacción en entornos completamente y parcialmente observables. La armonización entre los lenguajes naturales y de programación permite que Lemur-Chat reduzca significativamente la brecha con los modelos propietarios en habilidades de agentes, proporcionando ideas clave para el desarrollo de agentes de código abierto avanzados, hábiles en razonamiento, planificación y operación sin problemas en diversos entornos. https://github.com/OpenLemur/Lemur
English
We introduce Lemur and Lemur-Chat, openly accessible language models
optimized for both natural language and coding capabilities to serve as the
backbone of versatile language agents. The evolution from language chat models
to functional language agents demands that models not only master human
interaction, reasoning, and planning but also ensure grounding in the relevant
environments. This calls for a harmonious blend of language and coding
capabilities in the models. Lemur and Lemur-Chat are proposed to address this
necessity, demonstrating balanced proficiencies in both domains, unlike
existing open-source models that tend to specialize in either. Through
meticulous pre-training using a code-intensive corpus and instruction
fine-tuning on text and code data, our models achieve state-of-the-art averaged
performance across diverse text and coding benchmarks among open-source models.
Comprehensive experiments demonstrate Lemur's superiority over existing
open-source models and its proficiency across various agent tasks involving
human communication, tool usage, and interaction under fully- and partially-
observable environments. The harmonization between natural and programming
languages enables Lemur-Chat to significantly narrow the gap with proprietary
models on agent abilities, providing key insights into developing advanced
open-source agents adept at reasoning, planning, and operating seamlessly
across environments. https://github.com/OpenLemur/Lemur