ChatPaper.aiChatPaper

Lemur: Armonizando el Lenguaje Natural y el Código para Agentes de Lenguaje

Lemur: Harmonizing Natural Language and Code for Language Agents

October 10, 2023
Autores: Yiheng Xu, Hongjin Su, Chen Xing, Boyu Mi, Qian Liu, Weijia Shi, Binyuan Hui, Fan Zhou, Yitao Liu, Tianbao Xie, Zhoujun Cheng, Siheng Zhao, Lingpeng Kong, Bailin Wang, Caiming Xiong, Tao Yu
cs.AI

Resumen

Presentamos Lemur y Lemur-Chat, modelos de lenguaje de acceso abierto optimizados tanto para capacidades de lenguaje natural como de programación, diseñados para servir como la base de agentes de lenguaje versátiles. La evolución desde modelos de chat de lenguaje hacia agentes de lenguaje funcionales exige que los modelos no solo dominen la interacción humana, el razonamiento y la planificación, sino que también aseguren un anclaje en los entornos relevantes. Esto requiere una armoniosa combinación de capacidades de lenguaje y programación en los modelos. Lemur y Lemur-Chat se proponen para abordar esta necesidad, demostrando competencias equilibradas en ambos dominios, a diferencia de los modelos de código abierto existentes que tienden a especializarse en uno u otro. A través de un preentrenamiento meticuloso utilizando un corpus intensivo en código y un ajuste fino mediante instrucciones sobre datos de texto y código, nuestros modelos logran un rendimiento promedio de vanguardia en diversos puntos de referencia de texto y programación entre los modelos de código abierto. Experimentos exhaustivos demuestran la superioridad de Lemur sobre los modelos de código abierto existentes y su competencia en diversas tareas de agentes que involucran comunicación humana, uso de herramientas e interacción en entornos completamente y parcialmente observables. La armonización entre los lenguajes naturales y de programación permite que Lemur-Chat reduzca significativamente la brecha con los modelos propietarios en habilidades de agentes, proporcionando ideas clave para el desarrollo de agentes de código abierto avanzados, hábiles en razonamiento, planificación y operación sin problemas en diversos entornos. https://github.com/OpenLemur/Lemur
English
We introduce Lemur and Lemur-Chat, openly accessible language models optimized for both natural language and coding capabilities to serve as the backbone of versatile language agents. The evolution from language chat models to functional language agents demands that models not only master human interaction, reasoning, and planning but also ensure grounding in the relevant environments. This calls for a harmonious blend of language and coding capabilities in the models. Lemur and Lemur-Chat are proposed to address this necessity, demonstrating balanced proficiencies in both domains, unlike existing open-source models that tend to specialize in either. Through meticulous pre-training using a code-intensive corpus and instruction fine-tuning on text and code data, our models achieve state-of-the-art averaged performance across diverse text and coding benchmarks among open-source models. Comprehensive experiments demonstrate Lemur's superiority over existing open-source models and its proficiency across various agent tasks involving human communication, tool usage, and interaction under fully- and partially- observable environments. The harmonization between natural and programming languages enables Lemur-Chat to significantly narrow the gap with proprietary models on agent abilities, providing key insights into developing advanced open-source agents adept at reasoning, planning, and operating seamlessly across environments. https://github.com/OpenLemur/Lemur
PDF343December 15, 2024