Lemur: 言語エージェントのための自然言語とコードの調和

Lemur: Harmonizing Natural Language and Code for Language Agents

October 10, 2023

著者: Yiheng Xu, Hongjin Su, Chen Xing, Boyu Mi, Qian Liu, Weijia Shi, Binyuan Hui, Fan Zhou, Yitao Liu, Tianbao Xie, Zhoujun Cheng, Siheng Zhao, Lingpeng Kong, Bailin Wang, Caiming Xiong, Tao Yu

cs.AI

要旨

我々は、汎用性の高い言語エージェントの中核として機能するよう、自然言語とコーディング能力の両方に最適化されたオープンアクセスの言語モデル、LemurとLemur-Chatを紹介する。言語チャットモデルから機能的な言語エージェントへの進化には、モデルが人間との相互作用、推論、計画を習得するだけでなく、関連する環境に基づいた基盤を確保することが求められる。これには、モデルにおける言語とコーディング能力の調和の取れた融合が必要である。LemurとLemur-Chatは、この必要性に対応するために提案され、既存のオープンソースモデルがどちらかに特化する傾向があるのとは異なり、両分野においてバランスの取れた熟練度を示す。コード集約型コーパスを用いた入念な事前学習と、テキストおよびコードデータに対する指示ファインチューニングを通じて、我々のモデルはオープンソースモデルの中で多様なテキストおよびコーディングベンチマークにおいて最先端の平均性能を達成する。包括的な実験により、Lemurが既存のオープンソースモデルを上回り、完全観測可能および部分観測可能な環境下での人間とのコミュニケーション、ツールの使用、相互作用を含む様々なエージェントタスクにおいて熟練していることが実証された。自然言語とプログラミング言語の調和により、Lemur-Chatはエージェント能力においてプロプライエタリモデルとのギャップを大幅に狭め、環境をシームレスに横断する推論、計画、操作に熟達した先進的なオープンソースエージェントの開発に重要な洞察を提供する。https://github.com/OpenLemur/Lemur

English

We introduce Lemur and Lemur-Chat, openly accessible language models optimized for both natural language and coding capabilities to serve as the backbone of versatile language agents. The evolution from language chat models to functional language agents demands that models not only master human interaction, reasoning, and planning but also ensure grounding in the relevant environments. This calls for a harmonious blend of language and coding capabilities in the models. Lemur and Lemur-Chat are proposed to address this necessity, demonstrating balanced proficiencies in both domains, unlike existing open-source models that tend to specialize in either. Through meticulous pre-training using a code-intensive corpus and instruction fine-tuning on text and code data, our models achieve state-of-the-art averaged performance across diverse text and coding benchmarks among open-source models. Comprehensive experiments demonstrate Lemur's superiority over existing open-source models and its proficiency across various agent tasks involving human communication, tool usage, and interaction under fully- and partially- observable environments. The harmonization between natural and programming languages enables Lemur-Chat to significantly narrow the gap with proprietary models on agent abilities, providing key insights into developing advanced open-source agents adept at reasoning, planning, and operating seamlessly across environments. https://github.com/OpenLemur/Lemur