Lemur: 언어 에이전트를 위한 자연어와 코드의 조화

초록

우리는 다재다능한 언어 에이전트의 기반이 될 수 있도록 자연어와 코딩 능력 모두에 최적화된 공개 접근 가능한 언어 모델인 Lemur와 Lemur-Chat을 소개한다. 언어 채팅 모델에서 기능적 언어 에이전트로의 진화는 모델이 인간 상호작용, 추론, 계획을 숙달할 뿐만 아니라 관련 환경에 기반을 두는 것을 요구한다. 이는 모델 내에서 언어와 코딩 능력의 조화로운 융합을 필요로 한다. Lemur와 Lemur-Chat은 이러한 필요를 해결하기 위해 제안되었으며, 기존의 오픈소스 모델들이 한쪽에 치우치는 경향과 달리 두 영역 모두에서 균형 잡힌 능력을 보여준다. 코드 중심의 코퍼스를 사용한 꼼꼼한 사전 학습과 텍스트 및 코드 데이터에 대한 지시 미세 조정을 통해, 우리의 모델은 오픈소스 모델 중 다양한 텍스트 및 코딩 벤치마크에서 최첨단의 평균 성능을 달성한다. 포괄적인 실험을 통해 Lemur가 기존 오픈소스 모델을 능가하며, 완전 및 부분 관찰 가능 환경에서의 인간 커뮤니케이션, 도구 사용, 상호작용과 관련된 다양한 에이전트 작업에서의 숙련도를 입증한다. 자연어와 프로그래밍 언어 간의 조화는 Lemur-Chat이 에이전트 능력에 있어 독점 모델과의 격차를 크게 좁히게 하며, 환경 간 원활하게 추론, 계획, 운영할 수 있는 고급 오픈소스 에이전트 개발에 대한 핵심 통찰을 제공한다. https://github.com/OpenLemur/Lemur

English

We introduce Lemur and Lemur-Chat, openly accessible language models optimized for both natural language and coding capabilities to serve as the backbone of versatile language agents. The evolution from language chat models to functional language agents demands that models not only master human interaction, reasoning, and planning but also ensure grounding in the relevant environments. This calls for a harmonious blend of language and coding capabilities in the models. Lemur and Lemur-Chat are proposed to address this necessity, demonstrating balanced proficiencies in both domains, unlike existing open-source models that tend to specialize in either. Through meticulous pre-training using a code-intensive corpus and instruction fine-tuning on text and code data, our models achieve state-of-the-art averaged performance across diverse text and coding benchmarks among open-source models. Comprehensive experiments demonstrate Lemur's superiority over existing open-source models and its proficiency across various agent tasks involving human communication, tool usage, and interaction under fully- and partially- observable environments. The harmonization between natural and programming languages enables Lemur-Chat to significantly narrow the gap with proprietary models on agent abilities, providing key insights into developing advanced open-source agents adept at reasoning, planning, and operating seamlessly across environments. https://github.com/OpenLemur/Lemur

Lemur: 언어 에이전트를 위한 자연어와 코드의 조화

Lemur: Harmonizing Natural Language and Code for Language Agents

초록

Support