Lemur: Het harmoniseren van natuurlijke taal en code voor taalagentschappen

Samenvatting

We introduceren Lemur en Lemur-Chat, openbaar toegankelijke taalmodellen die zijn geoptimaliseerd voor zowel natuurlijke taal- als programmeercapaciteiten, om te dienen als de ruggengraat van veelzijdige taalagentschappen. De evolutie van taalmodelchatten naar functionele taalagentschappen vereist dat modellen niet alleen menselijke interactie, redenering en planning beheersen, maar ook verankerd zijn in de relevante omgevingen. Dit vraagt om een harmonieuze combinatie van taal- en programmeercapaciteiten in de modellen. Lemur en Lemur-Chat worden voorgesteld om aan deze noodzaak te voldoen, waarbij ze een gebalanceerde vaardigheid in beide domeinen demonstreren, in tegenstelling tot bestaande open-source modellen die de neiging hebben zich te specialiseren in één van beide. Door zorgvuldige pre-training met een code-intensief corpus en instructie-finetuning op tekst- en codegegevens, bereiken onze modellen state-of-the-art gemiddelde prestaties op diverse tekst- en programmeerbenchmarks onder open-source modellen. Uitgebreide experimenten tonen de superioriteit van Lemur aan ten opzichte van bestaande open-source modellen en zijn vaardigheid in verschillende agenttaken die menselijke communicatie, toolgebruik en interactie onder volledig en gedeeltelijk waarneembare omgevingen omvatten. De harmonisatie tussen natuurlijke en programmeertalen stelt Lemur-Chat in staat om de kloof met propriëtaire modellen op het gebied van agentvaardigheden aanzienlijk te verkleinen, wat belangrijke inzichten biedt voor de ontwikkeling van geavanceerde open-source agentschappen die bedreven zijn in redeneren, plannen en naadloos opereren in verschillende omgevingen. https://github.com/OpenLemur/Lemur

English

We introduce Lemur and Lemur-Chat, openly accessible language models optimized for both natural language and coding capabilities to serve as the backbone of versatile language agents. The evolution from language chat models to functional language agents demands that models not only master human interaction, reasoning, and planning but also ensure grounding in the relevant environments. This calls for a harmonious blend of language and coding capabilities in the models. Lemur and Lemur-Chat are proposed to address this necessity, demonstrating balanced proficiencies in both domains, unlike existing open-source models that tend to specialize in either. Through meticulous pre-training using a code-intensive corpus and instruction fine-tuning on text and code data, our models achieve state-of-the-art averaged performance across diverse text and coding benchmarks among open-source models. Comprehensive experiments demonstrate Lemur's superiority over existing open-source models and its proficiency across various agent tasks involving human communication, tool usage, and interaction under fully- and partially- observable environments. The harmonization between natural and programming languages enables Lemur-Chat to significantly narrow the gap with proprietary models on agent abilities, providing key insights into developing advanced open-source agents adept at reasoning, planning, and operating seamlessly across environments. https://github.com/OpenLemur/Lemur

Lemur: Het harmoniseren van natuurlijke taal en code voor taalagentschappen

Lemur: Harmonizing Natural Language and Code for Language Agents

Samenvatting

Support