Lemur: Harmonisierung von natürlicher Sprache und Code für Sprachagenten

Zusammenfassung

Wir stellen Lemur und Lemur-Chat vor, offen zugängliche Sprachmodelle, die sowohl für natürliche Sprache als auch für Programmierfähigkeiten optimiert sind, um als Rückgrat vielseitiger Sprachagenten zu dienen. Die Entwicklung von Sprach-Chat-Modellen hin zu funktionalen Sprachagenten erfordert, dass Modelle nicht nur menschliche Interaktion, logisches Denken und Planung beherrschen, sondern auch eine Verankerung in den relevanten Umgebungen sicherstellen. Dies erfordert eine harmonische Verbindung von Sprach- und Programmierfähigkeiten in den Modellen. Lemur und Lemur-Chat wurden entwickelt, um dieser Notwendigkeit gerecht zu werden, und zeigen ausgewogene Fähigkeiten in beiden Bereichen, im Gegensatz zu bestehenden Open-Source-Modellen, die tendenziell auf einen der beiden Bereiche spezialisiert sind. Durch sorgfältiges Vor-Training mit einem codeintensiven Korpus und Feinabstimmung durch Instruktionen auf Text- und Code-Daten erreichen unsere Modelle eine state-of-the-art durchschnittliche Leistung über diverse Text- und Programmier-Benchmarks unter den Open-Source-Modellen. Umfassende Experimente demonstrieren die Überlegenheit von Lemur gegenüber bestehenden Open-Source-Modellen und seine Kompetenz in verschiedenen Agentenaufgaben, die menschliche Kommunikation, Werkzeugnutzung und Interaktion in vollständig und teilweise beobachtbaren Umgebungen beinhalten. Die Harmonisierung zwischen natürlicher und Programmiersprache ermöglicht es Lemur-Chat, die Lücke zu proprietären Modellen in Bezug auf Agentenfähigkeiten erheblich zu verringern, und liefert wichtige Einblicke in die Entwicklung fortschrittlicher Open-Source-Agenten, die in der Lage sind, nahtlos über Umgebungen hinweg zu denken, zu planen und zu operieren. https://github.com/OpenLemur/Lemur

English

We introduce Lemur and Lemur-Chat, openly accessible language models optimized for both natural language and coding capabilities to serve as the backbone of versatile language agents. The evolution from language chat models to functional language agents demands that models not only master human interaction, reasoning, and planning but also ensure grounding in the relevant environments. This calls for a harmonious blend of language and coding capabilities in the models. Lemur and Lemur-Chat are proposed to address this necessity, demonstrating balanced proficiencies in both domains, unlike existing open-source models that tend to specialize in either. Through meticulous pre-training using a code-intensive corpus and instruction fine-tuning on text and code data, our models achieve state-of-the-art averaged performance across diverse text and coding benchmarks among open-source models. Comprehensive experiments demonstrate Lemur's superiority over existing open-source models and its proficiency across various agent tasks involving human communication, tool usage, and interaction under fully- and partially- observable environments. The harmonization between natural and programming languages enables Lemur-Chat to significantly narrow the gap with proprietary models on agent abilities, providing key insights into developing advanced open-source agents adept at reasoning, planning, and operating seamlessly across environments. https://github.com/OpenLemur/Lemur

Lemur: Harmonisierung von natürlicher Sprache und Code für Sprachagenten

Lemur: Harmonizing Natural Language and Code for Language Agents

Zusammenfassung

Support