OLMo: Beschleunigung der Wissenschaft der Sprachmodelle

OLMo: Accelerating the Science of Language Models

February 1, 2024

Autoren: Dirk Groeneveld, Iz Beltagy, Pete Walsh, Akshita Bhagia, Rodney Kinney, Oyvind Tafjord, Ananya Harsh Jha, Hamish Ivison, Ian Magnusson, Yizhong Wang, Shane Arora, David Atkinson, Russell Authur, Khyathi Raghavi Chandu, Arman Cohan, Jennifer Dumas, Yanai Elazar, Yuling Gu, Jack Hessel, Tushar Khot, William Merrill, Jacob Morrison, Niklas Muennighoff, Aakanksha Naik, Crystal Nam, Matthew E. Peters, Valentina Pyatkin, Abhilasha Ravichander, Dustin Schwenk, Saurabh Shah, Will Smith, Emma Strubell, Nishant Subramani, Mitchell Wortsman, Pradeep Dasigi, Nathan Lambert, Kyle Richardson, Luke Zettlemoyer, Jesse Dodge, Kyle Lo, Luca Soldaini, Noah A. Smith, Hannaneh Hajishirzi

cs.AI

Zusammenfassung

Sprachmodelle (Language Models, LMs) sind sowohl in der NLP-Forschung als auch in kommerziellen Produktangeboten allgegenwärtig. Mit dem zunehmenden kommerziellen Stellenwert wurden die leistungsstärksten Modelle zunehmend geschlossen, hinter proprietären Schnittstellen verborgen, wobei wichtige Details zu ihren Trainingsdaten, Architekturen und Entwicklungen nicht offengelegt werden. Angesichts der Bedeutung dieser Details für die wissenschaftliche Untersuchung dieser Modelle, einschließlich ihrer Verzerrungen und potenziellen Risiken, halten wir es für unerlässlich, dass die Forschungsgemeinschaft Zugang zu leistungsstarken, wirklich offenen Sprachmodellen hat. Zu diesem Zweck beschreibt dieser technische Bericht die erste Veröffentlichung von OLMo, einem state-of-the-art, wirklich offenen Sprachmodell, sowie dessen Framework zur Erstellung und Erforschung der Wissenschaft des Sprachmodellierens. Im Gegensatz zu den meisten früheren Bemühungen, bei denen nur Modellgewichte und Inferenzcode veröffentlicht wurden, stellen wir OLMo und das gesamte Framework zur Verfügung, einschließlich der Trainingsdaten sowie des Trainings- und Evaluierungscodes. Wir hoffen, dass diese Veröffentlichung die offene Forschungsgemeinschaft stärken und eine neue Innovationswelle inspirieren wird.

English

Language models (LMs) have become ubiquitous in both NLP research and in commercial product offerings. As their commercial importance has surged, the most powerful models have become closed off, gated behind proprietary interfaces, with important details of their training data, architectures, and development undisclosed. Given the importance of these details in scientifically studying these models, including their biases and potential risks, we believe it is essential for the research community to have access to powerful, truly open LMs. To this end, this technical report details the first release of OLMo, a state-of-the-art, truly Open Language Model and its framework to build and study the science of language modeling. Unlike most prior efforts that have only released model weights and inference code, we release OLMo and the whole framework, including training data and training and evaluation code. We hope this release will empower and strengthen the open research community and inspire a new wave of innovation.