OLMo: Ускорение развития науки о языковых моделях
OLMo: Accelerating the Science of Language Models
February 1, 2024
Авторы: Dirk Groeneveld, Iz Beltagy, Pete Walsh, Akshita Bhagia, Rodney Kinney, Oyvind Tafjord, Ananya Harsh Jha, Hamish Ivison, Ian Magnusson, Yizhong Wang, Shane Arora, David Atkinson, Russell Authur, Khyathi Raghavi Chandu, Arman Cohan, Jennifer Dumas, Yanai Elazar, Yuling Gu, Jack Hessel, Tushar Khot, William Merrill, Jacob Morrison, Niklas Muennighoff, Aakanksha Naik, Crystal Nam, Matthew E. Peters, Valentina Pyatkin, Abhilasha Ravichander, Dustin Schwenk, Saurabh Shah, Will Smith, Emma Strubell, Nishant Subramani, Mitchell Wortsman, Pradeep Dasigi, Nathan Lambert, Kyle Richardson, Luke Zettlemoyer, Jesse Dodge, Kyle Lo, Luca Soldaini, Noah A. Smith, Hannaneh Hajishirzi
cs.AI
Аннотация
Языковые модели (ЯМ) стали повсеместными как в исследованиях в области обработки естественного языка (NLP), так и в коммерческих продуктах. По мере роста их коммерческой значимости наиболее мощные модели стали закрытыми, доступ к которым ограничен проприетарными интерфейсами, а важные детали их обучающих данных, архитектур и разработки остаются нераскрытыми. Учитывая важность этих деталей для научного изучения таких моделей, включая их предубеждения и потенциальные риски, мы считаем, что исследовательскому сообществу крайне необходим доступ к мощным, по-настоящему открытым ЯМ. В связи с этим данный технический отчет описывает первый релиз OLMo — современной, полностью открытой языковой модели, а также её фреймворка для создания и изучения науки о языковом моделировании. В отличие от большинства предыдущих усилий, которые ограничивались выпуском весов моделей и кода для вывода, мы публикуем OLMo и весь фреймворк, включая обучающие данные, а также код для обучения и оценки. Мы надеемся, что этот релиз укрепит и расширит возможности открытого исследовательского сообщества и вдохновит на новую волну инноваций.
English
Language models (LMs) have become ubiquitous in both NLP research and in
commercial product offerings. As their commercial importance has surged, the
most powerful models have become closed off, gated behind proprietary
interfaces, with important details of their training data, architectures, and
development undisclosed. Given the importance of these details in
scientifically studying these models, including their biases and potential
risks, we believe it is essential for the research community to have access to
powerful, truly open LMs. To this end, this technical report details the first
release of OLMo, a state-of-the-art, truly Open Language Model and its
framework to build and study the science of language modeling. Unlike most
prior efforts that have only released model weights and inference code, we
release OLMo and the whole framework, including training data and training and
evaluation code. We hope this release will empower and strengthen the open
research community and inspire a new wave of innovation.