OLMo: 言語モデルの科学を加速する

要旨

言語モデル（LM）は、NLP研究と商用製品の両方で広く普及しています。その商業的重要性が高まるにつれ、最も強力なモデルはクローズド化され、独自のインターフェースの背後に隠され、そのトレーニングデータ、アーキテクチャ、開発に関する重要な詳細が非公開となっています。これらの詳細が、モデルのバイアスや潜在的なリスクを含む科学的な研究において重要であることを考慮すると、研究コミュニティが強力で真にオープンなLMにアクセスできることが不可欠であると私たちは考えています。この目的のために、本テクニカルレポートでは、最先端の真にオープンな言語モデルであるOLMoと、言語モデリングの科学を構築し研究するためのフレームワークの初回リリースについて詳細に説明します。これまでの多くの取り組みがモデルの重みと推論コードのみを公開してきたのとは異なり、私たちはOLMoとそのフレームワーク全体、トレーニングデータ、トレーニングおよび評価コードを公開します。このリリースがオープン研究コミュニティを強化し、新たなイノベーションの波を引き起こすことを願っています。

English

Language models (LMs) have become ubiquitous in both NLP research and in commercial product offerings. As their commercial importance has surged, the most powerful models have become closed off, gated behind proprietary interfaces, with important details of their training data, architectures, and development undisclosed. Given the importance of these details in scientifically studying these models, including their biases and potential risks, we believe it is essential for the research community to have access to powerful, truly open LMs. To this end, this technical report details the first release of OLMo, a state-of-the-art, truly Open Language Model and its framework to build and study the science of language modeling. Unlike most prior efforts that have only released model weights and inference code, we release OLMo and the whole framework, including training data and training and evaluation code. We hope this release will empower and strengthen the open research community and inspire a new wave of innovation.

OLMo: 言語モデルの科学を加速する

OLMo: Accelerating the Science of Language Models

要旨

Support