H2O-Danube-1.8B 技術レポート

H2O-Danube-1.8B Technical Report

January 30, 2024

著者: Philipp Singer, Pascal Pfeiffer, Yauhen Babakhin, Maximilian Jeblick, Nischay Dhankhar, Gabor Fodor, Sri Satish Ambati

cs.AI

要旨

私たちはH2O-Danube-1.8Bを発表します。これは、LLama 2とMistralのコア原則に従って1兆トークンでトレーニングされた18億パラメータの言語モデルです。大規模言語モデルの事前学習において、さまざまな技術を活用し、改良を加えました。参照モデルと比較して総トークン数が大幅に少ないにもかかわらず、当モデルは多数のベンチマークで非常に競争力のある指標を示しています。さらに、教師ありファインチューニングと直接選好最適化を経てトレーニングされたチャットモデルもリリースします。H2O-Danube-1.8BはApache 2.0ライセンスの下で公開され、より広範な層に対して経済的にLLMを民主化することを目指しています。

English

We present H2O-Danube-1.8B, a 1.8B language model trained on 1T tokens following the core principles of LLama 2 and Mistral. We leverage and refine various techniques for pre-training large language models. Although our model is trained on significantly fewer total tokens compared to reference models of similar size, it exhibits highly competitive metrics across a multitude of benchmarks. We additionally release a chat model trained with supervised fine-tuning followed by direct preference optimization. We make H2O-Danube-1.8B openly available under Apache 2.0 license further democratizing LLMs to a wider audience economically.