H2O-Danube-1.8B Technischer Bericht

H2O-Danube-1.8B Technical Report

January 30, 2024

Autoren: Philipp Singer, Pascal Pfeiffer, Yauhen Babakhin, Maximilian Jeblick, Nischay Dhankhar, Gabor Fodor, Sri Satish Ambati

cs.AI

Zusammenfassung

Wir präsentieren H2O-Danube-1.8B, ein Sprachmodell mit 1,8 Milliarden Parametern, das auf 1 Billion Tokens trainiert wurde und den Kernprinzipien von LLama 2 und Mistral folgt. Wir nutzen und verfeinern verschiedene Techniken für das Pre-Training großer Sprachmodelle. Obwohl unser Modell mit deutlich weniger Tokens insgesamt trainiert wurde als Referenzmodelle ähnlicher Größe, zeigt es äußerst wettbewerbsfähige Metriken über eine Vielzahl von Benchmarks hinweg. Zusätzlich veröffentlichen wir ein Chat-Modell, das durch supervidiertes Fine-Tuning gefolgt von Direct Preference Optimization trainiert wurde. Wir stellen H2O-Danube-1.8B unter der Apache-2.0-Lizenz offen zur Verfügung, um LLMs wirtschaftlich einem breiteren Publikum zugänglich zu machen.

English

We present H2O-Danube-1.8B, a 1.8B language model trained on 1T tokens following the core principles of LLama 2 and Mistral. We leverage and refine various techniques for pre-training large language models. Although our model is trained on significantly fewer total tokens compared to reference models of similar size, it exhibits highly competitive metrics across a multitude of benchmarks. We additionally release a chat model trained with supervised fine-tuning followed by direct preference optimization. We make H2O-Danube-1.8B openly available under Apache 2.0 license further democratizing LLMs to a wider audience economically.