H2O-Danube-1.8B Technisch Rapport

H2O-Danube-1.8B Technical Report

January 30, 2024

Auteurs: Philipp Singer, Pascal Pfeiffer, Yauhen Babakhin, Maximilian Jeblick, Nischay Dhankhar, Gabor Fodor, Sri Satish Ambati

cs.AI

Samenvatting

We presenteren H2O-Danube-1.8B, een taalmodel van 1,8 miljard parameters dat getraind is op 1 biljoen tokens, volgens de kernprincipes van LLama 2 en Mistral. We benutten en verfijnen diverse technieken voor het pre-trainen van grote taalmodellen. Hoewel ons model getraind is op aanzienlijk minder tokens in vergelijking met referentiemodellen van vergelijkbare grootte, vertoont het zeer competitieve prestaties op een breed scala aan benchmarks. Daarnaast brengen we een chatmodel uit dat getraind is met supervised fine-tuning, gevolgd door directe voorkeursoptimalisatie. We stellen H2O-Danube-1.8B openbaar beschikbaar onder de Apache 2.0-licentie, waardoor grote taalmodellen economisch toegankelijker worden voor een breder publiek.

English

We present H2O-Danube-1.8B, a 1.8B language model trained on 1T tokens following the core principles of LLama 2 and Mistral. We leverage and refine various techniques for pre-training large language models. Although our model is trained on significantly fewer total tokens compared to reference models of similar size, it exhibits highly competitive metrics across a multitude of benchmarks. We additionally release a chat model trained with supervised fine-tuning followed by direct preference optimization. We make H2O-Danube-1.8B openly available under Apache 2.0 license further democratizing LLMs to a wider audience economically.