Rapporto Tecnico H2O-Danube-1.8B

H2O-Danube-1.8B Technical Report

January 30, 2024

Autori: Philipp Singer, Pascal Pfeiffer, Yauhen Babakhin, Maximilian Jeblick, Nischay Dhankhar, Gabor Fodor, Sri Satish Ambati

cs.AI

Abstract

Presentiamo H2O-Danube-1.8B, un modello linguistico da 1,8 miliardi di parametri addestrato su 1 trilione di token seguendo i principi fondamentali di LLama 2 e Mistral. Utilizziamo e perfezioniamo varie tecniche per il pre-addestramento di modelli linguistici di grandi dimensioni. Sebbene il nostro modello sia stato addestrato su un numero significativamente inferiore di token totali rispetto ai modelli di riferimento di dimensioni simili, mostra metriche altamente competitive in una moltitudine di benchmark. Inoltre, rilasciamo un modello di chat addestrato con fine-tuning supervisionato seguito da ottimizzazione diretta delle preferenze. Rendiamo H2O-Danube-1.8B disponibile pubblicamente con licenza Apache 2.0, contribuendo ulteriormente a democratizzare i modelli linguistici di grandi dimensioni per un pubblico più ampio in modo economicamente accessibile.

English

We present H2O-Danube-1.8B, a 1.8B language model trained on 1T tokens following the core principles of LLama 2 and Mistral. We leverage and refine various techniques for pre-training large language models. Although our model is trained on significantly fewer total tokens compared to reference models of similar size, it exhibits highly competitive metrics across a multitude of benchmarks. We additionally release a chat model trained with supervised fine-tuning followed by direct preference optimization. We make H2O-Danube-1.8B openly available under Apache 2.0 license further democratizing LLMs to a wider audience economically.