Informe Técnico de H2O-Danube-1.8B

H2O-Danube-1.8B Technical Report

January 30, 2024

Autores: Philipp Singer, Pascal Pfeiffer, Yauhen Babakhin, Maximilian Jeblick, Nischay Dhankhar, Gabor Fodor, Sri Satish Ambati

cs.AI

Resumen

Presentamos H2O-Danube-1.8B, un modelo de lenguaje de 1.8B entrenado en 1T de tokens siguiendo los principios fundamentales de LLama 2 y Mistral. Aprovechamos y refinamos diversas técnicas para el preentrenamiento de modelos de lenguaje grandes. Aunque nuestro modelo se entrenó con un número significativamente menor de tokens totales en comparación con modelos de referencia de tamaño similar, exhibe métricas altamente competitivas en una multitud de benchmarks. Además, lanzamos un modelo de chat entrenado con ajuste fino supervisado seguido de optimización directa de preferencias. Hacemos que H2O-Danube-1.8B esté disponible abiertamente bajo la licencia Apache 2.0, democratizando aún más los LLM para un público más amplio de manera económica.

English

We present H2O-Danube-1.8B, a 1.8B language model trained on 1T tokens following the core principles of LLama 2 and Mistral. We leverage and refine various techniques for pre-training large language models. Although our model is trained on significantly fewer total tokens compared to reference models of similar size, it exhibits highly competitive metrics across a multitude of benchmarks. We additionally release a chat model trained with supervised fine-tuning followed by direct preference optimization. We make H2O-Danube-1.8B openly available under Apache 2.0 license further democratizing LLMs to a wider audience economically.