Rapport Technique H2O-Danube-1.8B

Résumé

Nous présentons H2O-Danube-1.8B, un modèle de langage de 1,8 milliard de paramètres entraîné sur 1 000 milliards de tokens en suivant les principes fondamentaux de LLama 2 et Mistral. Nous exploitons et affinons diverses techniques pour le pré-entraînement de grands modèles de langage. Bien que notre modèle ait été entraîné sur un nombre total de tokens significativement inférieur par rapport aux modèles de référence de taille similaire, il affiche des métriques très compétitives sur une multitude de benchmarks. Nous publions également un modèle de chat entraîné par fine-tuning supervisé suivi d'une optimisation directe des préférences. Nous rendons H2O-Danube-1.8B librement disponible sous licence Apache 2.0, contribuant ainsi à démocratiser davantage les LLM pour un public plus large de manière économique.

English

We present H2O-Danube-1.8B, a 1.8B language model trained on 1T tokens following the core principles of LLama 2 and Mistral. We leverage and refine various techniques for pre-training large language models. Although our model is trained on significantly fewer total tokens compared to reference models of similar size, it exhibits highly competitive metrics across a multitude of benchmarks. We additionally release a chat model trained with supervised fine-tuning followed by direct preference optimization. We make H2O-Danube-1.8B openly available under Apache 2.0 license further democratizing LLMs to a wider audience economically.

Rapport Technique H2O-Danube-1.8B

H2O-Danube-1.8B Technical Report

Résumé

Support