Relatório Técnico do H2O-Danube-1.8B

H2O-Danube-1.8B Technical Report

January 30, 2024

Autores: Philipp Singer, Pascal Pfeiffer, Yauhen Babakhin, Maximilian Jeblick, Nischay Dhankhar, Gabor Fodor, Sri Satish Ambati

cs.AI

Resumo

Apresentamos o H2O-Danube-1.8B, um modelo de linguagem de 1.8B de parâmetros treinado em 1T de tokens seguindo os princípios fundamentais do LLama 2 e do Mistral. Aproveitamos e refinamos diversas técnicas para o pré-treinamento de grandes modelos de linguagem. Embora nosso modelo tenha sido treinado com um número significativamente menor de tokens totais em comparação com modelos de referência de tamanho similar, ele exibe métricas altamente competitivas em uma variedade de benchmarks. Adicionalmente, lançamos um modelo de chat treinado com ajuste fino supervisionado seguido de otimização direta de preferências. Disponibilizamos o H2O-Danube-1.8B de forma aberta sob a licença Apache 2.0, democratizando ainda mais os LLMs para um público mais amplo de forma econômica.

English

We present H2O-Danube-1.8B, a 1.8B language model trained on 1T tokens following the core principles of LLama 2 and Mistral. We leverage and refine various techniques for pre-training large language models. Although our model is trained on significantly fewer total tokens compared to reference models of similar size, it exhibits highly competitive metrics across a multitude of benchmarks. We additionally release a chat model trained with supervised fine-tuning followed by direct preference optimization. We make H2O-Danube-1.8B openly available under Apache 2.0 license further democratizing LLMs to a wider audience economically.