Технический отчет H2O-Danube-1.8B

H2O-Danube-1.8B Technical Report

January 30, 2024

Авторы: Philipp Singer, Pascal Pfeiffer, Yauhen Babakhin, Maximilian Jeblick, Nischay Dhankhar, Gabor Fodor, Sri Satish Ambati

cs.AI

Аннотация

Мы представляем H2O-Danube-1.8B — языковую модель объемом 1,8 миллиарда параметров, обученную на 1 триллионе токенов с использованием основных принципов LLama 2 и Mistral. Мы применяем и совершенствуем различные методы предварительного обучения больших языковых моделей. Несмотря на то, что наша модель обучена на значительно меньшем общем количестве токенов по сравнению с эталонными моделями аналогичного размера, она демонстрирует высококонкурентные показатели на множестве бенчмарков. Дополнительно мы выпускаем чат-модель, обученную с использованием контролируемого тонкого настройки, за которым следует оптимизация прямых предпочтений. Мы делаем H2O-Danube-1.8B открыто доступной под лицензией Apache 2.0, что способствует дальнейшей демократизации больших языковых моделей для более широкой аудитории с экономической точки зрения.

English

We present H2O-Danube-1.8B, a 1.8B language model trained on 1T tokens following the core principles of LLama 2 and Mistral. We leverage and refine various techniques for pre-training large language models. Although our model is trained on significantly fewer total tokens compared to reference models of similar size, it exhibits highly competitive metrics across a multitude of benchmarks. We additionally release a chat model trained with supervised fine-tuning followed by direct preference optimization. We make H2O-Danube-1.8B openly available under Apache 2.0 license further democratizing LLMs to a wider audience economically.