H2O-Danube-1.8B 기술 보고서

초록

본 논문에서는 LLama 2와 Mistral의 핵심 원칙을 따라 1조 개의 토큰으로 학습된 1.8B 규모의 언어 모델인 H2O-Danube-1.8B를 소개한다. 대규모 언어 모델의 사전 학습을 위해 다양한 기법을 활용하고 개선하였다. 비슷한 규모의 참조 모델과 비교하여 전체 토큰 수가 상당히 적음에도 불구하고, 본 모델은 다양한 벤치마크에서 매우 경쟁력 있는 성능을 보인다. 또한, 지도 미세 조정과 직접 선호 최적화를 통해 학습된 채팅 모델을 공개한다. H2O-Danube-1.8B는 Apache 2.0 라이선스 하에 공개되어, 경제적으로 더 넓은 사용자층에게 대규모 언어 모델을 보급하는 데 기여한다.

English

We present H2O-Danube-1.8B, a 1.8B language model trained on 1T tokens following the core principles of LLama 2 and Mistral. We leverage and refine various techniques for pre-training large language models. Although our model is trained on significantly fewer total tokens compared to reference models of similar size, it exhibits highly competitive metrics across a multitude of benchmarks. We additionally release a chat model trained with supervised fine-tuning followed by direct preference optimization. We make H2O-Danube-1.8B openly available under Apache 2.0 license further democratizing LLMs to a wider audience economically.

H2O-Danube-1.8B 기술 보고서

H2O-Danube-1.8B Technical Report

초록

Support