Rapport Technique sur Xmodel-LM

Xmodel-LM Technical Report

June 5, 2024

Auteurs: Yichuan Wang, Yang Liu, Yu Yan, Xucheng Huang, Ling Jiang

cs.AI

Résumé

Nous présentons Xmodel-LM, un modèle de langage compact et efficace de 1,1 milliard de paramètres, pré-entraîné sur plus de 2 000 milliards de tokens. Formé sur notre propre jeu de données (Xdata), qui équilibre les corpus chinois et anglais en fonction de l'optimisation des tâches en aval, Xmodel-LM démontre des performances remarquables malgré sa taille réduite. Il surpasse notamment les modèles de langage open source existants de taille similaire. Les points de contrôle de notre modèle ainsi que le code sont accessibles publiquement sur GitHub à l'adresse suivante : https://github.com/XiaoduoAILab/XmodelLM.

English

We introduce Xmodel-LM, a compact and efficient 1.1B language model pre-trained on over 2 trillion tokens. Trained on our self-built dataset (Xdata), which balances Chinese and English corpora based on downstream task optimization, Xmodel-LM exhibits remarkable performance despite its smaller size. It notably surpasses existing open-source language models of similar scale. Our model checkpoints and code are publicly accessible on GitHub at https://github.com/XiaoduoAILab/XmodelLM.