Xmodel-1.5: 1Bスケールの多言語LLM

Xmodel-1.5: An 1B-scale Multilingual LLM

November 15, 2024

著者: Wang Qun, Liu Yang, Lin Qingquan, Jiang Ling

cs.AI

要旨

Xmodel-1.5を紹介します。これは、約2兆トークンで事前学習された新しい10億パラメータの多言語大規模モデルです。このモデルは、いくつかの言語で強力なパフォーマンスを示し、特にタイ語、アラビア語、フランス語で顕著な結果を示し、中国語と英語でも効果的です。さらに、私たちはタイの評価データセットを研究コミュニティに提供しています。このデータセットには、チュラロンコーン大学統合イノベーション学部の学生によってアノテーションされた数百の質問が含まれています。結果は有望ですが、改善の余地があることを認識しています。この研究が多言語AI研究の取り組みを前進させ、さまざまな自然言語処理タスクにおけるより良い言語間理解を促進することを願っています。当社のモデルとコードは、GitHub（https://github.com/XiaoduoAILab/XmodelLM）で公開されています。

English

We introduce Xmodel-1.5, a novel 1-billion-parameter multilingual large model pretrained on approximately 2 trillion tokens. The model demonstrates strong performance across several languages, with particularly notable results in Thai, Arabic, and French, alongside its effectiveness in Chinese and English. In addition, we contribute to the research community by releasing a Thai evaluation dataset, which includes hundreds of questions annotated by students from Chulalongkorn University's School of Integrated Innovation. While the results are promising, we acknowledge that there is still room for improvement. We hope this work advances ongoing efforts in multilingual AI research and promotes better cross-linguistic understanding in various natural language processing tasks. Our models and code are publicly available on GitHub at https://github.com/XiaoduoAILab/XmodelLM.