Модель X-1.5: Многоязычная LLM масштаба 1 млрд параметров

Xmodel-1.5: An 1B-scale Multilingual LLM

November 15, 2024

Авторы: Wang Qun, Liu Yang, Lin Qingquan, Jiang Ling

cs.AI

Аннотация

Мы представляем Xmodel-1.5, новую многопараметрическую крупную модель с миллиардом параметров, предварительно обученную на приблизительно 2 триллиона токенов. Модель демонстрирует высокую производительность на нескольких языках, особенно выдающиеся результаты на тайском, арабском и французском языках, наряду с ее эффективностью на китайском и английском языках. Кроме того, мы вносим вклад в научное сообщество, выпустив оценочный набор данных на тайском языке, включающий сотни вопросов, аннотированных студентами из Шулалонгкорнского университета Школы Интегрированных Инноваций. Хотя результаты обнадеживающие, мы признаем, что есть место для улучшений. Мы надеемся, что эта работа продвинет текущие усилия в мультиязычном исследовании в области искусственного интеллекта и способствует лучшему межъязыковому пониманию в различных задачах обработки естественного языка. Наши модели и код доступны публично на GitHub по адресу https://github.com/XiaoduoAILab/XmodelLM.

English

We introduce Xmodel-1.5, a novel 1-billion-parameter multilingual large model pretrained on approximately 2 trillion tokens. The model demonstrates strong performance across several languages, with particularly notable results in Thai, Arabic, and French, alongside its effectiveness in Chinese and English. In addition, we contribute to the research community by releasing a Thai evaluation dataset, which includes hundreds of questions annotated by students from Chulalongkorn University's School of Integrated Innovation. While the results are promising, we acknowledge that there is still room for improvement. We hope this work advances ongoing efforts in multilingual AI research and promotes better cross-linguistic understanding in various natural language processing tasks. Our models and code are publicly available on GitHub at https://github.com/XiaoduoAILab/XmodelLM.