Xmodel-1.5: Un LLM multilingüe a escala de 1B

Xmodel-1.5: An 1B-scale Multilingual LLM

November 15, 2024

Autores: Wang Qun, Liu Yang, Lin Qingquan, Jiang Ling

cs.AI

Resumen

Presentamos Xmodel-1.5, un novedoso modelo grande multilingüe de 1.5 mil millones de parámetros preentrenado en aproximadamente 2 billones de tokens. El modelo demuestra un sólido rendimiento en varios idiomas, con resultados particularmente destacados en tailandés, árabe y francés, junto con su efectividad en chino e inglés. Además, contribuimos a la comunidad de investigación al liberar un conjunto de datos de evaluación en tailandés, que incluye cientos de preguntas anotadas por estudiantes de la Escuela de Innovación Integrada de la Universidad Chulalongkorn. Aunque los resultados son prometedores, reconocemos que aún hay margen para mejorar. Esperamos que este trabajo impulse los esfuerzos en curso en la investigación de IA multilingüe y fomente una mejor comprensión interlingüística en diversas tareas de procesamiento de lenguaje natural. Nuestros modelos y código están disponibles públicamente en GitHub en https://github.com/XiaoduoAILab/XmodelLM.

English

We introduce Xmodel-1.5, a novel 1-billion-parameter multilingual large model pretrained on approximately 2 trillion tokens. The model demonstrates strong performance across several languages, with particularly notable results in Thai, Arabic, and French, alongside its effectiveness in Chinese and English. In addition, we contribute to the research community by releasing a Thai evaluation dataset, which includes hundreds of questions annotated by students from Chulalongkorn University's School of Integrated Innovation. While the results are promising, we acknowledge that there is still room for improvement. We hope this work advances ongoing efforts in multilingual AI research and promotes better cross-linguistic understanding in various natural language processing tasks. Our models and code are publicly available on GitHub at https://github.com/XiaoduoAILab/XmodelLM.