Xmodel-1.5: Um LLM Multilíngue em Escala de 1 Bilhão

Xmodel-1.5: An 1B-scale Multilingual LLM

November 15, 2024

Autores: Wang Qun, Liu Yang, Lin Qingquan, Jiang Ling

cs.AI

Resumo

Apresentamos o Xmodel-1.5, um novo modelo grande multilíngue com 1 bilhão de parâmetros pré-treinado em aproximadamente 2 trilhões de tokens. O modelo demonstra um desempenho sólido em várias línguas, com resultados particularmente notáveis em Tailandês, Árabe e Francês, juntamente com sua eficácia em Chinês e Inglês. Além disso, contribuímos para a comunidade de pesquisa ao disponibilizar um conjunto de dados de avaliação em Tailandês, que inclui centenas de perguntas anotadas por estudantes da Escola de Inovação Integrada da Universidade Chulalongkorn. Embora os resultados sejam promissores, reconhecemos que ainda há espaço para melhorias. Esperamos que este trabalho impulsione os esforços em andamento na pesquisa de IA multilíngue e promova uma melhor compreensão interlinguística em várias tarefas de processamento de linguagem natural. Nossos modelos e código estão disponíveis publicamente no GitHub em https://github.com/XiaoduoAILab/XmodelLM.

English

We introduce Xmodel-1.5, a novel 1-billion-parameter multilingual large model pretrained on approximately 2 trillion tokens. The model demonstrates strong performance across several languages, with particularly notable results in Thai, Arabic, and French, alongside its effectiveness in Chinese and English. In addition, we contribute to the research community by releasing a Thai evaluation dataset, which includes hundreds of questions annotated by students from Chulalongkorn University's School of Integrated Innovation. While the results are promising, we acknowledge that there is still room for improvement. We hope this work advances ongoing efforts in multilingual AI research and promotes better cross-linguistic understanding in various natural language processing tasks. Our models and code are publicly available on GitHub at https://github.com/XiaoduoAILab/XmodelLM.