EuroLLM: Modelos de Linguagem Multilíngue para a Europa

EuroLLM: Multilingual Language Models for Europe

September 24, 2024

Autores: Pedro Henrique Martins, Patrick Fernandes, João Alves, Nuno M. Guerreiro, Ricardo Rei, Duarte M. Alves, José Pombal, Amin Farajian, Manuel Faysse, Mateusz Klimaszewski, Pierre Colombo, Barry Haddow, José G. C. de Souza, Alexandra Birch, André F. T. Martins

cs.AI

Resumo

A qualidade dos LLMs de peso aberto tem visto melhorias significativas, no entanto, eles permanecem predominantemente focados no inglês. Neste artigo, apresentamos o projeto EuroLLM, com o objetivo de desenvolver um conjunto de LLMs multilíngues de peso aberto capazes de compreender e gerar texto em todas as línguas oficiais da União Europeia, bem como em várias outras línguas relevantes. Detalhamos o progresso feito até o momento, descrevendo nosso processo de coleta e filtragem de dados, o desenvolvimento de leis de escalonamento, a criação de nosso tokenizador multilíngue e as configurações de mistura de dados e modelagem. Além disso, lançamos nossos modelos iniciais: EuroLLM-1.7B e EuroLLM-1.7B-Instruct e relatamos seu desempenho em benchmarks gerais multilíngues e tradução automática.

English

The quality of open-weight LLMs has seen significant improvement, yet they remain predominantly focused on English. In this paper, we introduce the EuroLLM project, aimed at developing a suite of open-weight multilingual LLMs capable of understanding and generating text in all official European Union languages, as well as several additional relevant languages. We outline the progress made to date, detailing our data collection and filtering process, the development of scaling laws, the creation of our multilingual tokenizer, and the data mix and modeling configurations. Additionally, we release our initial models: EuroLLM-1.7B and EuroLLM-1.7B-Instruct and report their performance on multilingual general benchmarks and machine translation.