Meltemi: O primeiro Modelo de Linguagem Grande aberto para o Grego

Meltemi: The first open Large Language Model for Greek

July 30, 2024

Autores: Leon Voukoutis, Dimitris Roussis, Georgios Paraskevopoulos, Sokratis Sofianopoulos, Prokopis Prokopidis, Vassilis Papavasileiou, Athanasios Katsamanis, Stelios Piperidis, Vassilis Katsouros

cs.AI

Resumo

Descrevemos o desenvolvimento e as capacidades do Meltemi 7B, o primeiro Modelo de Linguagem Grande aberto para a língua grega. O Meltemi 7B possui 7 bilhões de parâmetros e é treinado em um corpus grego de 40 bilhões de tokens. Para o desenvolvimento do Meltemi 7B, adaptamos o Mistral, por meio de pré-treinamento contínuo no Corpus Grego. O Meltemi 7B contém informações atualizadas até setembro de 2023. Além disso, traduzimos e organizamos um corpus de instruções gregas, que foi utilizado para o ajuste de instruções de um modelo de chat, chamado Meltemi 7B Instruct. Foi dada atenção especial ao alinhamento e à remoção de conteúdo tóxico para o Meltemi 7B Instruct. Os modelos desenvolvidos são avaliados em um amplo conjunto de corpora de avaliação coletados, e exemplos de estímulos e respostas são apresentados. Tanto o Meltemi 7B quanto o Meltemi 7B Instruct estão disponíveis em https://huggingface.co/ilsp sob a licença Apache 2.0.

English

We describe the development and capabilities of Meltemi 7B, the first open Large Language Model for the Greek language. Meltemi 7B has 7 billion parameters and is trained on a 40 billion token Greek corpus. For the development of Meltemi 7B, we adapt Mistral, by continuous pretraining on the Greek Corpus. Meltemi 7B contains up-to-date information up to September 2023. Furthermore, we have translated and curated a Greek instruction corpus, which has been used for the instruction-tuning of a chat model, named Meltemi 7B Instruct. Special care has been given to the alignment and the removal of toxic content for the Meltemi 7B Instruct. The developed models are evaluated on a broad set of collected evaluation corpora, and examples of prompts and responses are presented. Both Meltemi 7B and Meltemi 7B Instruct are available at https://huggingface.co/ilsp under the Apache 2.0 license.