Meltemi: Il primo Large Language Model aperto per la lingua greca

Meltemi: The first open Large Language Model for Greek

July 30, 2024

Autori: Leon Voukoutis, Dimitris Roussis, Georgios Paraskevopoulos, Sokratis Sofianopoulos, Prokopis Prokopidis, Vassilis Papavasileiou, Athanasios Katsamanis, Stelios Piperidis, Vassilis Katsouros

cs.AI

Abstract

Descriviamo lo sviluppo e le capacità di Meltemi 7B, il primo Large Language Model aperto per la lingua greca. Meltemi 7B possiede 7 miliardi di parametri ed è addestrato su un corpus greco di 40 miliardi di token. Per lo sviluppo di Meltemi 7B, abbiamo adattato Mistral attraverso un pretraining continuo sul corpus greco. Meltemi 7B include informazioni aggiornate fino a settembre 2023. Inoltre, abbiamo tradotto e curato un corpus di istruzioni in greco, utilizzato per l'instruction-tuning di un modello di chat denominato Meltemi 7B Instruct. È stata prestata particolare attenzione all'allineamento e alla rimozione di contenuti tossici per Meltemi 7B Instruct. I modelli sviluppati sono stati valutati su un ampio insieme di corpora di valutazione raccolti, e vengono presentati esempi di prompt e risposte. Sia Meltemi 7B che Meltemi 7B Instruct sono disponibili su https://huggingface.co/ilsp con licenza Apache 2.0.

English

We describe the development and capabilities of Meltemi 7B, the first open Large Language Model for the Greek language. Meltemi 7B has 7 billion parameters and is trained on a 40 billion token Greek corpus. For the development of Meltemi 7B, we adapt Mistral, by continuous pretraining on the Greek Corpus. Meltemi 7B contains up-to-date information up to September 2023. Furthermore, we have translated and curated a Greek instruction corpus, which has been used for the instruction-tuning of a chat model, named Meltemi 7B Instruct. Special care has been given to the alignment and the removal of toxic content for the Meltemi 7B Instruct. The developed models are evaluated on a broad set of collected evaluation corpora, and examples of prompts and responses are presented. Both Meltemi 7B and Meltemi 7B Instruct are available at https://huggingface.co/ilsp under the Apache 2.0 license.