Meltemi : Le premier grand modèle de langage ouvert pour le grec

Meltemi: The first open Large Language Model for Greek

July 30, 2024

Auteurs: Leon Voukoutis, Dimitris Roussis, Georgios Paraskevopoulos, Sokratis Sofianopoulos, Prokopis Prokopidis, Vassilis Papavasileiou, Athanasios Katsamanis, Stelios Piperidis, Vassilis Katsouros

cs.AI

Résumé

Nous décrivons le développement et les capacités de Meltemi 7B, le premier grand modèle de langage ouvert pour la langue grecque. Meltemi 7B possède 7 milliards de paramètres et est entraîné sur un corpus grec de 40 milliards de tokens. Pour le développement de Meltemi 7B, nous avons adapté Mistral en effectuant un pré-entraînement continu sur le corpus grec. Meltemi 7B intègre des informations actualisées jusqu'à septembre 2023. Par ailleurs, nous avons traduit et organisé un corpus d'instructions en grec, qui a été utilisé pour l'ajustement par instruction d'un modèle de conversation, nommé Meltemi 7B Instruct. Une attention particulière a été portée à l'alignement et à l'élimination de contenu toxique pour Meltemi 7B Instruct. Les modèles développés sont évalués sur un large ensemble de corpus d'évaluation collectés, et des exemples de prompts et de réponses sont présentés. Meltemi 7B et Meltemi 7B Instruct sont tous deux disponibles à l'adresse https://huggingface.co/ilsp sous licence Apache 2.0.

English

We describe the development and capabilities of Meltemi 7B, the first open Large Language Model for the Greek language. Meltemi 7B has 7 billion parameters and is trained on a 40 billion token Greek corpus. For the development of Meltemi 7B, we adapt Mistral, by continuous pretraining on the Greek Corpus. Meltemi 7B contains up-to-date information up to September 2023. Furthermore, we have translated and curated a Greek instruction corpus, which has been used for the instruction-tuning of a chat model, named Meltemi 7B Instruct. Special care has been given to the alignment and the removal of toxic content for the Meltemi 7B Instruct. The developed models are evaluated on a broad set of collected evaluation corpora, and examples of prompts and responses are presented. Both Meltemi 7B and Meltemi 7B Instruct are available at https://huggingface.co/ilsp under the Apache 2.0 license.