Meltemi: El primer Modelo de Lenguaje Grande abierto para el griego

Meltemi: The first open Large Language Model for Greek

July 30, 2024

Autores: Leon Voukoutis, Dimitris Roussis, Georgios Paraskevopoulos, Sokratis Sofianopoulos, Prokopis Prokopidis, Vassilis Papavasileiou, Athanasios Katsamanis, Stelios Piperidis, Vassilis Katsouros

cs.AI

Resumen

Describimos el desarrollo y las capacidades de Meltemi 7B, el primer Modelo de Lenguaje Grande abierto para el idioma griego. Meltemi 7B tiene 7 mil millones de parámetros y está entrenado en un corpus griego de 40 mil millones de tokens. Para el desarrollo de Meltemi 7B, adaptamos Mistral, mediante un preentrenamiento continuo en el Corpus griego. Meltemi 7B contiene información actualizada hasta septiembre de 2023. Además, hemos traducido y curado un corpus de instrucciones en griego, que se ha utilizado para el ajuste de instrucciones de un modelo de chat, llamado Meltemi 7B Instruct. Se ha prestado especial atención a la alineación y eliminación de contenido tóxico para Meltemi 7B Instruct. Los modelos desarrollados se evalúan en un amplio conjunto de corpora de evaluación recopilados, y se presentan ejemplos de estímulos y respuestas. Tanto Meltemi 7B como Meltemi 7B Instruct están disponibles en https://huggingface.co/ilsp bajo la licencia Apache 2.0.

English

We describe the development and capabilities of Meltemi 7B, the first open Large Language Model for the Greek language. Meltemi 7B has 7 billion parameters and is trained on a 40 billion token Greek corpus. For the development of Meltemi 7B, we adapt Mistral, by continuous pretraining on the Greek Corpus. Meltemi 7B contains up-to-date information up to September 2023. Furthermore, we have translated and curated a Greek instruction corpus, which has been used for the instruction-tuning of a chat model, named Meltemi 7B Instruct. Special care has been given to the alignment and the removal of toxic content for the Meltemi 7B Instruct. The developed models are evaluated on a broad set of collected evaluation corpora, and examples of prompts and responses are presented. Both Meltemi 7B and Meltemi 7B Instruct are available at https://huggingface.co/ilsp under the Apache 2.0 license.