Meltemi: Het eerste open-source Large Language Model voor Grieks

Meltemi: The first open Large Language Model for Greek

July 30, 2024

Auteurs: Leon Voukoutis, Dimitris Roussis, Georgios Paraskevopoulos, Sokratis Sofianopoulos, Prokopis Prokopidis, Vassilis Papavasileiou, Athanasios Katsamanis, Stelios Piperidis, Vassilis Katsouros

cs.AI

Samenvatting

We beschrijven de ontwikkeling en mogelijkheden van Meltemi 7B, het eerste open Large Language Model voor de Griekse taal. Meltemi 7B heeft 7 miljard parameters en is getraind op een corpus van 40 miljard Griekse tokens. Voor de ontwikkeling van Meltemi 7B hebben we Mistral aangepast door middel van continue voorafgaande training op het Griekse corpus. Meltemi 7B bevat actuele informatie tot september 2023. Daarnaast hebben we een Griekse instructiecorpus vertaald en samengesteld, die is gebruikt voor de instructie-afstemming van een chatmodel, genaamd Meltemi 7B Instruct. Er is speciale aandacht besteed aan de afstemming en het verwijderen van giftige inhoud voor Meltemi 7B Instruct. De ontwikkelde modellen worden geëvalueerd op een breed scala aan verzamelde evaluatiecorpora, en voorbeelden van prompts en antwoorden worden gepresenteerd. Zowel Meltemi 7B als Meltemi 7B Instruct zijn beschikbaar op https://huggingface.co/ilsp onder de Apache 2.0-licentie.

English

We describe the development and capabilities of Meltemi 7B, the first open Large Language Model for the Greek language. Meltemi 7B has 7 billion parameters and is trained on a 40 billion token Greek corpus. For the development of Meltemi 7B, we adapt Mistral, by continuous pretraining on the Greek Corpus. Meltemi 7B contains up-to-date information up to September 2023. Furthermore, we have translated and curated a Greek instruction corpus, which has been used for the instruction-tuning of a chat model, named Meltemi 7B Instruct. Special care has been given to the alignment and the removal of toxic content for the Meltemi 7B Instruct. The developed models are evaluated on a broad set of collected evaluation corpora, and examples of prompts and responses are presented. Both Meltemi 7B and Meltemi 7B Instruct are available at https://huggingface.co/ilsp under the Apache 2.0 license.