Meltemi: Das erste offene Large Language Model für Griechisch.

Meltemi: The first open Large Language Model for Greek

July 30, 2024

Autoren: Leon Voukoutis, Dimitris Roussis, Georgios Paraskevopoulos, Sokratis Sofianopoulos, Prokopis Prokopidis, Vassilis Papavasileiou, Athanasios Katsamanis, Stelios Piperidis, Vassilis Katsouros

cs.AI

Zusammenfassung

Wir beschreiben die Entwicklung und Fähigkeiten von Meltemi 7B, dem ersten offenen Large Language Model für die griechische Sprache. Meltemi 7B verfügt über 7 Milliarden Parameter und wurde auf einem 40 Milliarden Token umfassenden griechischen Korpus trainiert. Für die Entwicklung von Meltemi 7B passen wir Mistral an, indem wir kontinuierliches Pretraining auf dem griechischen Korpus durchführen. Meltemi 7B enthält aktuelle Informationen bis September 2023. Darüber hinaus haben wir einen griechischen Anweisungskorpus übersetzt und kuratiert, der für das Anpassen einer Chat-Modells namens Meltemi 7B Instruct verwendet wurde. Besondere Sorgfalt wurde auf die Ausrichtung und Entfernung von toxischen Inhalten für Meltemi 7B Instruct gelegt. Die entwickelten Modelle werden anhand einer umfangreichen Sammlung von Evaluierungskorpora bewertet, und Beispiele für Eingabeaufforderungen und Antworten werden präsentiert. Sowohl Meltemi 7B als auch Meltemi 7B Instruct sind unter der Apache 2.0 Lizenz auf https://huggingface.co/ilsp verfügbar.

English

We describe the development and capabilities of Meltemi 7B, the first open Large Language Model for the Greek language. Meltemi 7B has 7 billion parameters and is trained on a 40 billion token Greek corpus. For the development of Meltemi 7B, we adapt Mistral, by continuous pretraining on the Greek Corpus. Meltemi 7B contains up-to-date information up to September 2023. Furthermore, we have translated and curated a Greek instruction corpus, which has been used for the instruction-tuning of a chat model, named Meltemi 7B Instruct. Special care has been given to the alignment and the removal of toxic content for the Meltemi 7B Instruct. The developed models are evaluated on a broad set of collected evaluation corpora, and examples of prompts and responses are presented. Both Meltemi 7B and Meltemi 7B Instruct are available at https://huggingface.co/ilsp under the Apache 2.0 license.