Meltemi: Первая открытая большая языковая модель для греческого языка

Meltemi: The first open Large Language Model for Greek

July 30, 2024

Авторы: Leon Voukoutis, Dimitris Roussis, Georgios Paraskevopoulos, Sokratis Sofianopoulos, Prokopis Prokopidis, Vassilis Papavasileiou, Athanasios Katsamanis, Stelios Piperidis, Vassilis Katsouros

cs.AI

Аннотация

Мы описываем разработку и возможности Meltemi 7B, первой открытой большой языковой модели для греческого языка. Meltemi 7B имеет 7 миллиардов параметров и обучается на корпусе греческого языка объемом 40 миллиардов токенов. Для разработки Meltemi 7B мы адаптировали Mistral, продолжая предварительное обучение на греческом корпусе. Meltemi 7B содержит актуальную информацию по состоянию на сентябрь 2023 года. Кроме того, мы перевели и отредактировали корпус греческих инструкций, который использовался для настройки чат-модели под названием Meltemi 7B Instruct. Было уделено особое внимание выравниванию и удалению токсичного контента для Meltemi 7B Instruct. Разработанные модели оцениваются на широком наборе собранных оценочных корпусов, и приводятся примеры подсказок и ответов. Обе модели, Meltemi 7B и Meltemi 7B Instruct, доступны на https://huggingface.co/ilsp под лицензией Apache 2.0.

English

We describe the development and capabilities of Meltemi 7B, the first open Large Language Model for the Greek language. Meltemi 7B has 7 billion parameters and is trained on a 40 billion token Greek corpus. For the development of Meltemi 7B, we adapt Mistral, by continuous pretraining on the Greek Corpus. Meltemi 7B contains up-to-date information up to September 2023. Furthermore, we have translated and curated a Greek instruction corpus, which has been used for the instruction-tuning of a chat model, named Meltemi 7B Instruct. Special care has been given to the alignment and the removal of toxic content for the Meltemi 7B Instruct. The developed models are evaluated on a broad set of collected evaluation corpora, and examples of prompts and responses are presented. Both Meltemi 7B and Meltemi 7B Instruct are available at https://huggingface.co/ilsp under the Apache 2.0 license.