Meltemi：ギリシャ語向け初のオープン大規模言語モデル

Meltemi: The first open Large Language Model for Greek

July 30, 2024

著者: Leon Voukoutis, Dimitris Roussis, Georgios Paraskevopoulos, Sokratis Sofianopoulos, Prokopis Prokopidis, Vassilis Papavasileiou, Athanasios Katsamanis, Stelios Piperidis, Vassilis Katsouros

cs.AI

要旨

ギリシャ語向け初のオープンな大規模言語モデルであるMeltemi 7Bの開発と機能について説明する。Meltemi 7Bは70億のパラメータを持ち、400億トークンのギリシャ語コーパスで学習されている。Meltemi 7Bの開発にあたっては、Mistralを基盤とし、ギリシャ語コーパスを用いた継続的な事前学習を実施した。Meltemi 7Bは2023年9月までの最新情報を含んでいる。さらに、ギリシャ語の指示コーパスを翻訳・整備し、これを活用してチャットモデル「Meltemi 7B Instruct」の指示チューニングを行った。Meltemi 7B Instructでは、アライメントと有害コンテンツの除去に特に注意を払っている。開発されたモデルは、収集された多様な評価コーパスで評価され、プロンプトと応答の例が提示されている。Meltemi 7BとMeltemi 7B Instructは、Apache 2.0ライセンスの下、https://huggingface.co/ilsp で公開されている。

English

We describe the development and capabilities of Meltemi 7B, the first open Large Language Model for the Greek language. Meltemi 7B has 7 billion parameters and is trained on a 40 billion token Greek corpus. For the development of Meltemi 7B, we adapt Mistral, by continuous pretraining on the Greek Corpus. Meltemi 7B contains up-to-date information up to September 2023. Furthermore, we have translated and curated a Greek instruction corpus, which has been used for the instruction-tuning of a chat model, named Meltemi 7B Instruct. Special care has been given to the alignment and the removal of toxic content for the Meltemi 7B Instruct. The developed models are evaluated on a broad set of collected evaluation corpora, and examples of prompts and responses are presented. Both Meltemi 7B and Meltemi 7B Instruct are available at https://huggingface.co/ilsp under the Apache 2.0 license.