Meltemi: 그리스를 위한 최초의 오픈 대형 언어 모델

Meltemi: The first open Large Language Model for Greek

July 30, 2024

저자: Leon Voukoutis, Dimitris Roussis, Georgios Paraskevopoulos, Sokratis Sofianopoulos, Prokopis Prokopidis, Vassilis Papavasileiou, Athanasios Katsamanis, Stelios Piperidis, Vassilis Katsouros

cs.AI

초록

그리스어를 위한 최초의 오픈 대형 언어 모델인 Meltemi 7B의 개발 과정과 기능을 설명합니다. Meltemi 7B는 70억 개의 파라미터를 가지며, 400억 토큰 규모의 그리스어 코퍼스로 학습되었습니다. Meltemi 7B의 개발을 위해 Mistral을 그리스어 코퍼스에 대한 지속적인 사전 학습으로 적응시켰습니다. Meltemi 7B는 2023년 9월까지의 최신 정보를 포함하고 있습니다. 또한, 그리스어 명령어 코퍼스를 번역하고 정제하여 Meltemi 7B Instruct라는 채팅 모델의 명령어 튜닝에 사용했습니다. Meltemi 7B Instruct의 경우, 유해 콘텐츠 제거와 정렬에 특별한 주의를 기울였습니다. 개발된 모델은 다양한 평가 코퍼스 세트에서 평가되었으며, 프롬프트와 응답의 예시가 제시됩니다. Meltemi 7B와 Meltemi 7B Instruct는 Apache 2.0 라이선스 하에 https://huggingface.co/ilsp에서 이용 가능합니다.

English

We describe the development and capabilities of Meltemi 7B, the first open Large Language Model for the Greek language. Meltemi 7B has 7 billion parameters and is trained on a 40 billion token Greek corpus. For the development of Meltemi 7B, we adapt Mistral, by continuous pretraining on the Greek Corpus. Meltemi 7B contains up-to-date information up to September 2023. Furthermore, we have translated and curated a Greek instruction corpus, which has been used for the instruction-tuning of a chat model, named Meltemi 7B Instruct. Special care has been given to the alignment and the removal of toxic content for the Meltemi 7B Instruct. The developed models are evaluated on a broad set of collected evaluation corpora, and examples of prompts and responses are presented. Both Meltemi 7B and Meltemi 7B Instruct are available at https://huggingface.co/ilsp under the Apache 2.0 license.