完全なオープンソースのMoxin-7B技術レポート

Fully Open Source Moxin-7B Technical Report

December 8, 2024

著者: Pu Zhao, Xuan Shen, Zhenglun Kong, Yixin Shen, Sung-En Chang, Timothy Rupprecht, Lei Lu, Enfu Nan, Changdi Yang, Yumei He, Xingchen Xu, Yu Huang, Wei Wang, Yue Chen, Yong He, Yanzhi Wang

cs.AI

要旨

最近、大規模言語モデル（LLM）は著しい変化を遂げ、その人気と能力が急速に向上しています。この進化を牽引しているのは、GPT-4やGPT-o1などのプロプライエタリなLLMであり、その優れたパフォーマンスと汎用性からAIコミュニティで広く注目されています。同時に、LLaMAやMistralなどのオープンソースのLLMは、モデルをカスタマイズして様々なアプリケーションに展開しやすいことから、LLMの人気の急速な拡大に大きく貢献しています。オープンソースのLLMは革新や研究に前例のない機会を提供していますが、LLMの商業化は透明性、再現性、安全性に関する懸念を引き起こしています。多くのオープンソースのLLMは、トレーニングコードやデータなどの重要なコンポーネントを隠すことで基本的な透明性要件を満たしておらず、一部は「オープンソース」と主張しながら制限的なライセンスを使用しており、これがLLMに関するさらなるイノベーションを妨げる可能性があります。この問題を緩和するために、Model Openness Framework（MOF）に準拠して開発された完全なオープンソースのLLMであるMoxin 7Bを紹介します。MOFは、AIモデルをモデルの完全性とオープン性に基づいて評価するランク付け分類システムであり、オープンサイエンス、オープンソース、オープンデータ、オープンアクセスの原則に従っています。当社のモデルは、事前トレーニングコードと構成、トレーニングおよびファインチューニングデータセット、中間および最終チェックポイントを包括的に公開することで、「オープンサイエンス」という最高のMOF分類レベルを達成しています。実験結果は、当社のモデルが人気の7Bモデルと比較してゼロショット評価で優れたパフォーマンスを達成し、フューショット評価でも競争力を持つことを示しています。

English

Recently, Large Language Models (LLMs) have undergone a significant transformation, marked by a rapid rise in both their popularity and capabilities. Leading this evolution are proprietary LLMs like GPT-4 and GPT-o1, which have captured widespread attention in the AI community due to their remarkable performance and versatility. Simultaneously, open-source LLMs, such as LLaMA and Mistral, have made great contributions to the ever-increasing popularity of LLMs due to the ease to customize and deploy the models across diverse applications. Although open-source LLMs present unprecedented opportunities for innovation and research, the commercialization of LLMs has raised concerns about transparency, reproducibility, and safety. Many open-source LLMs fail to meet fundamental transparency requirements by withholding essential components like training code and data, and some use restrictive licenses whilst claiming to be "open-source," which may hinder further innovations on LLMs. To mitigate this issue, we introduce Moxin 7B, a fully open-source LLM developed in accordance with the Model Openness Framework (MOF), a ranked classification system that evaluates AI models based on model completeness and openness, adhering to principles of open science, open source, open data, and open access. Our model achieves the highest MOF classification level of "open science" through the comprehensive release of pre-training code and configurations, training and fine-tuning datasets, and intermediate and final checkpoints. Experiments show that our model achieves superior performance in zero-shot evaluation compared with popular 7B models and performs competitively in few-shot evaluation.