YAYI 2: 多言語対応オープンソース大規模言語モデル

要旨

自然言語処理の最新の進展として、大規模言語モデル（LLM）は多くの現実世界のタスクにおいて人間レベルの言語理解と生成能力を達成し、人工汎用知能への潜在的な道筋としても見なされるようになっています。LLMの研究をより促進するため、Llama 2やFalconなどの多くのオープンソースLLMが最近提案され、プロプライエタリモデルに匹敵する性能を獲得しています。しかし、これらのモデルは主に英語のシナリオ向けに設計されており、中国語のコンテキストでは性能が低いことが指摘されています。本技術レポートでは、300億パラメータを持つYAYI 2を提案します。YAYI 2は、事前学習データ処理パイプラインによってフィルタリングされた2.65兆トークンを含む多言語コーパスからスクラッチで事前学習されています。ベースモデルは、数百万の指示による教師ありファインチューニングと人間のフィードバックからの強化学習を通じて、人間の価値観に沿うように調整されています。MMLUやCMMLUなどの複数のベンチマークでの広範な実験により、提案されたYAYI 2が他の同規模のオープンソースモデルを一貫して上回ることが示されています。

English

As the latest advancements in natural language processing, large language models (LLMs) have achieved human-level language understanding and generation abilities in many real-world tasks, and even have been regarded as a potential path to the artificial general intelligence. To better facilitate research on LLMs, many open-source LLMs, such as Llama 2 and Falcon, have recently been proposed and gained comparable performances to proprietary models. However, these models are primarily designed for English scenarios and exhibit poor performances in Chinese contexts. In this technical report, we propose YAYI 2, including both base and chat models, with 30 billion parameters. YAYI 2 is pre-trained from scratch on a multilingual corpus which contains 2.65 trillion tokens filtered by our pre-training data processing pipeline. The base model is aligned with human values through supervised fine-tuning with millions of instructions and reinforcement learning from human feedback. Extensive experiments on multiple benchmarks, such as MMLU and CMMLU, consistently demonstrate that the proposed YAYI 2 outperforms other similar sized open-source models.

YAYI 2: 多言語対応オープンソース大規模言語モデル

YAYI 2: Multilingual Open-Source Large Language Models

要旨

Support