Yi: 01.AIによるオープン基盤モデル

要旨

Yiモデルファミリーを紹介します。これは、強力な多次元能力を発揮する一連の言語モデルおよびマルチモーダルモデルです。Yiモデルファミリーは、6Bおよび34Bの事前学習済み言語モデルを基盤としており、それをチャットモデル、200K長文脈モデル、深度拡張モデル、視覚言語モデルに拡張しています。ベースモデルはMMLUなどの幅広いベンチマークで優れた性能を発揮し、ファインチューニングされたチャットモデルはAlpacaEvalやChatbot Arenaなどの主要評価プラットフォームで高い人間選好率を達成しています。スケーラブルなスーパーコンピューティングインフラと古典的なTransformerアーキテクチャを基盤として、Yiモデルの性能は主にデータエンジニアリングの取り組みによるデータ品質に起因しています。事前学習では、カスケード型のデータ重複排除と品質フィルタリングパイプラインを使用して、3.1兆トークンの英語と中国語のコーパスを構築しました。ファインチューニングでは、10K未満の小規模な指示データセットを複数回にわたって磨き上げ、各インスタンスが機械学習エンジニアによって直接検証されるようにしました。視覚言語モデルでは、チャット言語モデルと視覚Transformerエンコーダを組み合わせ、視覚表現を言語モデルの意味空間に整合させるようにモデルを訓練しました。さらに、軽量な継続事前学習を通じて文脈長を200Kに拡張し、針を探すような検索性能の高さを実証しました。事前学習済みチェックポイントの深度を継続事前学習によって拡張することで、さらなる性能向上が得られることも示しています。現在の結果を踏まえると、徹底的に最適化されたデータを使用してモデルパラメータをスケールアップし続けることで、さらに強力なフロンティアモデルが実現されると考えています。

English

We introduce the Yi model family, a series of language and multimodal models that demonstrate strong multi-dimensional capabilities. The Yi model family is based on 6B and 34B pretrained language models, then we extend them to chat models, 200K long context models, depth-upscaled models, and vision-language models. Our base models achieve strong performance on a wide range of benchmarks like MMLU, and our finetuned chat models deliver strong human preference rate on major evaluation platforms like AlpacaEval and Chatbot Arena. Building upon our scalable super-computing infrastructure and the classical transformer architecture, we attribute the performance of Yi models primarily to its data quality resulting from our data-engineering efforts. For pretraining, we construct 3.1 trillion tokens of English and Chinese corpora using a cascaded data deduplication and quality filtering pipeline. For finetuning, we polish a small scale (less than 10K) instruction dataset over multiple iterations such that every single instance has been verified directly by our machine learning engineers. For vision-language, we combine the chat language model with a vision transformer encoder and train the model to align visual representations to the semantic space of the language model. We further extend the context length to 200K through lightweight continual pretraining and demonstrate strong needle-in-a-haystack retrieval performance. We show that extending the depth of the pretrained checkpoint through continual pretraining further improves performance. We believe that given our current results, continuing to scale up model parameters using thoroughly optimized data will lead to even stronger frontier models.

Yi: 01.AIによるオープン基盤モデル

Yi: Open Foundation Models by 01.AI

要旨

Support