Yi-Lightning テクニカルレポート

Yi-Lightning Technical Report

December 2, 2024

著者: 01. AI, Alan Wake, Albert Wang, Bei Chen, C. X. Lv, Chao Li, Chengen Huang, Chenglin Cai, Chujie Zheng, Daniel Cooper, Ethan Dai, Fan Zhou, Feng Hu, Heng Ji, Howard Qiu, Jiangcheng Zhu, Jun Tian, Katherine Su, Lihuan Zhang, Liying Li, Ming Song, Mou Li, Peng Liu, Qichen Hu, Shawn Wang, Shijun Zhou, Shiyong Li, Tianhang Zhu, Wen Xie, Xiang He, Xiaobo Chen, Xiaohui Hu, Xiaoyi Ren, Xinyao Niu, Yanpeng Li, Yongke Zhao, Yongzhen Luo, Yuchi Xu, Yuxuan Sha, Zhaodong Yan, Zhiyuan Liu, Zirui Zhang

cs.AI

要旨

この技術レポートでは、当社の最新のフラッグシップ大規模言語モデル（LLM）であるYi-Lightningを紹介します。このモデルは、特に中国語、数学、コーディング、難しいプロンプトなどの専門カテゴリにおいて非常に強力な結果（2位から4位）を収め、Chatbot Arena全体で6位の成績を達成しています。Yi-Lightningは、強化された専門家のセグメンテーションおよびルーティングメカニズムと最適化されたKVキャッシング技術を組み合わせた、高度なMixture-of-Experts（MoE）アーキテクチャを活用しています。私たちの開発プロセスは、包括的な事前トレーニング、教師ありファインチューニング（SFT）、そして人間のフィードバックからの強化学習（RLHF）を含み、多段階トレーニング、合成データ構築、および報酬モデリングのために綿密な戦略を練ります。さらに、私たちは、安全性の問題に対処するための4つのコンポーネントからなるRAISE（責任あるAI安全エンジン）を実装しています。私たちのスケーラブルなスーパーコンピューティングインフラによって強化されたこれらの革新は、トレーニング、展開、推論のコストを大幅に削減しつつ、高いパフォーマンス基準を維持しています。公開されている学術ベンチマークでさらなる評価を行った結果、Yi-Lightningは実用的なアプリケーション向けにより知能ある強力なAIシステムの開発を導くための従来の静的ベンチマーク結果と実世界の動的な人間の選好との顕著な不一致を観察しています。この観察は、より知能ある強力なAIシステムの開発を導くための従来のベンチマークの有用性を重要な再評価する契機となっています。Yi-Lightningは、現在、https://platform.lingyiwanwu.com で当社の開発者プラットフォームを通じて利用可能です。

English

This technical report presents Yi-Lightning, our latest flagship large language model (LLM). It achieves exceptional performance, ranking 6th overall on Chatbot Arena, with particularly strong results (2nd to 4th place) in specialized categories including Chinese, Math, Coding, and Hard Prompts. Yi-Lightning leverages an enhanced Mixture-of-Experts (MoE) architecture, featuring advanced expert segmentation and routing mechanisms coupled with optimized KV-caching techniques. Our development process encompasses comprehensive pre-training, supervised fine-tuning (SFT), and reinforcement learning from human feedback (RLHF), where we devise deliberate strategies for multi-stage training, synthetic data construction, and reward modeling. Furthermore, we implement RAISE (Responsible AI Safety Engine), a four-component framework to address safety issues across pre-training, post-training, and serving phases. Empowered by our scalable super-computing infrastructure, all these innovations substantially reduce training, deployment and inference costs while maintaining high-performance standards. With further evaluations on public academic benchmarks, Yi-Lightning demonstrates competitive performance against top-tier LLMs, while we observe a notable disparity between traditional, static benchmark results and real-world, dynamic human preferences. This observation prompts a critical reassessment of conventional benchmarks' utility in guiding the development of more intelligent and powerful AI systems for practical applications. Yi-Lightning is now available through our developer platform at https://platform.lingyiwanwu.com.