Rapport technique Yi-Lightning

Yi-Lightning Technical Report

December 2, 2024

Auteurs: 01. AI, Alan Wake, Albert Wang, Bei Chen, C. X. Lv, Chao Li, Chengen Huang, Chenglin Cai, Chujie Zheng, Daniel Cooper, Ethan Dai, Fan Zhou, Feng Hu, Heng Ji, Howard Qiu, Jiangcheng Zhu, Jun Tian, Katherine Su, Lihuan Zhang, Liying Li, Ming Song, Mou Li, Peng Liu, Qichen Hu, Shawn Wang, Shijun Zhou, Shiyong Li, Tianhang Zhu, Wen Xie, Xiang He, Xiaobo Chen, Xiaohui Hu, Xiaoyi Ren, Xinyao Niu, Yanpeng Li, Yongke Zhao, Yongzhen Luo, Yuchi Xu, Yuxuan Sha, Zhaodong Yan, Zhiyuan Liu, Zirui Zhang

cs.AI

Résumé

Ce rapport technique présente Yi-Lightning, notre dernier modèle de langage large (LLM) phare. Il atteint des performances exceptionnelles, se classant 6e au total sur Chatbot Arena, avec des résultats particulièrement solides (de la 2e à la 4e place) dans des catégories spécialisées telles que le chinois, les mathématiques, le codage et les défis complexes. Yi-Lightning exploite une architecture améliorée de Mélange d'Experts (MoE), mettant en œuvre des mécanismes avancés de segmentation et de routage d'experts associés à des techniques optimisées de mise en cache KV. Notre processus de développement englobe un pré-entraînement complet, un affinage supervisé (SFT) et un apprentissage par renforcement à partir des retours humains (RLHF), où nous concevons des stratégies délibérées pour l'entraînement multi-étapes, la construction de données synthétiques et la modélisation des récompenses. De plus, nous mettons en œuvre RAISE (Responsible AI Safety Engine), un cadre à quatre composants pour aborder les problèmes de sécurité tout au long des phases de pré-entraînement, post-entraînement et de service. Grâce à notre infrastructure informatique évolutive, toutes ces innovations réduisent considérablement les coûts d'entraînement, de déploiement et d'inférence tout en maintenant des normes de haute performance. Avec des évaluations supplémentaires sur des référentiels académiques publics, Yi-Lightning démontre des performances compétitives par rapport aux LLM de premier plan, alors que nous observons une disparité notable entre les résultats des référentiels traditionnels statiques et les préférences humaines dynamiques du monde réel. Cette observation incite à une réévaluation critique de l'utilité des référentiels conventionnels pour guider le développement de systèmes AI plus intelligents et puissants pour des applications pratiques. Yi-Lightning est désormais disponible sur notre plateforme de développement à l'adresse https://platform.lingyiwanwu.com.

English

This technical report presents Yi-Lightning, our latest flagship large language model (LLM). It achieves exceptional performance, ranking 6th overall on Chatbot Arena, with particularly strong results (2nd to 4th place) in specialized categories including Chinese, Math, Coding, and Hard Prompts. Yi-Lightning leverages an enhanced Mixture-of-Experts (MoE) architecture, featuring advanced expert segmentation and routing mechanisms coupled with optimized KV-caching techniques. Our development process encompasses comprehensive pre-training, supervised fine-tuning (SFT), and reinforcement learning from human feedback (RLHF), where we devise deliberate strategies for multi-stage training, synthetic data construction, and reward modeling. Furthermore, we implement RAISE (Responsible AI Safety Engine), a four-component framework to address safety issues across pre-training, post-training, and serving phases. Empowered by our scalable super-computing infrastructure, all these innovations substantially reduce training, deployment and inference costs while maintaining high-performance standards. With further evaluations on public academic benchmarks, Yi-Lightning demonstrates competitive performance against top-tier LLMs, while we observe a notable disparity between traditional, static benchmark results and real-world, dynamic human preferences. This observation prompts a critical reassessment of conventional benchmarks' utility in guiding the development of more intelligent and powerful AI systems for practical applications. Yi-Lightning is now available through our developer platform at https://platform.lingyiwanwu.com.