Informe Técnico de Yi-Lightning

Yi-Lightning Technical Report

December 2, 2024

Autores: 01. AI, Alan Wake, Albert Wang, Bei Chen, C. X. Lv, Chao Li, Chengen Huang, Chenglin Cai, Chujie Zheng, Daniel Cooper, Ethan Dai, Fan Zhou, Feng Hu, Heng Ji, Howard Qiu, Jiangcheng Zhu, Jun Tian, Katherine Su, Lihuan Zhang, Liying Li, Ming Song, Mou Li, Peng Liu, Qichen Hu, Shawn Wang, Shijun Zhou, Shiyong Li, Tianhang Zhu, Wen Xie, Xiang He, Xiaobo Chen, Xiaohui Hu, Xiaoyi Ren, Xinyao Niu, Yanpeng Li, Yongke Zhao, Yongzhen Luo, Yuchi Xu, Yuxuan Sha, Zhaodong Yan, Zhiyuan Liu, Zirui Zhang

cs.AI

Resumen

Este informe técnico presenta Yi-Lightning, nuestro último modelo de lenguaje grande (LLM) insignia. Logra un rendimiento excepcional, clasificándose en sexto lugar en Chatbot Arena, con resultados particularmente sólidos (del 2º al 4º lugar) en categorías especializadas que incluyen Chino, Matemáticas, Codificación y Desafíos Difíciles. Yi-Lightning aprovecha una arquitectura mejorada de Mezcla de Expertos (MoE), que incluye avanzados mecanismos de segmentación y enrutamiento de expertos junto con técnicas optimizadas de almacenamiento en caché de claves y valores (KV-caching). Nuestro proceso de desarrollo abarca un entrenamiento previo exhaustivo, un ajuste fino supervisado (SFT) y aprendizaje por refuerzo a partir de retroalimentación humana (RLHF), donde diseñamos estrategias deliberadas para el entrenamiento en múltiples etapas, la construcción de datos sintéticos y la modelización de recompensas. Además, implementamos RAISE (Motor de Seguridad de IA Responsable), un marco de cuatro componentes para abordar problemas de seguridad en las fases de pre-entrenamiento, post-entrenamiento y despliegue. Potenciado por nuestra infraestructura de supercomputación escalable, todas estas innovaciones reducen sustancialmente los costos de entrenamiento, despliegue e inferencia manteniendo altos estándares de rendimiento. Con evaluaciones adicionales en referencias académicas públicas, Yi-Lightning demuestra un rendimiento competitivo frente a LLMs de primer nivel, mientras observamos una notable disparidad entre los resultados de referencias estáticas tradicionales y las preferencias humanas dinámicas del mundo real. Esta observación motiva una reevaluación crítica de la utilidad de los referencias convencionales para guiar el desarrollo de sistemas de IA más inteligentes y potentes para aplicaciones prácticas. Yi-Lightning está disponible ahora a través de nuestra plataforma para desarrolladores en https://platform.lingyiwanwu.com.

English

This technical report presents Yi-Lightning, our latest flagship large language model (LLM). It achieves exceptional performance, ranking 6th overall on Chatbot Arena, with particularly strong results (2nd to 4th place) in specialized categories including Chinese, Math, Coding, and Hard Prompts. Yi-Lightning leverages an enhanced Mixture-of-Experts (MoE) architecture, featuring advanced expert segmentation and routing mechanisms coupled with optimized KV-caching techniques. Our development process encompasses comprehensive pre-training, supervised fine-tuning (SFT), and reinforcement learning from human feedback (RLHF), where we devise deliberate strategies for multi-stage training, synthetic data construction, and reward modeling. Furthermore, we implement RAISE (Responsible AI Safety Engine), a four-component framework to address safety issues across pre-training, post-training, and serving phases. Empowered by our scalable super-computing infrastructure, all these innovations substantially reduce training, deployment and inference costs while maintaining high-performance standards. With further evaluations on public academic benchmarks, Yi-Lightning demonstrates competitive performance against top-tier LLMs, while we observe a notable disparity between traditional, static benchmark results and real-world, dynamic human preferences. This observation prompts a critical reassessment of conventional benchmarks' utility in guiding the development of more intelligent and powerful AI systems for practical applications. Yi-Lightning is now available through our developer platform at https://platform.lingyiwanwu.com.