Relatório Técnico Yi-Lightning

Yi-Lightning Technical Report

December 2, 2024

Autores: 01. AI, Alan Wake, Albert Wang, Bei Chen, C. X. Lv, Chao Li, Chengen Huang, Chenglin Cai, Chujie Zheng, Daniel Cooper, Ethan Dai, Fan Zhou, Feng Hu, Heng Ji, Howard Qiu, Jiangcheng Zhu, Jun Tian, Katherine Su, Lihuan Zhang, Liying Li, Ming Song, Mou Li, Peng Liu, Qichen Hu, Shawn Wang, Shijun Zhou, Shiyong Li, Tianhang Zhu, Wen Xie, Xiang He, Xiaobo Chen, Xiaohui Hu, Xiaoyi Ren, Xinyao Niu, Yanpeng Li, Yongke Zhao, Yongzhen Luo, Yuchi Xu, Yuxuan Sha, Zhaodong Yan, Zhiyuan Liu, Zirui Zhang

cs.AI

Resumo

Este relatório técnico apresenta o Yi-Lightning, nosso mais recente modelo de linguagem grande (LLM) carro-chefe. Ele alcança um desempenho excepcional, classificando-se em 6º lugar no Chatbot Arena, com resultados particularmente fortes (2º a 4º lugar) em categorias especializadas, incluindo Chinês, Matemática, Codificação e Desafios Complexos. O Yi-Lightning aproveita uma arquitetura aprimorada de Mistura de Especialistas (MoE), apresentando segmentação avançada de especialistas e mecanismos de roteamento, juntamente com técnicas otimizadas de armazenamento em cache KV. Nosso processo de desenvolvimento abrange pré-treinamento abrangente, ajuste fino supervisionado (SFT) e aprendizado por reforço a partir do feedback humano (RLHF), onde elaboramos estratégias deliberadas para treinamento em múltiplos estágios, construção de dados sintéticos e modelagem de recompensas. Além disso, implementamos o RAISE (Responsible AI Safety Engine), um framework de quatro componentes para lidar com questões de segurança em todas as fases de pré-treinamento, pós-treinamento e operação. Potencializado por nossa infraestrutura de supercomputação escalável, todas essas inovações reduzem substancialmente os custos de treinamento, implantação e inferência, mantendo altos padrões de desempenho. Com avaliações adicionais em benchmarks acadêmicos públicos, o Yi-Lightning demonstra desempenho competitivo em relação aos LLMs de primeira linha, enquanto observamos uma disparidade significativa entre os resultados dos benchmarks tradicionais e estáticos e as preferências humanas dinâmicas do mundo real. Essa observação suscita uma reavaliação crítica da utilidade dos benchmarks convencionais na orientação do desenvolvimento de sistemas de IA mais inteligentes e poderosos para aplicações práticas. O Yi-Lightning está agora disponível por meio de nossa plataforma de desenvolvedores em https://platform.lingyiwanwu.com.

English

This technical report presents Yi-Lightning, our latest flagship large language model (LLM). It achieves exceptional performance, ranking 6th overall on Chatbot Arena, with particularly strong results (2nd to 4th place) in specialized categories including Chinese, Math, Coding, and Hard Prompts. Yi-Lightning leverages an enhanced Mixture-of-Experts (MoE) architecture, featuring advanced expert segmentation and routing mechanisms coupled with optimized KV-caching techniques. Our development process encompasses comprehensive pre-training, supervised fine-tuning (SFT), and reinforcement learning from human feedback (RLHF), where we devise deliberate strategies for multi-stage training, synthetic data construction, and reward modeling. Furthermore, we implement RAISE (Responsible AI Safety Engine), a four-component framework to address safety issues across pre-training, post-training, and serving phases. Empowered by our scalable super-computing infrastructure, all these innovations substantially reduce training, deployment and inference costs while maintaining high-performance standards. With further evaluations on public academic benchmarks, Yi-Lightning demonstrates competitive performance against top-tier LLMs, while we observe a notable disparity between traditional, static benchmark results and real-world, dynamic human preferences. This observation prompts a critical reassessment of conventional benchmarks' utility in guiding the development of more intelligent and powerful AI systems for practical applications. Yi-Lightning is now available through our developer platform at https://platform.lingyiwanwu.com.