Rapport technique Qwen2.5-1M

Qwen2.5-1M Technical Report

January 26, 2025

Auteurs: An Yang, Bowen Yu, Chengyuan Li, Dayiheng Liu, Fei Huang, Haoyan Huang, Jiandong Jiang, Jianhong Tu, Jianwei Zhang, Jingren Zhou, Junyang Lin, Kai Dang, Kexin Yang, Le Yu, Mei Li, Minmin Sun, Qin Zhu, Rui Men, Tao He, Weijia Xu, Wenbiao Yin, Wenyuan Yu, Xiafei Qiu, Xingzhang Ren, Xinlong Yang, Yong Li, Zhiying Xu, Zipeng Zhang

cs.AI

Résumé

Nous présentons Qwen2.5-1M, une série de modèles qui étendent la longueur du contexte à 1 million de jetons. Comparés à la version précédente de 128K, les modèles de la série Qwen2.5-1M ont des capacités de contexte long considérablement améliorées grâce à un pré-entraînement et un post-entraînement sur le contexte long. Des techniques clés telles que la synthèse de données longues, l'entraînement progressif et le fine-tuning supervisé multi-étapes sont utilisées pour améliorer efficacement les performances sur le contexte long tout en réduisant les coûts d'entraînement. Pour promouvoir l'utilisation de modèles à contexte long auprès d'une base d'utilisateurs plus large, nous présentons et mettons en open source notre cadre d'inférence. Ce cadre inclut une méthode d'extrapolation de longueur qui peut étendre les longueurs de contexte du modèle d'au moins quatre fois, voire plus, sans entraînement supplémentaire. Pour réduire les coûts d'inférence, nous mettons en œuvre une méthode d'attention clairsemée ainsi qu'une optimisation de pré-remplissage par morceaux pour les scénarios de déploiement et une méthode de raffinement de la clairvoyance pour améliorer la précision. De plus, nous détaillons nos optimisations dans le moteur d'inférence, y compris l'optimisation du noyau, le parallélisme de pipeline et l'optimisation de l'ordonnancement, qui améliorent significativement les performances globales de l'inférence. En exploitant notre cadre d'inférence, les modèles Qwen2.5-1M obtiennent un remarquable gain de vitesse de pré-remplissage de 3x à 7x dans des scénarios avec 1 million de jetons de contexte. Ce cadre fournit une solution efficace et puissante pour le développement d'applications nécessitant un traitement de contexte long en utilisant des modèles open source. La série Qwen2.5-1M comprend actuellement les modèles open source Qwen2.5-7B-Instruct-1M et Qwen2.5-14B-Instruct-1M, ainsi que le modèle Qwen2.5-Turbo accessible via API. Les évaluations montrent que les modèles Qwen2.5-1M ont été considérablement améliorés dans les tâches de contexte long sans compromettre les performances dans les scénarios de contexte court. En particulier, le modèle Qwen2.5-14B-Instruct-1M surpasse significativement GPT-4o-mini dans les tâches de contexte long et prend en charge des contextes huit fois plus longs.

English

We introduce Qwen2.5-1M, a series of models that extend the context length to 1 million tokens. Compared to the previous 128K version, the Qwen2.5-1M series have significantly enhanced long-context capabilities through long-context pre-training and post-training. Key techniques such as long data synthesis, progressive pre-training, and multi-stage supervised fine-tuning are employed to effectively enhance long-context performance while reducing training costs. To promote the use of long-context models among a broader user base, we present and open-source our inference framework. This framework includes a length extrapolation method that can expand the model context lengths by at least four times, or even more, without additional training. To reduce inference costs, we implement a sparse attention method along with chunked prefill optimization for deployment scenarios and a sparsity refinement method to improve precision. Additionally, we detail our optimizations in the inference engine, including kernel optimization, pipeline parallelism, and scheduling optimization, which significantly enhance overall inference performance. By leveraging our inference framework, the Qwen2.5-1M models achieve a remarkable 3x to 7x prefill speedup in scenarios with 1 million tokens of context. This framework provides an efficient and powerful solution for developing applications that require long-context processing using open-source models. The Qwen2.5-1M series currently includes the open-source models Qwen2.5-7B-Instruct-1M and Qwen2.5-14B-Instruct-1M, as well as the API-accessed model Qwen2.5-Turbo. Evaluations show that Qwen2.5-1M models have been greatly improved in long-context tasks without compromising performance in short-context scenarios. Specifically, the Qwen2.5-14B-Instruct-1M model significantly outperforms GPT-4o-mini in long-context tasks and supports contexts eight times longer.