Informe Técnico Qwen2.5-1M

Qwen2.5-1M Technical Report

January 26, 2025

Autores: An Yang, Bowen Yu, Chengyuan Li, Dayiheng Liu, Fei Huang, Haoyan Huang, Jiandong Jiang, Jianhong Tu, Jianwei Zhang, Jingren Zhou, Junyang Lin, Kai Dang, Kexin Yang, Le Yu, Mei Li, Minmin Sun, Qin Zhu, Rui Men, Tao He, Weijia Xu, Wenbiao Yin, Wenyuan Yu, Xiafei Qiu, Xingzhang Ren, Xinlong Yang, Yong Li, Zhiying Xu, Zipeng Zhang

cs.AI

Resumen

Presentamos Qwen2.5-1M, una serie de modelos que amplían la longitud del contexto a 1 millón de tokens. En comparación con la versión anterior de 128K, la serie Qwen2.5-1M ha mejorado significativamente las capacidades de contexto largo a través de un preentrenamiento y post-entrenamiento de largo contexto. Se emplean técnicas clave como la síntesis de datos largos, el preentrenamiento progresivo y el ajuste fino supervisado en múltiples etapas para mejorar de manera efectiva el rendimiento del largo contexto mientras se reducen los costos de entrenamiento. Para fomentar el uso de modelos de largo contexto entre una base de usuarios más amplia, presentamos y hacemos de código abierto nuestro marco de inferencia. Este marco incluye un método de extrapolación de longitud que puede expandir las longitudes de contexto del modelo al menos cuatro veces, o incluso más, sin entrenamiento adicional. Para reducir los costos de inferencia, implementamos un método de atención dispersa junto con una optimización de relleno segmentado para escenarios de implementación y un método de refinamiento de dispersión para mejorar la precisión. Además, detallamos nuestras optimizaciones en el motor de inferencia, incluida la optimización del kernel, el paralelismo de canalización y la optimización de programación, que mejoran significativamente el rendimiento general de la inferencia. Al aprovechar nuestro marco de inferencia, los modelos Qwen2.5-1M logran una notable aceleración de 3x a 7x en el relleno previo en escenarios con 1 millón de tokens de contexto. Este marco proporciona una solución eficiente y potente para desarrollar aplicaciones que requieren procesamiento de largo contexto utilizando modelos de código abierto. La serie Qwen2.5-1M actualmente incluye los modelos de código abierto Qwen2.5-7B-Instruct-1M y Qwen2.5-14B-Instruct-1M, así como el modelo Qwen2.5-Turbo de acceso a través de API. Las evaluaciones muestran que los modelos Qwen2.5-1M han mejorado considerablemente en tareas de largo contexto sin comprometer el rendimiento en escenarios de corto contexto. Específicamente, el modelo Qwen2.5-14B-Instruct-1M supera significativamente a GPT-4o-mini en tareas de largo contexto y admite contextos ocho veces más largos.

English

We introduce Qwen2.5-1M, a series of models that extend the context length to 1 million tokens. Compared to the previous 128K version, the Qwen2.5-1M series have significantly enhanced long-context capabilities through long-context pre-training and post-training. Key techniques such as long data synthesis, progressive pre-training, and multi-stage supervised fine-tuning are employed to effectively enhance long-context performance while reducing training costs. To promote the use of long-context models among a broader user base, we present and open-source our inference framework. This framework includes a length extrapolation method that can expand the model context lengths by at least four times, or even more, without additional training. To reduce inference costs, we implement a sparse attention method along with chunked prefill optimization for deployment scenarios and a sparsity refinement method to improve precision. Additionally, we detail our optimizations in the inference engine, including kernel optimization, pipeline parallelism, and scheduling optimization, which significantly enhance overall inference performance. By leveraging our inference framework, the Qwen2.5-1M models achieve a remarkable 3x to 7x prefill speedup in scenarios with 1 million tokens of context. This framework provides an efficient and powerful solution for developing applications that require long-context processing using open-source models. The Qwen2.5-1M series currently includes the open-source models Qwen2.5-7B-Instruct-1M and Qwen2.5-14B-Instruct-1M, as well as the API-accessed model Qwen2.5-Turbo. Evaluations show that Qwen2.5-1M models have been greatly improved in long-context tasks without compromising performance in short-context scenarios. Specifically, the Qwen2.5-14B-Instruct-1M model significantly outperforms GPT-4o-mini in long-context tasks and supports contexts eight times longer.