Технический отчет Qwen2.5-1M

Qwen2.5-1M Technical Report

January 26, 2025

Авторы: An Yang, Bowen Yu, Chengyuan Li, Dayiheng Liu, Fei Huang, Haoyan Huang, Jiandong Jiang, Jianhong Tu, Jianwei Zhang, Jingren Zhou, Junyang Lin, Kai Dang, Kexin Yang, Le Yu, Mei Li, Minmin Sun, Qin Zhu, Rui Men, Tao He, Weijia Xu, Wenbiao Yin, Wenyuan Yu, Xiafei Qiu, Xingzhang Ren, Xinlong Yang, Yong Li, Zhiying Xu, Zipeng Zhang

cs.AI

Аннотация

Мы представляем серию моделей Qwen2.5-1M, которые расширяют длину контекста до 1 миллиона токенов. По сравнению с предыдущей версией на 128 тыс. токенов, серия Qwen2.5-1M значительно улучшила возможности длинного контекста благодаря предварительному и последующему обучению на длинном контексте. Ключевые техники, такие как синтез длинных данных, поэтапное предварительное обучение и многоступенчатая надзорная донастройка, используются для эффективного улучшения производительности на длинном контексте при снижении затрат на обучение. Для поощрения использования моделей с длинным контекстом среди более широкой пользовательской базы мы представляем и открываем исходный код нашей системы вывода. Эта система включает метод экстраполяции длины, который может расширить длину контекста модели как минимум в четыре раза, а то и более, без дополнительного обучения. Для снижения затрат на вывод мы реализуем метод разреженного внимания вместе с оптимизацией предварительной загрузки по частям для сценариев развертывания, а также метод улучшения разреженности для повышения точности. Кроме того, мы подробно описываем наши оптимизации в движке вывода, включая оптимизацию ядра, параллелизм конвейера и оптимизацию планирования, которые значительно улучшают общую производительность вывода. Используя нашу систему вывода, модели Qwen2.5-1M достигают заметного ускорения предварительной загрузки в 3-7 раз в сценариях с 1 миллионом токенов контекста. Эта система предоставляет эффективное и мощное решение для разработки приложений, требующих обработки длинного контекста с использованием моделей с открытым исходным кодом. Серия Qwen2.5-1M включает в себя открытые модели Qwen2.5-7B-Instruct-1M и Qwen2.5-14B-Instruct-1M, а также модель Qwen2.5-Turbo с доступом через API. Оценки показывают, что модели Qwen2.5-1M значительно улучшились в задачах с длинным контекстом, не уступая производительности в сценариях с коротким контекстом. В частности, модель Qwen2.5-14B-Instruct-1M значительно превосходит GPT-4o-mini в задачах с длинным контекстом и поддерживает восемь раз более длинные контексты.

English

We introduce Qwen2.5-1M, a series of models that extend the context length to 1 million tokens. Compared to the previous 128K version, the Qwen2.5-1M series have significantly enhanced long-context capabilities through long-context pre-training and post-training. Key techniques such as long data synthesis, progressive pre-training, and multi-stage supervised fine-tuning are employed to effectively enhance long-context performance while reducing training costs. To promote the use of long-context models among a broader user base, we present and open-source our inference framework. This framework includes a length extrapolation method that can expand the model context lengths by at least four times, or even more, without additional training. To reduce inference costs, we implement a sparse attention method along with chunked prefill optimization for deployment scenarios and a sparsity refinement method to improve precision. Additionally, we detail our optimizations in the inference engine, including kernel optimization, pipeline parallelism, and scheduling optimization, which significantly enhance overall inference performance. By leveraging our inference framework, the Qwen2.5-1M models achieve a remarkable 3x to 7x prefill speedup in scenarios with 1 million tokens of context. This framework provides an efficient and powerful solution for developing applications that require long-context processing using open-source models. The Qwen2.5-1M series currently includes the open-source models Qwen2.5-7B-Instruct-1M and Qwen2.5-14B-Instruct-1M, as well as the API-accessed model Qwen2.5-Turbo. Evaluations show that Qwen2.5-1M models have been greatly improved in long-context tasks without compromising performance in short-context scenarios. Specifically, the Qwen2.5-14B-Instruct-1M model significantly outperforms GPT-4o-mini in long-context tasks and supports contexts eight times longer.