QwenLong-CPRS: Hacia LLMs infinitas con Optimización Dinámica de Contexto

QwenLong-CPRS: Towards infty-LLMs with Dynamic Context Optimization

May 23, 2025

Autores: Weizhou Shen, Chenliang Li, Fanqi Wan, Shengyi Liao, Shaopeng Lai, Bo Zhang, Yingcheng Shi, Yuning Wu, Gang Fu, Zhansheng Li, Bin Yang, Ji Zhang, Fei Huang, Jingren Zhou, Ming Yan

cs.AI

Resumen

Este informe técnico presenta QwenLong-CPRS, un marco de compresión de contexto diseñado para la optimización explícita de contextos largos, abordando el costo computacional prohibitivo durante la etapa de prefiltrado y la degradación del rendimiento conocida como "perdido en el medio" en modelos de lenguaje grandes (LLMs) durante el procesamiento de secuencias largas. Implementado mediante un novedoso mecanismo de optimización dinámica de contexto, QwenLong-CPRS permite la compresión de contexto multi-granularidad guiada por instrucciones en lenguaje natural, logrando tanto ganancias en eficiencia como mejoras en el rendimiento. Evolucionado de la serie de arquitecturas Qwen, QwenLong-CPRS introduce cuatro innovaciones clave: (1) Optimización dinámica guiada por lenguaje natural, (2) Capas de razonamiento bidireccional para una mayor conciencia de límites, (3) Mecanismos de crítica de tokens con cabezales de modelado de lenguaje, y (4) Inferencia paralela por ventanas. Evaluaciones exhaustivas en cinco puntos de referencia (contextos de 4K a 2M palabras) demuestran la triple efectividad de QwenLong-CPRS: (1) Superioridad consistente sobre otros métodos de gestión de contexto como RAG y atención dispersa, tanto en precisión como en eficiencia. (2) Integración agnóstica a la arquitectura con todos los LLMs líderes, incluyendo GPT-4o, Gemini2.0-pro, Claude3.7-sonnet, DeepSeek-v3 y Qwen2.5-max, logrando una compresión de contexto de 21.59 veces junto con ganancias promedio de rendimiento de 19.15 puntos; (3) Desplegado con Qwen2.5-32B-Instruct, QwenLong-CPRS supera a los LLMs propietarios líderes por 4.85 y 10.88 puntos en Ruler-128K e InfiniteBench, estableciendo un nuevo rendimiento SOTA.

English

This technical report presents QwenLong-CPRS, a context compression framework designed for explicit long-context optimization, addressing prohibitive computation overhead during the prefill stage and the "lost in the middle" performance degradation of large language models (LLMs) during long sequence processing. Implemented through a novel dynamic context optimization mechanism, QwenLong-CPRS enables multi-granularity context compression guided by natural language instructions, achieving both efficiency gains and improved performance. Evolved from the Qwen architecture series, QwenLong-CPRS introduces four key innovations: (1) Natural language-guided dynamic optimization, (2) Bidirectional reasoning layers for enhanced boundary awareness, (3) Token critic mechanisms with language modeling heads, and (4) Window-parallel inference. Comprehensive evaluations across five benchmarks (4K-2M word contexts) demonstrate QwenLong-CPRS's threefold effectiveness: (1) Consistent superiority over other context management methods like RAG and sparse attention in both accuracy and efficiency. (2) Architecture-agnostic integration with all flagship LLMs, including GPT-4o, Gemini2.0-pro, Claude3.7-sonnet, DeepSeek-v3, and Qwen2.5-max, achieves 21.59times context compression alongside 19.15-point average performance gains; (3) Deployed with Qwen2.5-32B-Instruct, QwenLong-CPRS surpasses leading proprietary LLMs by 4.85 and 10.88 points on Ruler-128K and InfiniteBench, establishing new SOTA performance.