QwenLong-CPRS : Vers des LLMs infinis avec optimisation dynamique du contexte

QwenLong-CPRS: Towards infty-LLMs with Dynamic Context Optimization

May 23, 2025

Auteurs: Weizhou Shen, Chenliang Li, Fanqi Wan, Shengyi Liao, Shaopeng Lai, Bo Zhang, Yingcheng Shi, Yuning Wu, Gang Fu, Zhansheng Li, Bin Yang, Ji Zhang, Fei Huang, Jingren Zhou, Ming Yan

cs.AI

Résumé

Ce rapport technique présente QwenLong-CPRS, un cadre de compression de contexte conçu pour une optimisation explicite des longs contextes, abordant les surcoûts de calcul prohibitifs lors de la phase de préremplissage et la dégradation des performances "perdues au milieu" des grands modèles de langage (LLM) lors du traitement de longues séquences. Implémenté grâce à un nouveau mécanisme d'optimisation dynamique du contexte, QwenLong-CPRS permet une compression de contexte multi-granularité guidée par des instructions en langage naturel, obtenant à la fois des gains d'efficacité et une amélioration des performances. Évoluant de la série d'architectures Qwen, QwenLong-CPRS introduit quatre innovations clés : (1) Une optimisation dynamique guidée par le langage naturel, (2) Des couches de raisonnement bidirectionnel pour une meilleure conscience des limites, (3) Des mécanismes de critique de tokens avec des têtes de modélisation du langage, et (4) Une inférence parallèle par fenêtres. Des évaluations approfondies sur cinq benchmarks (contextes de 4K à 2M mots) démontrent l'efficacité triple de QwenLong-CPRS : (1) Une supériorité constante par rapport à d'autres méthodes de gestion de contexte comme RAG et l'attention sparse, tant en précision qu'en efficacité. (2) Une intégration indépendante de l'architecture avec tous les LLM phares, incluant GPT-4o, Gemini2.0-pro, Claude3.7-sonnet, DeepSeek-v3 et Qwen2.5-max, atteignant une compression de contexte de 21.59 fois accompagnée de gains de performance moyens de 19.15 points ; (3) Déployé avec Qwen2.5-32B-Instruct, QwenLong-CPRS surpasse les LLM propriétaires leaders de 4.85 et 10.88 points sur Ruler-128K et InfiniteBench, établissant de nouvelles performances SOTA.

English

This technical report presents QwenLong-CPRS, a context compression framework designed for explicit long-context optimization, addressing prohibitive computation overhead during the prefill stage and the "lost in the middle" performance degradation of large language models (LLMs) during long sequence processing. Implemented through a novel dynamic context optimization mechanism, QwenLong-CPRS enables multi-granularity context compression guided by natural language instructions, achieving both efficiency gains and improved performance. Evolved from the Qwen architecture series, QwenLong-CPRS introduces four key innovations: (1) Natural language-guided dynamic optimization, (2) Bidirectional reasoning layers for enhanced boundary awareness, (3) Token critic mechanisms with language modeling heads, and (4) Window-parallel inference. Comprehensive evaluations across five benchmarks (4K-2M word contexts) demonstrate QwenLong-CPRS's threefold effectiveness: (1) Consistent superiority over other context management methods like RAG and sparse attention in both accuracy and efficiency. (2) Architecture-agnostic integration with all flagship LLMs, including GPT-4o, Gemini2.0-pro, Claude3.7-sonnet, DeepSeek-v3, and Qwen2.5-max, achieves 21.59times context compression alongside 19.15-point average performance gains; (3) Deployed with Qwen2.5-32B-Instruct, QwenLong-CPRS surpasses leading proprietary LLMs by 4.85 and 10.88 points on Ruler-128K and InfiniteBench, establishing new SOTA performance.