LongCodeZip : Compression de contexte long pour les modèles de langage de code

LongCodeZip: Compress Long Context for Code Language Models

October 1, 2025

papers.authors: Yuling Shi, Yichun Qian, Hongyu Zhang, Beijun Shen, Xiaodong Gu

cs.AI

papers.abstract

La génération de code dans des contextes longs devient de plus en plus cruciale alors que les modèles de langage de grande taille (LLMs) doivent raisonner sur des informations étendues dans la base de code. Bien que les avancées récentes permettent aux LLMs de code de traiter des entrées longues, les coûts élevés des API et la latence de génération restent des goulots d'étranglement majeurs. Les techniques existantes d'élagage de contexte, comme LLMLingua, obtiennent des résultats prometteurs pour le texte général mais négligent les structures et dépendances spécifiques au code, conduisant à des performances sous-optimales dans les tâches de programmation. Dans cet article, nous proposons LongCodeZip, un nouveau framework de compression de code plug-and-play conçu spécifiquement pour les LLMs de code. LongCodeZip utilise une stratégie en deux étapes : (1) une compression grossière, qui identifie et classe les morceaux au niveau des fonctions en utilisant la perplexité conditionnelle par rapport à l'instruction, ne conservant que les fonctions les plus pertinentes ; et (2) une compression fine, qui segmente les fonctions conservées en blocs basés sur la perplexité et sélectionne un sous-ensemble optimal sous un budget de jetons adaptatif pour maximiser la pertinence. Les évaluations sur plusieurs tâches, y compris la complétion de code, la synthèse et la réponse à des questions, montrent que LongCodeZip surpasse systématiquement les méthodes de référence, atteignant un taux de compression allant jusqu'à 5,6x sans dégrader les performances des tâches. En réduisant efficacement la taille du contexte tout en préservant les informations essentielles, LongCodeZip permet aux LLMs de mieux s'adapter aux scénarios de code à grande échelle du monde réel, améliorant ainsi l'efficacité et les capacités des applications d'intelligence de code.

English

Code generation under long contexts is becoming increasingly critical as Large Language Models (LLMs) are required to reason over extensive information in the codebase. While recent advances enable code LLMs to process long inputs, high API costs and generation latency remain substantial bottlenecks. Existing context pruning techniques, such as LLMLingua, achieve promising results for general text but overlook code-specific structures and dependencies, leading to suboptimal performance in programming tasks. In this paper, we propose LongCodeZip, a novel plug-and-play code compression framework designed specifically for code LLMs. LongCodeZip employs a dual-stage strategy: (1) coarse-grained compression, which identifies and ranks function-level chunks using conditional perplexity with respect to the instruction, retaining only the most relevant functions; and (2) fine-grained compression, which segments retained functions into blocks based on perplexity and selects an optimal subset under an adaptive token budget to maximize relevance. Evaluations across multiple tasks, including code completion, summarization, and question answering, show that LongCodeZip consistently outperforms baseline methods, achieving up to a 5.6x compression ratio without degrading task performance. By effectively reducing context size while preserving essential information, LongCodeZip enables LLMs to better scale to real-world, large-scale code scenarios, advancing the efficiency and capability of code intelligence applications.