LongCodeZip: Compresión de Contexto Largo para Modelos de Lenguaje de Código

LongCodeZip: Compress Long Context for Code Language Models

October 1, 2025

Autores: Yuling Shi, Yichun Qian, Hongyu Zhang, Beijun Shen, Xiaodong Gu

cs.AI

Resumen

La generación de código en contextos extensos se está volviendo cada vez más crucial, ya que los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) deben razonar sobre grandes volúmenes de información en las bases de código. Aunque los avances recientes permiten a los LLMs de código procesar entradas largas, los altos costos de API y la latencia en la generación siguen siendo cuellos de botella significativos. Las técnicas existentes de poda de contexto, como LLMLingua, logran resultados prometedores para texto general, pero pasan por alto las estructuras y dependencias específicas del código, lo que lleva a un rendimiento subóptimo en tareas de programación. En este artículo, proponemos LongCodeZip, un novedoso marco de compresión de código plug-and-play diseñado específicamente para LLMs de código. LongCodeZip emplea una estrategia de dos etapas: (1) compresión de grano grueso, que identifica y clasifica fragmentos a nivel de función utilizando la perplejidad condicional respecto a la instrucción, conservando solo las funciones más relevantes; y (2) compresión de grano fino, que segmenta las funciones retenidas en bloques basados en la perplejidad y selecciona un subconjunto óptimo bajo un presupuesto de tokens adaptativo para maximizar la relevancia. Las evaluaciones en múltiples tareas, incluyendo completado de código, resumen y respuesta a preguntas, muestran que LongCodeZip supera consistentemente a los métodos base, logrando una relación de compresión de hasta 5.6x sin degradar el rendimiento de la tarea. Al reducir efectivamente el tamaño del contexto mientras preserva la información esencial, LongCodeZip permite a los LLMs escalar mejor a escenarios de código del mundo real y a gran escala, avanzando en la eficiencia y capacidad de las aplicaciones de inteligencia de código.

English

Code generation under long contexts is becoming increasingly critical as Large Language Models (LLMs) are required to reason over extensive information in the codebase. While recent advances enable code LLMs to process long inputs, high API costs and generation latency remain substantial bottlenecks. Existing context pruning techniques, such as LLMLingua, achieve promising results for general text but overlook code-specific structures and dependencies, leading to suboptimal performance in programming tasks. In this paper, we propose LongCodeZip, a novel plug-and-play code compression framework designed specifically for code LLMs. LongCodeZip employs a dual-stage strategy: (1) coarse-grained compression, which identifies and ranks function-level chunks using conditional perplexity with respect to the instruction, retaining only the most relevant functions; and (2) fine-grained compression, which segments retained functions into blocks based on perplexity and selects an optimal subset under an adaptive token budget to maximize relevance. Evaluations across multiple tasks, including code completion, summarization, and question answering, show that LongCodeZip consistently outperforms baseline methods, achieving up to a 5.6x compression ratio without degrading task performance. By effectively reducing context size while preserving essential information, LongCodeZip enables LLMs to better scale to real-world, large-scale code scenarios, advancing the efficiency and capability of code intelligence applications.