LongCodeZip: Komprimierung langer Kontexte für Code-Sprachmodelle

LongCodeZip: Compress Long Context for Code Language Models

October 1, 2025

papers.authors: Yuling Shi, Yichun Qian, Hongyu Zhang, Beijun Shen, Xiaodong Gu

cs.AI

papers.abstract

Die Code-Generierung in langen Kontexten wird zunehmend kritisch, da Large Language Models (LLMs) dazu benötigt werden, über umfangreiche Informationen in der Codebasis zu schlussfolgern. Während jüngste Fortschritte es Code-LLMs ermöglichen, lange Eingaben zu verarbeiten, bleiben hohe API-Kosten und Generierungslatenz erhebliche Engpässe. Bestehende Techniken zur Kontextreduzierung, wie LLMLingua, erzielen vielversprechende Ergebnisse für allgemeinen Text, berücksichtigen jedoch code-spezifische Strukturen und Abhängigkeiten nicht, was zu suboptimaler Leistung bei Programmieraufgaben führt. In diesem Artikel schlagen wir LongCodeZip vor, ein neuartiges Plug-and-Play-Code-Kompressionsframework, das speziell für Code-LLMs entwickelt wurde. LongCodeZip verwendet eine zweistufige Strategie: (1) grobkörnige Kompression, die funktionsbasierte Blöcke mithilfe der bedingten Perplexität in Bezug auf die Anweisung identifiziert und bewertet, wobei nur die relevantesten Funktionen beibehalten werden; und (2) feinkörnige Kompression, die beibehaltene Funktionen basierend auf der Perplexität in Blöcke segmentiert und eine optimale Teilmenge unter einem adaptiven Token-Budget auswählt, um die Relevanz zu maximieren. Bewertungen über mehrere Aufgaben hinweg, einschließlich Code-Vervollständigung, Zusammenfassung und Fragebeantwortung, zeigen, dass LongCodeZip durchweg Baseline-Methoden übertrifft und ein Kompressionsverhältnis von bis zu 5,6x erreicht, ohne die Aufgabenleistung zu beeinträchtigen. Durch die effektive Reduzierung der Kontextgröße bei gleichzeitiger Bewahrung wesentlicher Informationen ermöglicht LongCodeZip LLMs, besser auf reale, groß angelegte Code-Szenarien zu skalieren und so die Effizienz und Fähigkeit von Code-Intelligenz-Anwendungen voranzutreiben.

English

Code generation under long contexts is becoming increasingly critical as Large Language Models (LLMs) are required to reason over extensive information in the codebase. While recent advances enable code LLMs to process long inputs, high API costs and generation latency remain substantial bottlenecks. Existing context pruning techniques, such as LLMLingua, achieve promising results for general text but overlook code-specific structures and dependencies, leading to suboptimal performance in programming tasks. In this paper, we propose LongCodeZip, a novel plug-and-play code compression framework designed specifically for code LLMs. LongCodeZip employs a dual-stage strategy: (1) coarse-grained compression, which identifies and ranks function-level chunks using conditional perplexity with respect to the instruction, retaining only the most relevant functions; and (2) fine-grained compression, which segments retained functions into blocks based on perplexity and selects an optimal subset under an adaptive token budget to maximize relevance. Evaluations across multiple tasks, including code completion, summarization, and question answering, show that LongCodeZip consistently outperforms baseline methods, achieving up to a 5.6x compression ratio without degrading task performance. By effectively reducing context size while preserving essential information, LongCodeZip enables LLMs to better scale to real-world, large-scale code scenarios, advancing the efficiency and capability of code intelligence applications.