Dichteabhängige Soft-Kontextkompression mit semi-dynamischem Kompressionsverhältnis
Density-aware Soft Context Compression with Semi-Dynamic Compression Ratio
March 26, 2026
Autoren: Yijiong Yu, Shuai Yuan, Jie Zheng, Huazheng Wang, Ji Pei
cs.AI
Zusammenfassung
Soft Context Compression reduziert den Rechenaufwand bei der Verarbeitung langer Kontexte in LLMs, indem lange Kontexte in eine geringere Anzahl latenter Tokens kodiert werden. Bisherige Frameworks wenden jedoch einheitliche Kompressionsverhältnisse an und berücksichtigen nicht die extreme Varianz der Informationsdichte in natürlicher Sprache. Obwohl ein dichteabhängiges dynamisches Kompressionsverhältnis intuitiv erscheint, zeigen empirische Untersuchungen, dass Modelle intrinsisch Schwierigkeiten mit Operationen haben, die durch eingabeabhängige, kontinuierliche strukturelle Hyperparameter parametrisiert werden. Um dieses Problem zu lösen, führen wir das Semi-Dynamic Context Compression Framework ein. Unser Ansatz verfügt über einen Discrete Ratio Selector, der ein Kompressionsziel basierend auf der intrinsischen Informationsdichte vorhersagt und es auf eine vordefinierte Menge diskreter Kompressionsverhältnisse quantisiert. Dieser wird effizient gemeinsam mit dem Kompressor auf synthetischen Daten trainiert, wobei die Zusammenfassungslängen als Stellvertreter für die Erstellung von Labels für die Kompressionsverhältnisvorhersage dienen. Umfangreiche Auswertungen bestätigen, dass unser dichteabhängiges Framework mit Mean Pooling als Backbone statische Baseline-Methoden konsistent übertrifft und eine robuste Pareto-Front für Kontextkomprimierungstechniken etabliert. Unser Code, Daten und Modellgewichte sind verfügbar unter https://github.com/yuyijiong/semi-dynamic-context-compress.
English
Soft context compression reduces the computational workload of processing long contexts in LLMs by encoding long context into a smaller number of latent tokens. However, existing frameworks apply uniform compression ratios, failing to account for the extreme variance in natural language information density. While adopting a density-aware dynamic compression ratio seems intuitive, empirical investigations reveal that models struggle intrinsically with operations parameterized by input dependent, continuous structural hyperparameters. To resolve this pitfall, we introduce Semi-Dynamic Context Compression framework. Our approach features a Discrete Ratio Selector, which predicts a compression target based on intrinsic information density and quantizes it to a predefined set of discrete compression ratios. It is efficiently jointly trained with the compressor on synthetic data, with the summary lengths as a proxy to create labels for compression ratio prediction. Extensive evaluations confirm that our density-aware framework, utilizing mean pooling as the backbone, consistently outperforms static baselines, establishing a robust Pareto frontier for context compression techniques. Our code, data and model weights are available at https://github.com/yuyijiong/semi-dynamic-context-compress