BEAVER: Eine trainingsfreie hierarchische Prompt-Komprimierungsmethode durch strukturierte Seitenauswahl

BEAVER: A Training-Free Hierarchical Prompt Compression Method via Structure-Aware Page Selection

March 20, 2026

Autoren: Zhengpei Hu, Kai Li, Dapeng Fu, Chang Zeng, Yue Li, Yuanhao Tang, Jianqiang Huang

cs.AI

Zusammenfassung

Die exponentielle Erweiterung der Kontextfenster von LLMs hat zwar Fähigkeiten zum Verständnis langer Dokumente freigesetzt, aber gleichzeitig erhebliche Engpässe bei der Inferenzlatenz und Informationsnutzung verursacht. Bestehende Komprimierungsmethoden leiden häufig unter hohen Trainingskosten oder semantischer Fragmentierung aufgrund aggressiver Token-Reduzierung. In diesem Beitrag stellen wir BEAVER vor, ein neuartiges, trainingsfreies Framework, das die Komprimierung von linearer Token-Entfernung auf strukturbewusste hierarchische Selektion verlagert. BEAVER maximiert die Hardware-Parallelität, indem variable Kontextlängen über duale Pfad-Pooling in dichte, seitenbasierte Tensoren abgebildet werden, und bewahrt die Diskursintegrität durch einen hybriden Planer, der semantische und lexikalische Zweigauswahl mit Satzglättung kombiniert. Umfangreiche Auswertungen auf vier Langkontext-Benchmarks zeigen, dass BEAVER eine vergleichbare Leistung zu state-of-the-art Methoden wie LongLLMLingua erzielt. Besonders hervorzuheben ist, dass BEAVER im RULER-Benchmark eine hohe Treue bei Multi-Needle-Retrieval beibehält, während Baseline-Methoden abbauen. In Bezug auf Effizienz reduziert BEAVER die Latenz bei 128k Kontexten um den Faktor 26,4 und bietet damit eine skalierbare Lösung für hochdurchsatzorientierte Anwendungen. Unser Code ist verfügbar unter https://cslikai.cn/BEAVER/.

English

The exponential expansion of context windows in LLMs has unlocked capabilities for long-document understanding but introduced severe bottlenecks in inference latency and information utilization. Existing compression methods often suffer from high training costs or semantic fragmentation due to aggressive token pruning. In this paper, we propose BEAVER, a novel training-free framework that shifts compression from linear token removal to structure-aware hierarchical selection. BEAVER maximizes hardware parallelism by mapping variable-length contexts into dense page-level tensors via dual-path pooling, and preserves discourse integrity through a hybrid planner combining semantic and lexical dual-branch selection with sentence smoothing. Extensive evaluations on four long-context benchmarks demonstrate that BEAVER achieves comparable performance to state-of-the-art (SOTA) methods like LongLLMLingua. Notably, on the RULER benchmark, BEAVER maintains high fidelity in multi-needle retrieval where baselines deteriorate. Regarding efficiency, BEAVER reduces latency by 26.4x on 128k contexts, offering a scalable solution for high-throughput applications. Our code is available at https://cslikai.cn/BEAVER/.