BEAVER: 構造を考慮したページ選択による階層的プロンプト圧縮法（学習不要）

要旨

大規模言語モデル（LLM）におけるコンテキストウィンドウの指数的拡大は、長文書理解の能力を解放した一方で、推論遅延と情報利用効率に深刻なボトルネックをもたらしている。既存の圧縮手法は、高い学習コストや、過剰なトークン刈り込みに起因する意味的断片化に悩まされることが多い。本論文では、BEAVERを提案する。これは、圧縮を線形なトークン除去から、構造を考慮した階層的選択へと転換する、学習不要の新規フレームワークである。BEAVERは、可変長コンテキストをデュアルパスプーリングにより密なページレベルテンソルへマッピングすることでハードウェアの並列性を最大化し、意味的・語彙的デュアルブランチ選択と文平滑化を組み合わせたハイブリッドプランナにより談話の一貫性を保持する。4つの長文コンテキストベンチマークによる広範な評価により、BEAVERがLongLLMLinguaのような最先端手法と同等の性能を達成することが実証された。特にRULERベンチマークでは、ベースラインが性能劣化するマルチニードル検索タスクにおいて、BEAVERは高い正確性を維持した。効率性に関して、BEAVERは128kトークンのコンテキストにおいて遅延を26.4倍低減し、高スループット応用に向けたスケーラブルなソリューションを提供する。コードはhttps://cslikai.cn/BEAVER/ で公開されている。

English

The exponential expansion of context windows in LLMs has unlocked capabilities for long-document understanding but introduced severe bottlenecks in inference latency and information utilization. Existing compression methods often suffer from high training costs or semantic fragmentation due to aggressive token pruning. In this paper, we propose BEAVER, a novel training-free framework that shifts compression from linear token removal to structure-aware hierarchical selection. BEAVER maximizes hardware parallelism by mapping variable-length contexts into dense page-level tensors via dual-path pooling, and preserves discourse integrity through a hybrid planner combining semantic and lexical dual-branch selection with sentence smoothing. Extensive evaluations on four long-context benchmarks demonstrate that BEAVER achieves comparable performance to state-of-the-art (SOTA) methods like LongLLMLingua. Notably, on the RULER benchmark, BEAVER maintains high fidelity in multi-needle retrieval where baselines deteriorate. Regarding efficiency, BEAVER reduces latency by 26.4x on 128k contexts, offering a scalable solution for high-throughput applications. Our code is available at https://cslikai.cn/BEAVER/.

BEAVER: 構造を考慮したページ選択による階層的プロンプト圧縮法（学習不要）

BEAVER: A Training-Free Hierarchical Prompt Compression Method via Structure-Aware Page Selection

要旨

Support