BEAVER: Un metodo di compressione gerarchico dei prompt senza addestramento basato sulla selezione di pagine consapevole della struttura
BEAVER: A Training-Free Hierarchical Prompt Compression Method via Structure-Aware Page Selection
March 20, 2026
Autori: Zhengpei Hu, Kai Li, Dapeng Fu, Chang Zeng, Yue Li, Yuanhao Tang, Jianqiang Huang
cs.AI
Abstract
L'espansione esponenziale delle finestre contestuali negli LLM ha sbloccato capacità di comprensione di documenti lunghi, ma ha introdotto severi colli di bottiglia nella latenza di inferenza e nell'utilizzo delle informazioni. I metodi di compressione esistenti spesso soffrono di elevati costi di addestramento o di frammentazione semantica a causa di una potatura aggressiva dei token. In questo articolo, proponiamo BEAVER, un nuovo framework senza addestramento che sposta la compressione dalla rimozione lineare dei token a una selezione gerarchica consapevole della struttura. BEAVER massimizza il parallelismo hardware mappando contesti a lunghezza variabile in tensori densi a livello di pagina tramite pooling a doppio percorso e preserva l'integrità del discorso attraverso un pianificatore ibrido che combina una selezione a doppio ramo semantico e lessicale con un livellamento delle frasi. Valutazioni estese su quattro benchmark a contesto lungo dimostrano che BEAVER raggiunge prestazioni comparabili a metodi all'avanguardia (SOTA) come LongLLMLingua. In particolare, sul benchmark RULER, BEAVER mantiene un'alta fedeltà nel recupero multi-ago, dove i metodi baseline si deteriorano. In termini di efficienza, BEAVER riduce la latenza di 26,4 volte su contesti di 128k, offrendo una soluzione scalabile per applicazioni ad alto throughput. Il nostro codice è disponibile all'indirizzo https://cslikai.cn/BEAVER/.
English
The exponential expansion of context windows in LLMs has unlocked capabilities for long-document understanding but introduced severe bottlenecks in inference latency and information utilization. Existing compression methods often suffer from high training costs or semantic fragmentation due to aggressive token pruning. In this paper, we propose BEAVER, a novel training-free framework that shifts compression from linear token removal to structure-aware hierarchical selection. BEAVER maximizes hardware parallelism by mapping variable-length contexts into dense page-level tensors via dual-path pooling, and preserves discourse integrity through a hybrid planner combining semantic and lexical dual-branch selection with sentence smoothing. Extensive evaluations on four long-context benchmarks demonstrate that BEAVER achieves comparable performance to state-of-the-art (SOTA) methods like LongLLMLingua. Notably, on the RULER benchmark, BEAVER maintains high fidelity in multi-needle retrieval where baselines deteriorate. Regarding efficiency, BEAVER reduces latency by 26.4x on 128k contexts, offering a scalable solution for high-throughput applications. Our code is available at https://cslikai.cn/BEAVER/.