BEAVER: Um Método de Compressão Hierárquica de Prompts sem Treinamento via Seleção de Páginas com Consciência Estrutural
BEAVER: A Training-Free Hierarchical Prompt Compression Method via Structure-Aware Page Selection
March 20, 2026
Autores: Zhengpei Hu, Kai Li, Dapeng Fu, Chang Zeng, Yue Li, Yuanhao Tang, Jianqiang Huang
cs.AI
Resumo
A expansão exponencial das janelas de contexto em LLMs desbloqueou capacidades para a compreensão de documentos longos, mas introduziu graves estrangulamentos na latência de inferência e na utilização da informação. Os métodos de compressão existentes frequentemente sofrem com altos custos de treinamento ou fragmentação semântica devido à poda agressiva de tokens. Neste artigo, propomos o BEAVER, uma nova estrutura *training-free* que desloca a compressão da remoção linear de tokens para uma seleção hierárquica consciente da estrutura. O BEAVER maximiza o paralelismo de hardware mapeando contextos de comprimento variável em tensores densos a nível de página através de *pooling* de duplo caminho, e preserva a integridade do discurso por meio de um planeador híbrido que combina seleção de duplo ramo semântica e lexical com suavização de frases. Avaliações extensas em quatro *benchmarks* de contexto longo demonstram que o BEAVER atua de forma comparável a métodos estado da arte (SOTA) como o LongLLMLingua. Notavelmente, no *benchmark* RULER, o BEAVER mantém alta fidelidade na recuperação de múltiplas agulhas (*multi-needle retrieval*), onde os métodos de base se deterioram. Em termos de eficiência, o BEAVER reduz a latência em 26,4x em contextos de 128k, oferecendo uma solução escalável para aplicações de alto rendimento. O nosso código está disponível em https://cslikai.cn/BEAVER/.
English
The exponential expansion of context windows in LLMs has unlocked capabilities for long-document understanding but introduced severe bottlenecks in inference latency and information utilization. Existing compression methods often suffer from high training costs or semantic fragmentation due to aggressive token pruning. In this paper, we propose BEAVER, a novel training-free framework that shifts compression from linear token removal to structure-aware hierarchical selection. BEAVER maximizes hardware parallelism by mapping variable-length contexts into dense page-level tensors via dual-path pooling, and preserves discourse integrity through a hybrid planner combining semantic and lexical dual-branch selection with sentence smoothing. Extensive evaluations on four long-context benchmarks demonstrate that BEAVER achieves comparable performance to state-of-the-art (SOTA) methods like LongLLMLingua. Notably, on the RULER benchmark, BEAVER maintains high fidelity in multi-needle retrieval where baselines deteriorate. Regarding efficiency, BEAVER reduces latency by 26.4x on 128k contexts, offering a scalable solution for high-throughput applications. Our code is available at https://cslikai.cn/BEAVER/.