BEAVER: Бесплатная иерархическая методика сжатия промптов на основе структурированного выбора страниц

BEAVER: A Training-Free Hierarchical Prompt Compression Method via Structure-Aware Page Selection

March 20, 2026

Авторы: Zhengpei Hu, Kai Li, Dapeng Fu, Chang Zeng, Yue Li, Yuanhao Tang, Jianqiang Huang

cs.AI

Аннотация

Экспоненциальное расширение контекстных окон в больших языковых моделях (LLM) открыло возможности для понимания длинных документов, но привело к серьезным проблемам с задержкой вывода и использованием информации. Существующие методы сжатия часто страдают от высоких затрат на обучение или семантической фрагментации из-за агрессивного удаления токенов. В данной статье мы предлагаем BEAVER — новую бесплатную для обучения структуру, которая переносит сжатие с линейного удаления токенов на иерархический отбор с учетом структуры. BEAVER максимизирует аппаратный параллелизм, преобразуя контексты переменной длины в плотные тензоры уровня страниц с помощью двунаправленного пулинга, и сохраняет целостность дискурса через гибридный планировщик, сочетающий семантический и лексический двунаправленный отбор со сглаживанием предложений. Обширные оценки на четырех эталонах длинного контекста показывают, что BEAVER демонстрирует сопоставимую производительность с передовыми методами, такими как LongLLMLingua. Примечательно, что на эталоне RULER BEAVER сохраняет высокую точность при многоигольчатом поиске, где базовые методы ухудшаются. В плане эффективности BEAVER сокращает задержку в 26,4 раза на контекстах длиной 128 тыс. токенов, предлагая масштабируемое решение для высокопроизводительных приложений. Наш код доступен по адресу https://cslikai.cn/BEAVER/.

English

The exponential expansion of context windows in LLMs has unlocked capabilities for long-document understanding but introduced severe bottlenecks in inference latency and information utilization. Existing compression methods often suffer from high training costs or semantic fragmentation due to aggressive token pruning. In this paper, we propose BEAVER, a novel training-free framework that shifts compression from linear token removal to structure-aware hierarchical selection. BEAVER maximizes hardware parallelism by mapping variable-length contexts into dense page-level tensors via dual-path pooling, and preserves discourse integrity through a hybrid planner combining semantic and lexical dual-branch selection with sentence smoothing. Extensive evaluations on four long-context benchmarks demonstrate that BEAVER achieves comparable performance to state-of-the-art (SOTA) methods like LongLLMLingua. Notably, on the RULER benchmark, BEAVER maintains high fidelity in multi-needle retrieval where baselines deteriorate. Regarding efficiency, BEAVER reduces latency by 26.4x on 128k contexts, offering a scalable solution for high-throughput applications. Our code is available at https://cslikai.cn/BEAVER/.