Compresión de Contexto Suave Consciente de la Densidad con Relación de Compresión Semi-Dinámica
Density-aware Soft Context Compression with Semi-Dynamic Compression Ratio
March 26, 2026
Autores: Yijiong Yu, Shuai Yuan, Jie Zheng, Huazheng Wang, Ji Pei
cs.AI
Resumen
La compresión de contexto suave reduce la carga computacional del procesamiento de contextos largos en los LLM codificando el contexto extenso en un número menor de tokens latentes. Sin embargo, los marcos existentes aplican ratios de compresión uniformes, sin tener en cuenta la extrema variación en la densidad de información del lenguaje natural. Si bien adoptar un ratio de compresión dinámico consciente de la densidad parece intuitivo, las investigaciones empíricas revelan que los modelos luchan intrínsecamente con operaciones parametrizadas por hiperparámetros estructurales continuos dependientes de la entrada. Para resolver este inconveniente, presentamos el marco de Compresión de Contexto Semi-Dinámico. Nuestro enfoque incluye un Selector de Ratio Discreto, que predice un objetivo de compresión basado en la densidad de información intrínseca y lo cuantifica en un conjunto predefinido de ratios de compresión discretos. Se entrena de manera eficiente de forma conjunta con el compresor en datos sintéticos, utilizando las longitudes de los resúmenes como proxy para crear etiquetas para la predicción del ratio de compresión. Evaluaciones exhaustivas confirman que nuestro marco consciente de la densidad, que utiliza la agrupación por promedio como columna vertebral, supera consistentemente a los baselines estáticos, estableciendo una frontera de Pareto robusta para las técnicas de compresión de contexto. Nuestro código, datos y pesos del modelo están disponibles en https://github.com/yuyijiong/semi-dynamic-context-compress.
English
Soft context compression reduces the computational workload of processing long contexts in LLMs by encoding long context into a smaller number of latent tokens. However, existing frameworks apply uniform compression ratios, failing to account for the extreme variance in natural language information density. While adopting a density-aware dynamic compression ratio seems intuitive, empirical investigations reveal that models struggle intrinsically with operations parameterized by input dependent, continuous structural hyperparameters. To resolve this pitfall, we introduce Semi-Dynamic Context Compression framework. Our approach features a Discrete Ratio Selector, which predicts a compression target based on intrinsic information density and quantizes it to a predefined set of discrete compression ratios. It is efficiently jointly trained with the compressor on synthetic data, with the summary lengths as a proxy to create labels for compression ratio prediction. Extensive evaluations confirm that our density-aware framework, utilizing mean pooling as the backbone, consistently outperforms static baselines, establishing a robust Pareto frontier for context compression techniques. Our code, data and model weights are available at https://github.com/yuyijiong/semi-dynamic-context-compress