밀도 인식 반동적 압축률 기반 소프트 컨텍스트 압축

초록

소프트 컨텍스트 압축은 긴 컨텍스트를 더 적은 수의 잠재 토큰으로 인코딩하여 LLM의 긴 컨텍스트 처리 계산 부하를 줄입니다. 그러나 기존 프레임워크는 균일한 압축률을 적용하여 자연어 정보 밀도의 극심한 편차를 고려하지 못합니다. 정보 밀도를 인지한 동적 압축률 채택이 직관적으로 보일 수 있으나, 실증 연구에 따르면 모델은 입력에 의존적이고 연속적인 구조적 하이퍼파라미터로 매개변수화된 연산을 본질적으로 처리하는 데 어려움을 겪습니다. 이러한 결함을 해결하기 위해 우리는 세미-동적 컨텍스트 압축 프레임워크를 소개합니다. 우리의 접근 방식은 내재적 정보 밀도를 기반으로 압축 대상을 예측하고 이를 미리 정의된 이산 압축률 세트로 양자화하는 이산 비율 선택기를 특징으로 합니다. 이는 요약 길이를 압축률 예측을 위한 레이블 생성 프록시로 사용하여 합성 데이터에 대해 압축기와 함께 효율적으로 공동 훈련됩니다. 광범위한 평가를 통해 평균 풀링을 백본으로 활용하는 우리의 정보 밀도 인지 프레임워크가 정적 베이스라인을 지속적으로 능가하며 컨텍스트 압축 기술을 위한 강력한 파레토 최적을 확립함을 확인했습니다. 우리의 코드, 데이터 및 모델 가중치는 https://github.com/yuyijiong/semi-dynamic-context-compress에서 확인할 수 있습니다.

English

Soft context compression reduces the computational workload of processing long contexts in LLMs by encoding long context into a smaller number of latent tokens. However, existing frameworks apply uniform compression ratios, failing to account for the extreme variance in natural language information density. While adopting a density-aware dynamic compression ratio seems intuitive, empirical investigations reveal that models struggle intrinsically with operations parameterized by input dependent, continuous structural hyperparameters. To resolve this pitfall, we introduce Semi-Dynamic Context Compression framework. Our approach features a Discrete Ratio Selector, which predicts a compression target based on intrinsic information density and quantizes it to a predefined set of discrete compression ratios. It is efficiently jointly trained with the compressor on synthetic data, with the summary lengths as a proxy to create labels for compression ratio prediction. Extensive evaluations confirm that our density-aware framework, utilizing mean pooling as the backbone, consistently outperforms static baselines, establishing a robust Pareto frontier for context compression techniques. Our code, data and model weights are available at https://github.com/yuyijiong/semi-dynamic-context-compress

밀도 인식 반동적 압축률 기반 소프트 컨텍스트 압축

Density-aware Soft Context Compression with Semi-Dynamic Compression Ratio

초록

Support