LatentPress: 텍스트와 비전을 넘어선 컨텍스트 압축

LatentPress: Context Compression Beyond Text and Vision

September 1, 2026

저자: Zhengze Zhou, Hejian Sang

cs.AI

초록

압축된 컨텍스트는 일반적으로 사람이 읽을 수 있는 텍스트 또는 디코딩이 필요한 렌더링 이미지로 전달되며, 이는 컨텍스트의 소비자가 언어 모델인 경우에도 마찬가지이다. 우리는 LatentPress를 제안한다. LatentPress는 대화 이력과 긴 문서를 텍스트와 이미지에 이은 제3의 표현 방식인 연속 메모리 토큰으로 기록하며, 동결된 디코더가 입력 임베딩 인터페이스를 통해 이를 직접 읽으므로 추론 시 텍스트 재구성이 필요 없다. 리더에 정합된 소규모 작성기는 디코더 매개변수의 약 0.1%에 해당하는 어댑터(4.2M-26.2M 매개변수)만 학습하면서 4-16배 압축을 수행한다. LongMemEval에서 LatentPress는 7.70배 압축 시 정확도 0.504를 달성하여 비압축 증거의 0.490을 능가하며, 텍스트 요약(0.184) 및 OCR 기반 압축(0.426~0.312)보다 우수하다. LongBench-QA에서는 도메인 내 작성기가 4-8배 압축에서 원문 컨텍스트 읽기와 동등하거나 이를 초과하는 성능을 보이나, 16배 압축에서는 원문에 뒤처진다. 작성은 대화당 43ms가 소요되어 텍스트 요약이나 OCR 재구성보다 약 10배 빠르며, 읽기는 원문 컨텍스트나 캐시된 OCR보다 5-9배 빠르다. 우리는 UltraChat에서 LongMemEval 메모리 QA로의 제로샷 전이 및 LongMemEval 파생 QA에서 보지 못한 LongBench 문서 도메인으로의 전이라는 두 가지 전이 설정에서 해당 인터페이스를 검증하여, 직접적인 소프트 토큰이 텍스트와 비전을 넘어선 실용적인 기계 지향 컨텍스트 인터페이스임을 입증한다. 실험 구현은 https://github.com/xuyd16ai/context_softtoken_compress 에서 확인할 수 있다.

English

Compressed context is usually carried as human-readable text or as rendered images that must be decoded, even when its consumer is a language model. We introduce LatentPress, which writes conversational histories and long documents into a third representation: continuous memory tokens that a frozen decoder reads directly through its input-embedding interface, with no text reconstruction at inference. A small reader-matched writer compresses 4-16times while training only an adapter (4.2M-26.2M parameters, sim!0.1% of the decoder). On LongMemEval, LatentPress reaches 0.504 accuracy at 7.70times compression versus 0.490 for uncompressed evidence, outperforming text summaries (0.184) and OCR-based compression (0.426 to 0.312). On LongBench-QA, in-domain writers match or exceed raw-context reading at 4-8times compression, while 16times trails raw. Writing takes 43ms per conversation, roughly an order of magnitude faster than text summarization or OCR reconstruction, and reading is 5-9times faster than raw context or cached OCR. We validate the interface under two transfer settings, zero-shot from UltraChat to LongMemEval memory QA and from LongMemEval-derived QA to unseen LongBench document domains, establishing direct soft tokens as a practical machine-facing context interface beyond text and vision. The implementation of the experiments could be found at: https://github.com/xuyd16ai/context_softtoken_compress .