LatentPress：テキストとビジョンを超えたコンテキスト圧縮

LatentPress: Context Compression Beyond Text and Vision

September 1, 2026

著者: Zhengze Zhou, Hejian Sang

cs.AI

要旨

圧縮されたコンテキストは、その消費先が言語モデルであっても、通常は人間可読なテキストや、デコードを必要とするレンダリング画像として運ばれる。我々はLatentPressを提案する。これは会話履歴や長文ドキュメントを第3の表現、すなわち連続メモリトークンとして書き込むものであり、凍結されたデコーダは入力埋め込みインターフェースを介してそれを直接読み取り、推論時にテキスト再構築を必要としない。読み手に適合する小型ライターは、アダプタのみを訓練することで（4.2M〜26.2Mパラメータ、デコーダの約0.1%）、4〜16倍の圧縮を行う。LongMemEvalでは、LatentPressは7.70倍の圧縮時に精度0.504を達成し、未圧縮のエビデンスの0.490を上回った。これはテキスト要約（0.184）やOCRベースの圧縮（0.426〜0.312）も凌駕する結果である。LongBench-QAでは、ドメイン内ライターは4〜8倍の圧縮時には生コンテキストの読み取りと同等以上となり、16倍では生コンテキストに及ばない。書き込みは会話1件あたり43msであり、テキスト要約やOCR再構築より約1桁高速である。また読み取りは、生コンテキストやキャッシュ済みOCRより5〜9倍高速である。我々はこのインターフェースを2つの転移設定、すなわちUltraChatからLongMemEvalのメモリ型QAへのゼロショット転移と、LongMemEval由来のQAから未見のLongBench文書ドメインへの転移において検証し、直接的なソフトトークンがテキストやビジョンを超えた実用的な機械向けコンテキストインターフェースとなることを確立する。実験の実装は https://github.com/xuyd16ai/context_softtoken_compress で入手できる。

English

Compressed context is usually carried as human-readable text or as rendered images that must be decoded, even when its consumer is a language model. We introduce LatentPress, which writes conversational histories and long documents into a third representation: continuous memory tokens that a frozen decoder reads directly through its input-embedding interface, with no text reconstruction at inference. A small reader-matched writer compresses 4-16times while training only an adapter (4.2M-26.2M parameters, sim!0.1% of the decoder). On LongMemEval, LatentPress reaches 0.504 accuracy at 7.70times compression versus 0.490 for uncompressed evidence, outperforming text summaries (0.184) and OCR-based compression (0.426 to 0.312). On LongBench-QA, in-domain writers match or exceed raw-context reading at 4-8times compression, while 16times trails raw. Writing takes 43ms per conversation, roughly an order of magnitude faster than text summarization or OCR reconstruction, and reading is 5-9times faster than raw context or cached OCR. We validate the interface under two transfer settings, zero-shot from UltraChat to LongMemEval memory QA and from LongMemEval-derived QA to unseen LongBench document domains, establishing direct soft tokens as a practical machine-facing context interface beyond text and vision. The implementation of the experiments could be found at: https://github.com/xuyd16ai/context_softtoken_compress .