圧縮に迷う：抽出型プロンプト圧縮器の統制された言語横断的監査

要旨

抽出型プロンプト圧縮は、情報量の少ないトークンを除去することでLLM推論コストを削減できると期待されている。LLMLingua-2のような学習型圧縮器は、英語ベンチマークで強い成果を報告している。しかし、他のほとんどの言語はすでにトークン割増を支払っている。同じ内容でも英語と比べて1.3〜1.8倍のトークンが必要になるのである。本研究では、圧縮がこの格差を縮めるのか、それとも拡大するのかを問う。5種の文字体系にまたがる10言語の完全並列データを用い、対象モデルのトークナイザで予算を一致させた統制条件下で、4つの学習型圧縮器を4つの決定的ベースラインに対して監査する。対象モデルは10ベンダーの11モデルであり、評価呼び出しは25万回を超える。圧縮器のうち3つは英語教師あり学習で訓練されている（LLMLingua-2 XLM-R/mBERT、本番運用Headroomスタック由来のKompress-v2）。4つ目のXProvenceは多言語学習である。第一に、転移ギャップは実在し、対象モデルと圧縮器バックボーンをまたいで再現され、圧縮率に強く依存する。keep-rate 0.33では、英語は正規化された文脈利用度の57〜62%を維持するのに対し、リトアニア語は10〜24%、中国語はほぼゼロとなる。中国語はトークン割増が最も小さいにもかかわらずである。第二に、このギャップはアーキテクチャではなく圧縮教師データに起因する。英語訓練された3つの圧縮器すべてにギャップが見られ、決定的手法には同等のギャップはなく、多言語訓練されたXProvence v1にも見られない。翻訳データで再訓練されたv2リリースは、攻撃的な閾値で中国語の文脈の92%を警告なしに空にする。第三に、より困難な長文脈設定では、攻撃的な学習型圧縮により、5つの非英語言語のうち3言語で圧縮文脈が文脈なし利用度以下にまで低下する。翻訳してから圧縮するパイプラインは、テストした5言語中3言語で、ネイティブ圧縮に匹敵またはそれを上回りながら、トークンコストはおよそ半分である。我々は全コード、圧縮結果、モデル出力を公開する。安全な圧縮予算は英語圏外でははるかに小さい。

English

Extractive prompt compression promises to cut LLM inference costs by removing low-information tokens, and learned compressors such as LLMLingua-2 report strong results on English benchmarks. Most other languages already pay a token premium: the same content costs 1.3-1.8x more tokens than in English. We ask whether compression closes or widens this gap. Using fully parallel data in ten languages spanning five scripts, with controls budget-matched in the target model's tokenizer, we audit four learned compressors against four deterministic baselines, on eleven target models from ten vendors (over 250,000 evaluation calls). Three of the compressors are trained with English supervision (LLMLingua-2 XLM-R/mBERT; Kompress-v2 from the production Headroom stack); the fourth, XProvence, is trained multilingually. First, the transfer gap is real, replicates across target models and compressor backbones, and is strongly rate-dependent: at a 0.33 keep-rate English retains 57-62% of normalized context utilization while Lithuanian retains 10-24% and Chinese essentially none, despite Chinese having the smallest token premium. Second, the gap tracks compression supervision data, not architecture. All three English-trained compressors show it, deterministic methods show no comparable gap, and the multilingually trained XProvence v1 shows none. Its v2 release, retrained on translated data, empties 92% of Chinese contexts at its aggressive threshold without any warning. Third, in a harder long-context setting, aggressive learned compression drives compressed contexts to or below no-context utility in three of five non-English languages. A translate-then-compress pipeline matches or beats native compression at roughly half the token cost in three of five tested languages. We release all code, compressions, and model outputs. Safe compression budgets are much smaller outside English.