関連性はあるが不完全：ハードプロンプト圧縮におけるパラダイムレベルの失敗モードとしての参照の宙吊り

要旨

ハードプロンプト圧縮は、トークン、文、またはチャンクを独立にスコアリングし、予算制約下で最高スコアの単位を保持することにより、長文脈推論コストを削減する。我々はこの手順に構造的欠陥があることを見いだす。すなわち、独立選択は依存関係にある証拠ペアを分割し、一方を保持しながら他方を削除し得る。保持されたテキストが答えを含む一方、削除されたテキストがそれを解釈するために必要なエンティティを定義している場合、その結果を参照の宙吊り（referential dangling）と呼ぶ。圧縮率0.30において、Qwen3-0.6Bの埋め込みを用いて一貫性のあるチャンクをランク付けするBeaverは、3つのマルチホップ質問応答データセットにわたるブリッジ例の34〜54%で回答経路を不完全なままにする。共通のHotpotQAブリッジセットでは、試験した6つのハード圧縮器すべてが最大60%の宙吊り率を示し、LongBench-v2のシングルドキュメントQAにおけるすべての文書には少なくとも1つの宙吊り参照が含まれる。Qwen3-8Bで評価した宙吊り例では、トークン予算を維持するために非支持段落を削除しながら欠落した支持段落を再挿入すると、精度が29〜34ポイント向上し（p < 0.0001）、両方の支持段落を保持する文脈との差の少なくとも88%を回復する。より強力な解答モデルでもこの損失は吸収されない。MuSiQueでは、GPT-5.5は、両方の支持段落を保持する文脈よりも圧縮文脈において精度が8.8ポイント低い。最後に、保持されたテキストの解釈に必要かどうかに基づいて省略された文をランク付けするコンパクトな分類器を訓練し、推論時に支持アノテーションなしで上位の候補を再挿入する。HotpotQA上でQwen3-8Bを用いた場合、この自動復元は圧縮率を0.30から0.31に変えるだけで精度を4.7ポイント向上させる。ハード圧縮器は、関連性と参照の完全性の両方を最適化すべきである。

English

Hard prompt compression reduces long-context inference cost by independently scoring tokens, sentences, or chunks and retaining the highest-scoring units under a budget. We identify a structural failure in this procedure: independent selection can split dependent evidence pairs, retaining one member while deleting the other. When retained text contains an answer but deleted text defines the entity needed to interpret it, we call the result referential dangling. At a compression ratio of 0.30, Beaver, which ranks coherent chunks using Qwen3-0.6B embeddings, leaves the answer path incomplete in 34-54% of bridge examples across three multi-hop question answering datasets. On a shared HotpotQA bridge set, all six hard compressors we test exhibit dangling at rates up to 60%, and every document in LongBench-v2 Single-Document QA contains at least one dangling reference. On dangling examples evaluated with Qwen3-8B, reinserting the missing supporting paragraph while removing nonsupporting paragraphs to maintain the token budget improves accuracy by 29-34 percentage points (p < 0.0001), recovering at least 88% of the gap to contexts retaining both supporting paragraphs. Stronger answer models do not absorb the loss: on MuSiQue, GPT-5.5 is 8.8 points less accurate on compressed contexts than on contexts retaining both supporting paragraphs. Finally, we train a compact classifier to rank omitted sentences by whether they are needed to interpret retained text and reinsert the top-ranked candidates without support annotations at inference. On HotpotQA with Qwen3-8B, this automatic restoration improves accuracy by 4.7 points while changing the compression ratio only from 0.30 to 0.31. Hard compressors should optimize both relevance and referential completeness.