読者ではなくモデルを訓練せよ：検証可能な活性化説明のための復号可能性監督

要旨

自然言語オートエンコーダは、隠れ活性化に対する説明を再構成によって評価する。すなわち、ある説明が忠実であるとみなされるのは、その説明から活性化が再生可能な場合である。このテストは、個別の誤った主張に対して構造的に鈍感である。つまり、ある主張を反転させても再構成が変わらない場合、その主張は決してペナルティを受けない。本稿では、このテストが二通りの方法でパスされることを示すが、いずれも忠実ではない。公開されたQwen-2.5-7Bの言語化器では、説明は偶然期待される水準を大きく上回る再構成を示す一方、個別の主張のうち再構成に依存するものは約2%に過ぎない。したがって、スコアは大まかな要旨を追跡しており、具体的な事実を追跡しているわけではない。正確な合成グラウンドトゥルースのもとでは、標準的な手法は5回中5回の実行で共適応的な秘密コード（再構成が依存する誤った言い回し）を発生させ、対象モデルを変更しない修正では改善されない。我々は二つの監査プロトコル（grounded-vs-trueクロスと評価者スワップ）と、RECAP（共訓練補助予測器による読み取り可能な符号化）を提案する。RECAPは対象モデルと並行して訓練される線形ヘッドであり、指定された内容を復号可能に保つ。RECAPで訓練されたサンドボックスモデルでは、新たな言語化器が指定内容を真に示し、秘密コードは消失する（コストは+0.001 nat）。これは事前学習済みのPythia-160Mでも再現される。すなわち、その内容はプローブによって確実に復号可能となるが、新たな言語化器はその一部しか伝達しない（真実度0.44–0.46、対照群はほぼゼロ）。解釈可能性の観点では、高い再構成スコアは個別の主張を保証しない。AI安全性の観点では、RECAPは指定された内部内容を、モデルがごまかせる散文による主張ではなく、プローブに対して独立に検証可能にする。すなわち、独立したプローブが言語化器の真の主張と偽の主張を区別する（AUC 0.96、RECAPなしでは0.82）。説明を改ざんして再構成スコアを最大化しようとする敵対者（嘘をつきながらそのペナルティの約87%を抑制）に対して、RECAPプローブは依然として嘘を検出する（AUC 0.95）一方、対照プローブは偶然レベル（0.51）に低下する。

English

Natural-language autoencoders score explanations of hidden activations by reconstruction: an explanation is deemed faithful if the activation can be regenerated from it. The test is structurally insensitive to individual false claims: if flipping a claim does not change the reconstruction, the claim is never penalized. We show the test is passed in two ways, neither faithful. On a released Qwen-2.5-7B verbalizer, explanations reconstruct well above chance while ~2% of specific claims are reconstruction-dependent, so the score tracks gist, not specific facts. Under exact synthetic ground truth, the standard recipe develops co-adapted private codes (false wording the reconstruction depends on) in 5/5 runs, and fixes that leave the target model unchanged do not help. We contribute two audit protocols, the grounded-vs-true cross and the evaluator swap, and RECAP (Readable Encodings via Co-trained Auxiliary Predictors): linear heads trained alongside the target model to keep designated content decodable. On RECAP-trained sandbox models, fresh verbalizers state the designated content truly and the codes vanish, at a +0.001-nat cost. This replicates on a pretrained Pythia-160M: the content becomes reliably probe-decodable, though a fresh verbalizer conveys it only in part (truth 0.44-0.46 vs a near-zero control). For interpretability, high reconstruction does not certify individual claims. For AI safety, RECAP makes designated internal content independently checkable against probes rather than asserted by prose a model can game: an independent probe scores the verbalizer's true claims above its false ones (AUC 0.96, vs 0.82 without RECAP). Against an adversary that edits an explanation to maximize the reconstruction score while lying (suppressing ~87% of its lie penalty), the RECAP probe still flags the lies (AUC 0.95) while the control probe collapses to chance (0.51).