모델을 훈련하라, 독자를 훈련하지 말라: 검증 가능한 활성화 설명을 위한 디코딩 가능성 감독

초록

자연어 오토인코더는 재구성(reconstruction)을 통해 은닉 활성화에 대한 설명을 평가한다. 활성화가 설명으로부터 재생성될 수 있으면 그 설명은 충실한 것으로 간주된다. 이 검사는 개별적인 거짓 주장에 대해 구조적으로 둔감하다. 즉, 주장을 뒤집어도 재구성이 변하지 않으면 그 주장은 결코 불이익을 받지 않는다. 우리는 이 검사가 두 가지 방식으로 통과되지만, 어느 것도 충실하지 않음을 보인다. 공개된 Qwen-2.5-7B 버발라이저에서 설명은 우연 수준보다 훨씬 높은 재구성 점수를 보이지만, 특정 주장의 약 2%만이 재구성에 의존적이다. 따라서 점수는 구체적인 사실이 아닌 요지를 추적한다. 정확한 합성 실제값(synthetic ground truth) 하에서, 표준 방법은 5번의 실행 모두에서 공동 적응 비밀 코드(재구성이 의존하는 거짓 표현)를 개발하며, 대상 모델을 변경하지 않는 수정은 도움이 되지 않는다. 우리는 두 가지 감사 프로토콜, 즉 근거-대-진실 교차(the grounded-vs-true cross)와 평가자 교체(the evaluator swap), 그리고 RECAP(Readable Encodings via Co-trained Auxiliary Predictors)을 제안한다. RECAP은 대상 모델과 함께 학습된 선형 헤드로, 지정된 내용을 디코딩 가능하게 유지한다. RECAP으로 학습된 샌드박스 모델에서, 새로운 버발라이저는 지정된 내용을 진실하게 진술하며 코드는 사라지고, 그 비용은 +0.001 nat이다. 이는 사전 학습된 Pythia-160M에서도 재현된다. 내용이 신뢰할 수 있게 프로브로 디코딩 가능해지지만, 새로운 버발라이저는 그 내용을 부분적으로만 전달한다(진실도 0.44-0.46 대 거의 0에 가까운 대조군). 해석 가능성 측면에서, 높은 재구성은 개별 주장을 보증하지 않는다. AI 안전성 측면에서, RECAP은 지정된 내부 내용을 모델이 조작할 수 있는 문장으로 주장하는 대신 프로브를 통해 독립적으로 확인 가능하게 만든다. 독립적인 프로브는 버발라이저의 참 주장을 거짓 주장보다 높게 점수 매긴다(AUC 0.96, RECAP 없으면 0.82). 재구성 점수를 최대화하기 위해 설명을 편집하면서 거짓말을 하는(거짓말 페널티의 약 87%를 억제) 적대자에 대해, RECAP 프로브는 여전히 거짓말을 식별하지만(AUC 0.95), 대조군 프로브는 우연 수준(0.51)으로 무력화된다.

English

Natural-language autoencoders score explanations of hidden activations by reconstruction: an explanation is deemed faithful if the activation can be regenerated from it. The test is structurally insensitive to individual false claims: if flipping a claim does not change the reconstruction, the claim is never penalized. We show the test is passed in two ways, neither faithful. On a released Qwen-2.5-7B verbalizer, explanations reconstruct well above chance while ~2% of specific claims are reconstruction-dependent, so the score tracks gist, not specific facts. Under exact synthetic ground truth, the standard recipe develops co-adapted private codes (false wording the reconstruction depends on) in 5/5 runs, and fixes that leave the target model unchanged do not help. We contribute two audit protocols, the grounded-vs-true cross and the evaluator swap, and RECAP (Readable Encodings via Co-trained Auxiliary Predictors): linear heads trained alongside the target model to keep designated content decodable. On RECAP-trained sandbox models, fresh verbalizers state the designated content truly and the codes vanish, at a +0.001-nat cost. This replicates on a pretrained Pythia-160M: the content becomes reliably probe-decodable, though a fresh verbalizer conveys it only in part (truth 0.44-0.46 vs a near-zero control). For interpretability, high reconstruction does not certify individual claims. For AI safety, RECAP makes designated internal content independently checkable against probes rather than asserted by prose a model can game: an independent probe scores the verbalizer's true claims above its false ones (AUC 0.96, vs 0.82 without RECAP). Against an adversary that edits an explanation to maximize the reconstruction score while lying (suppressing ~87% of its lie penalty), the RECAP probe still flags the lies (AUC 0.95) while the control probe collapses to chance (0.51).