線形プローブとマハラノビス余弦類似度の比較

要旨

線形プローブは解釈可能性研究で広く用いられ、しばしばコサイン類似度によって比較される。二つの方向間のマハラノビス・コサイン類似度（MCS）は、テストデータの共分散で内積を再重み付けするものであり、自然なタスク認識の改良である。Yingら（2026）は、プローブのOOD AUROCが、分布外（OOD）データで学習された参照プローブとのMCSによってほぼ完全に線形予測される（R² = 0.98）と報告している。ここでは、この経験的発見をモデル、層、概念領域にわたって拡張し、この一般的な現象を閉形式で証明する：射影がガウス分布に従うバランスの取れたクラスに対して、OOD AUROCと参照プローブへのMCSは線形関係にある。なぜなら、両者はテストデータ上のプローブの信号対雑音比（SNR）のシグモイド型関数だからである。理論はまた、この線形性が失敗する場合も予測し、それを実験的に検証する。MCSは、線形プローブを比較するためのユークリッド・コサイン類似度に代わる、理論的に根拠があり経験的に有効な選択肢を提供する。

English

Linear probes are widely used in interpretability research and often compared by cosine similarity. The Mahalanobis cosine similarity (MCS) between two directions, which reweights the inner product by test data covariance, is a natural task-aware refinement. Ying et al. (2026) report that a probe's MCS to a reference probe trained on the out-of-distribution (OOD) data near-perfectly linearly predicts the probe's OOD AUROC (R^2 = 0.98). Here, we extend this empirical finding across models, layers, and concept domains, and prove this general phenomenon in closed form: For balanced classes whose projections are Gaussian, OOD AUROC and MCS to the reference probe are linear because both are sigmoid-shaped functions of the probe's signal-to-noise ratio (SNR) on the test data. The theory also predicts when this linearity fails, which we verify empirically. MCS offers a theoretically grounded and empirically effective alternative to Euclidean cosine similarity for comparing linear probes.