Vergleich linearer Sonden mit der Mahalanobis-Kosinus-Ähnlichkeit

Zusammenfassung

Lineare Sonden werden in der Interpretierbarkeitsforschung häufig verwendet und oft mittels Kosinusähnlichkeit verglichen. Die Mahalanobis-Kosinusähnlichkeit (MCS) zwischen zwei Richtungen, die das Skalarprodukt durch die Kovarianz der Testdaten umgewichtet, stellt eine natürliche aufgabenbewusste Verfeinerung dar. Ying et al. (2026) berichten, dass die MCS einer Sonde zu einer Referenzsonde, die auf außerhalb der Verteilung liegenden (out-of-distribution, OOD) Daten trainiert wurde, den OOD-AUROC der Sonde nahezu perfekt linear vorhersagt (R² = 0,98). Hier erweitern wir diesen empirischen Befund auf Modelle, Schichten und Konzeptdomänen und beweisen dieses allgemeine Phänomen in geschlossener Form: Für balancierte Klassen, deren Projektionen gaußsch sind, sind OOD-AUROC und MCS zur Referenzsonde linear, da beide sigmoidförmige Funktionen des Signal-Rausch-Verhältnisses (SNR) der Sonde auf den Testdaten sind. Die Theorie sagt auch voraus, wann diese Linearität versagt, was wir empirisch überprüfen. Die MCS bietet eine theoretisch fundierte und empirisch wirksame Alternative zur euklidischen Kosinusähnlichkeit für den Vergleich linearer Sonden.

English

Linear probes are widely used in interpretability research and often compared by cosine similarity. The Mahalanobis cosine similarity (MCS) between two directions, which reweights the inner product by test data covariance, is a natural task-aware refinement. Ying et al. (2026) report that a probe's MCS to a reference probe trained on the out-of-distribution (OOD) data near-perfectly linearly predicts the probe's OOD AUROC (R^2 = 0.98). Here, we extend this empirical finding across models, layers, and concept domains, and prove this general phenomenon in closed form: For balanced classes whose projections are Gaussian, OOD AUROC and MCS to the reference probe are linear because both are sigmoid-shaped functions of the probe's signal-to-noise ratio (SNR) on the test data. The theory also predicts when this linearity fails, which we verify empirically. MCS offers a theoretically grounded and empirically effective alternative to Euclidean cosine similarity for comparing linear probes.