Comparaison des sondes linéaires avec la similarité cosinus de Mahalanobis

Résumé

Les sondes linéaires sont largement utilisées en recherche sur l’interprétabilité et sont souvent comparées par similarité cosinus. La similarité cosinus de Mahalanobis (SCM) entre deux directions, qui repondère le produit scalaire par la covariance des données de test, constitue un raffinement naturel et adapté à la tâche. Ying et al. (2026) rapportent que la SCM d’une sonde par rapport à une sonde de référence entraînée sur des données hors distribution (OOD) prédit de façon quasi parfaitement linéaire l’AUROC OOD de la sonde (R² = 0,98). Ici, nous étendons ce résultat empirique à travers différents modèles, couches et domaines conceptuels, et nous démontrons ce phénomène général sous forme fermée : pour des classes équilibrées dont les projections sont gaussiennes, l’AUROC OOD et la SCM par rapport à la sonde de référence sont linéaires car toutes deux sont des fonctions sigmoïdes du rapport signal sur bruit (RSB) de la sonde sur les données de test. La théorie prédit également les cas où cette linéarité échoue, ce que nous vérifions empiriquement. La SCM offre une alternative théoriquement fondée et empiriquement efficace à la similarité cosinus euclidienne pour comparer les sondes linéaires.

English

Linear probes are widely used in interpretability research and often compared by cosine similarity. The Mahalanobis cosine similarity (MCS) between two directions, which reweights the inner product by test data covariance, is a natural task-aware refinement. Ying et al. (2026) report that a probe's MCS to a reference probe trained on the out-of-distribution (OOD) data near-perfectly linearly predicts the probe's OOD AUROC (R^2 = 0.98). Here, we extend this empirical finding across models, layers, and concept domains, and prove this general phenomenon in closed form: For balanced classes whose projections are Gaussian, OOD AUROC and MCS to the reference probe are linear because both are sigmoid-shaped functions of the probe's signal-to-noise ratio (SNR) on the test data. The theory also predicts when this linearity fails, which we verify empirically. MCS offers a theoretically grounded and empirically effective alternative to Euclidean cosine similarity for comparing linear probes.