Comparación de Sondas Lineales con la Similitud del Coseno de Mahalanobis

Resumen

Las sondas lineales se utilizan ampliamente en la investigación en interpretabilidad y a menudo se comparan mediante la similitud coseno. La similitud coseno de Mahalanobis (MCS) entre dos direcciones, que repondera el producto interno con la covarianza de los datos de prueba, constituye un refinamiento natural y consciente de la tarea. Ying et al. (2026) reportan que la MCS de una sonda con respecto a una sonda de referencia entrenada con datos fuera de distribución (OOD) predice de manera casi perfectamente lineal el AUROC OOD de la sonda (R² = 0,98). Aquí extendemos este hallazgo empírico a través de modelos, capas y dominios conceptuales, y demostramos este fenómeno general en forma cerrada: para clases balanceadas cuyas proyecciones son gaussianas, el AUROC OOD y la MCS con respecto a la sonda de referencia son lineales porque ambos son funciones sigmoideas de la relación señal-ruido (SNR) de la sonda sobre los datos de prueba. La teoría también predice cuándo esta linealidad falla, lo cual verificamos empíricamente. La MCS ofrece una alternativa fundamentalmente teórica y empíricamente eficaz a la similitud coseno euclidiana para comparar sondas lineales.

English

Linear probes are widely used in interpretability research and often compared by cosine similarity. The Mahalanobis cosine similarity (MCS) between two directions, which reweights the inner product by test data covariance, is a natural task-aware refinement. Ying et al. (2026) report that a probe's MCS to a reference probe trained on the out-of-distribution (OOD) data near-perfectly linearly predicts the probe's OOD AUROC (R^2 = 0.98). Here, we extend this empirical finding across models, layers, and concept domains, and prove this general phenomenon in closed form: For balanced classes whose projections are Gaussian, OOD AUROC and MCS to the reference probe are linear because both are sigmoid-shaped functions of the probe's signal-to-noise ratio (SNR) on the test data. The theory also predicts when this linearity fails, which we verify empirically. MCS offers a theoretically grounded and empirically effective alternative to Euclidean cosine similarity for comparing linear probes.