Comparação entre Sondas Lineares e Similaridade do Cosseno de Mahalanobis

Resumo

Sondas lineares são amplamente utilizadas em pesquisas de interpretabilidade e frequentemente comparadas pela similaridade de cosseno. A similaridade de cosseno de Mahalanobis (MCS) entre duas direções, que repondera o produto interno pela covariância dos dados de teste, é um refinamento natural consciente da tarefa. Ying et al. (2026) relatam que a MCS de uma sonda em relação a uma sonda de referência treinada nos dados fora da distribuição (OOD) prediz de forma quase perfeitamente linear a AUROC OOD da sonda (R² = 0,98). Aqui, estendemos essa descoberta empírica entre modelos, camadas e domínios conceituais, e provamos esse fenômeno geral de forma fechada: para classes balanceadas cujas projeções são Gaussianas, a AUROC OOD e a MCS em relação à sonda de referência são lineares porque ambas são funções em forma de sigmoide da relação sinal-ruído (SNR) da sonda nos dados de teste. A teoria também prevê quando essa linearidade falha, o que verificamos empiricamente. A MCS oferece uma alternativa teoricamente fundamentada e empiricamente eficaz à similaridade de cosseno euclidiana para comparar sondas lineares.

English

Linear probes are widely used in interpretability research and often compared by cosine similarity. The Mahalanobis cosine similarity (MCS) between two directions, which reweights the inner product by test data covariance, is a natural task-aware refinement. Ying et al. (2026) report that a probe's MCS to a reference probe trained on the out-of-distribution (OOD) data near-perfectly linearly predicts the probe's OOD AUROC (R^2 = 0.98). Here, we extend this empirical finding across models, layers, and concept domains, and prove this general phenomenon in closed form: For balanced classes whose projections are Gaussian, OOD AUROC and MCS to the reference probe are linear because both are sigmoid-shaped functions of the probe's signal-to-noise ratio (SNR) on the test data. The theory also predicts when this linearity fails, which we verify empirically. MCS offers a theoretically grounded and empirically effective alternative to Euclidean cosine similarity for comparing linear probes.