Сравнение линейных зондов и косинусного сходства Махаланобиса

Аннотация

Линейные зонды широко используются в исследованиях интерпретируемости и часто сравниваются с помощью косинусного сходства. Косинусное сходство Махаланобиса (MCS) между двумя направлениями, которое перевзвешивает скалярное произведение по ковариации тестовых данных, является естественным уточнением, учитывающим специфику задачи. Йинг и др. (2026) сообщают, что MCS зонда с эталонным зондом, обученным на данных, не принадлежащих распределению (OOD), почти идеально линейно предсказывает OOD AUROC зонда (R² = 0,98). В данной работе мы расширяем это эмпирическое наблюдение на различные модели, слои и концептуальные области, а также доказываем данное общее явление в замкнутой форме: для сбалансированных классов, проекции которых являются гауссовскими, OOD AUROC и MCS с эталонным зондом линейно связаны, поскольку обе величины представляют собой сигмоидальные функции отношения сигнал/шум (SNR) зонда на тестовых данных. Теория также предсказывает случаи, когда эта линейность нарушается, что мы подтверждаем эмпирически. MCS является теоретически обоснованной и эмпирически эффективной альтернативой евклидову косинусному сходству для сравнения линейных зондов.

English

Linear probes are widely used in interpretability research and often compared by cosine similarity. The Mahalanobis cosine similarity (MCS) between two directions, which reweights the inner product by test data covariance, is a natural task-aware refinement. Ying et al. (2026) report that a probe's MCS to a reference probe trained on the out-of-distribution (OOD) data near-perfectly linearly predicts the probe's OOD AUROC (R^2 = 0.98). Here, we extend this empirical finding across models, layers, and concept domains, and prove this general phenomenon in closed form: For balanced classes whose projections are Gaussian, OOD AUROC and MCS to the reference probe are linear because both are sigmoid-shaped functions of the probe's signal-to-noise ratio (SNR) on the test data. The theory also predicts when this linearity fails, which we verify empirically. MCS offers a theoretically grounded and empirically effective alternative to Euclidean cosine similarity for comparing linear probes.