플라톤적 표상 가설 재고: 아리스토텔레스적 관점에서

초록

플라톤적 표현 가설은 신경망의 표현이 현실의 공통 통계 모델로 수렴하고 있다고 주장한다. 본 연구에서는 표현 유사성을 측정하는 기존 지표들이 네트워크 규모에 의해 왜곡될 수 있음을 보인다. 모델의 깊이나 너비를 증가시키면 표현 유사성 점수가 체계적으로 상승할 수 있다. 이러한 효과를 보정하기 위해 순열 기반의 영점 보정 프레임워크를 도입하여, 어떠한 표현 유사성 지표라도 통계적 보장이 있는 보정된 점수로 변환할 수 있도록 한다. 이 보정 프레임워크로 플라톤적 표현 가설을 재검토한 결과, 미묘한 양상이 드러났다. 전역적 스펙트럼 측정법으로 보고된 겉보기 수렴 현상은 보정 후 대부분 사라지는 반면, 국소 이웃 유사성(국소 거리 제외)은 다양한 양식 간에 유의미한 일치를 유지한다. 이러한 발견을 바탕으로 우리는 아리스토텔레스적 표현 가설을 제안한다. 신경망의 표현은 공유된 국소 이웃 관계로 수렴하고 있다는 것이다.

English

The Platonic Representation Hypothesis suggests that representations from neural networks are converging to a common statistical model of reality. We show that the existing metrics used to measure representational similarity are confounded by network scale: increasing model depth or width can systematically inflate representational similarity scores. To correct these effects, we introduce a permutation-based null-calibration framework that transforms any representational similarity metric into a calibrated score with statistical guarantees. We revisit the Platonic Representation Hypothesis with our calibration framework, which reveals a nuanced picture: the apparent convergence reported by global spectral measures largely disappears after calibration, while local neighborhood similarity, but not local distances, retains significant agreement across different modalities. Based on these findings, we propose the Aristotelian Representation Hypothesis: representations in neural networks are converging to shared local neighborhood relationships.

플라톤적 표상 가설 재고: 아리스토텔레스적 관점에서

Revisiting the Platonic Representation Hypothesis: An Aristotelian View

초록

Support