BrainExplore: 인간 뇌 내 해석 가능한 시각적 표현의 대규모 발견

BrainExplore: Large-Scale Discovery of Interpretable Visual Representations in the Human Brain

December 9, 2025

저자: Navve Wasserman, Matias Cosarinsky, Yuval Golbari, Aude Oliva, Antonio Torralba, Tamar Rott Shaham, Michal Irani

cs.AI

초록

인간 뇌가 시각적 개념을 어떻게 표현하는지, 그리고 이러한 표현이 어떤 뇌 영역에 인코딩되는지 이해하는 것은 오랜 과제로 남아있다. 수십 년에 걸친 연구를 통해 시각적 표현에 대한 이해는 진전되었으나, 뇌 신호는 여전히 규모가 크고 복잡하며 가능한 시각적 개념의 범위는 방대하다. 그 결과 대부분의 연구는 소규모로 진행되고, 수동 검사에 의존하며, 특정 영역과 속성에 집중하는 경향이 있어 체계적인 검증은 드물게 이루어진다. 본 연구에서는 인간 대뇌 피질 전반에 걸쳐 시각적 표현을 발견하고 설명하기 위한 대규모 자동화 프레임워크를 제시한다. 우리의 방법은 두 가지 주요 단계로 구성된다. 먼저, 비지도 데이터 기반 분해 방법을 통해 fMRI 활동에서 해석 가능한 후보 패턴을 발견한다. 다음으로, 각 패턴을 가장 강하게 유발하는 자연 이미지 집합을 식별하고 이들이 공유하는 시각적 의미에 대한 자연어 설명을 생성하여 각 패턴을 설명한다. 이 과정을 확장하기 위해 여러 후보 설명을 테스트하고 정량적 신뢰도 점수를 부여하며 각 복셀 패턴에 대해 가장 일관된 설명을 선택하는 자동화 파이프라인을 도입한다. 우리의 프레임워크는 이전에 보고되지 않은 세분화된 표현을 포함하여 다양한 시각적 개념에 걸쳐 수천 개의 해석 가능한 패턴을 밝혀낸다.

English

Understanding how the human brain represents visual concepts, and in which brain regions these representations are encoded, remains a long-standing challenge. Decades of work have advanced our understanding of visual representations, yet brain signals remain large and complex, and the space of possible visual concepts is vast. As a result, most studies remain small-scale, rely on manual inspection, focus on specific regions and properties, and rarely include systematic validation. We present a large-scale, automated framework for discovering and explaining visual representations across the human cortex. Our method comprises two main stages. First, we discover candidate interpretable patterns in fMRI activity through unsupervised, data-driven decomposition methods. Next, we explain each pattern by identifying the set of natural images that most strongly elicit it and generating a natural-language description of their shared visual meaning. To scale this process, we introduce an automated pipeline that tests multiple candidate explanations, assigns quantitative reliability scores, and selects the most consistent description for each voxel pattern. Our framework reveals thousands of interpretable patterns spanning many distinct visual concepts, including fine-grained representations previously unreported.