활성화에서 인과성으로: 인간 뇌에서 인과적 시각 표상의 발견

초록

인간 뇌에서 시각적 개념을 대표하는 뇌 영역을 식별하는 것은 신경과학의 핵심 과제이다. 기존 접근법은 활성화 최대화를 통해 대략적인 기능적 영역(예: 얼굴, 장소)을 국소화하여, 특정 개념에 대해 다른 개념보다 강하게 활성화되는 영역을 식별해 왔다. 그러나 강한 활성화만으로는 해당 영역이 개념 자체를 대표한다는 증명이 되지 않는데, 이는 반응이 대신 상관된 시각적 또는 의미적 단서에 의해 유발될 수 있기 때문이다. 우리는 BrainCause를 소개한다. 이는 생성 모델과 뇌 모델을 결합하여 통제된 자극을 합성하고 표적 인과 검증을 통해 신경 표현을 검증하는 자동화된 프레임워크이다. 관심 개념을 명시하는 쿼리가 주어지면, 우리의 프레임워크는 개념 이미지, 다른 이미지 내용은 유지하면서 표적 개념을 제거하는 반사실적 편집, 그리고 후보 상관 방해 자극이 포함된 이미지들로 구성된 표적 자극 세트를 구축한다. 그런 다음 영상-기능적자기공명영상 부호화 모델을 사용하여 뇌 반응을 예측하고, 상관 대안보다 표적 개념에 특이적으로 반응하는 표현을 탐색한다. BrainCause는 검증된 후보 표현을 반환하고, 이를 추가로 검증하거나 발견을 확장하기 위한 후속 fMRI 실험을 제안한다. 우리의 접근법은 수십 가지 개념에 걸쳐 예측 및 측정된 fMRI 데이터 모두에서 검증된 기존의 기능적 국소화를 성공적으로 재발견하고 새로운 후보 표현을 식별한다. 중요한 점은, 인과 검증 없이는 국소화의 상당 부분이 거짓 양성이 될 것임을 보여주며, 이는 활성화만으로는 표현의 충분한 증거가 아님을 확인한다는 것이다.

English

Identifying which brain regions represent a visual concept in the human brain is a central challenge in neuroscience. Existing approaches have localized coarse functional regions (e.g., faces, places) through activation maximization, identifying regions that activate strongly for a target concept relative to other concepts. Yet strong activation alone does not establish that a region represents the concept itself, as responses may instead be driven by correlated visual or semantic cues. We introduce BrainCause, an automated framework that combines generative and brain models to synthesize controlled stimuli and validate neural representations through targeted causal testing. Given a query specifying a concept of interest, our framework constructs targeted stimulus sets comprising concept images, counterfactual edits that remove the target concept while preserving other image content, and images with candidate correlated distractors. It then uses an image-to-fMRI encoding model to predict brain responses and searches for representations that respond specifically to the target concept over correlated alternatives. BrainCause returns validated candidate representations and proposes follow-up fMRI experiments to further test or extend its discoveries. Our approach successfully recovers known functional localizations and identifies new candidate representations across dozens of concepts, validated on both predicted and measured fMRI data. Critically, we show that without causal validation, a large fraction of localizations would be false positives, confirming that activation alone is insufficient evidence of representation.