От активации к причинности: Обнаружение причинных визуальных репрезентаций в человеческом мозге

Аннотация

Определение того, какие области мозга представляют зрительные концепты в человеческом мозге, является центральной задачей нейронауки. Существующие подходы локализовали грубые функциональные области (например, лица, места) с помощью максимизации активации, выявляя регионы, которые сильно активируются для целевого концепта по сравнению с другими. Однако одна лишь сильная активация не доказывает, что область представляет сам концепт, поскольку реакции могут быть вызваны коррелированными визуальными или семантическими сигналами. Мы представляем BrainCause — автоматизированную структуру, которая объединяет генеративные модели и модели мозга для синтеза контролируемых стимулов и проверки нейронных репрезентаций с помощью целенаправленного каузального тестирования. Для заданного запроса, определяющего интересующий концепт, наша структура конструирует целевые наборы стимулов, включающие изображения концепта, контрфактические изменения, удаляющие целевой концепт при сохранении остального содержания изображения, а также изображения с потенциальными коррелированными дистракторами. Затем она использует модель кодирования «изображение-фМРТ» для предсказания мозговых реакций и ищет репрезентации, которые специфично реагируют на целевой концепт в сравнении с коррелированными альтернативами. BrainCause возвращает проверенные кандидатные репрезентации и предлагает последующие фМРТ-эксперименты для дальнейшей проверки или расширения своих открытий. Наш подход успешно восстанавливает известные функциональные локализации и выявляет новые кандидатные репрезентации для десятков концептов, что подтверждено как на предсказанных, так и на измеренных данных фМРТ. Критически важно, что без каузальной проверки значительная часть локализаций оказалась бы ложноположительными, что подтверждает недостаточность одной лишь активации как доказательства репрезентации.

English

Identifying which brain regions represent a visual concept in the human brain is a central challenge in neuroscience. Existing approaches have localized coarse functional regions (e.g., faces, places) through activation maximization, identifying regions that activate strongly for a target concept relative to other concepts. Yet strong activation alone does not establish that a region represents the concept itself, as responses may instead be driven by correlated visual or semantic cues. We introduce BrainCause, an automated framework that combines generative and brain models to synthesize controlled stimuli and validate neural representations through targeted causal testing. Given a query specifying a concept of interest, our framework constructs targeted stimulus sets comprising concept images, counterfactual edits that remove the target concept while preserving other image content, and images with candidate correlated distractors. It then uses an image-to-fMRI encoding model to predict brain responses and searches for representations that respond specifically to the target concept over correlated alternatives. BrainCause returns validated candidate representations and proposes follow-up fMRI experiments to further test or extend its discoveries. Our approach successfully recovers known functional localizations and identifies new candidate representations across dozens of concepts, validated on both predicted and measured fMRI data. Critically, we show that without causal validation, a large fraction of localizations would be false positives, confirming that activation alone is insufficient evidence of representation.