BrainExplore: Масштабное выявление интерпретируемых визуальных репрезентаций в мозге человека
BrainExplore: Large-Scale Discovery of Interpretable Visual Representations in the Human Brain
December 9, 2025
Авторы: Navve Wasserman, Matias Cosarinsky, Yuval Golbari, Aude Oliva, Antonio Torralba, Tamar Rott Shaham, Michal Irani
cs.AI
Аннотация
Понимание того, как человеческий мозг репрезентирует зрительные концепции и в каких областях мозга кодируются эти репрезентации, остается давней научной проблемой. Десятилетия исследований углубили наше понимание зрительных репрезентаций, однако сигналы мозга остаются объемными и сложными, а пространство возможных зрительных концепций — огромным. Как следствие, большинство исследований остаются ограниченными по масштабу, опираются на ручной анализ, фокусируются на конкретных областях и свойствах и редко включают систематическую валидацию. Мы представляем крупномасштабный автоматизированный фреймворк для обнаружения и объяснения зрительных репрезентаций по всей коре головного человека. Наш метод включает две основные стадии. Сначала мы обнаруживаем кандидатные интерпретируемые паттерны в активности фМРТ с помощью методов неконтролируемого, управляемого данными разложения. Затем мы объясняем каждый паттерн, идентифицируя набор натуральных изображений, которые наиболее сильно его вызывают, и генерируя текстовое описание их общего визуального значения. Для масштабирования этого процесса мы внедряем автоматизированный конвейер, который тестирует множество кандидатных объяснений, присваивает количественные оценки надежности и выбирает наиболее последовательное описание для каждого воксельного паттерна. Наш фреймворк выявляет тысячи интерпретируемых паттернов, охватывающих множество различных зрительных концепций, включая ранее не зарегистрированные тонко дифференцированные репрезентации.
English
Understanding how the human brain represents visual concepts, and in which brain regions these representations are encoded, remains a long-standing challenge. Decades of work have advanced our understanding of visual representations, yet brain signals remain large and complex, and the space of possible visual concepts is vast. As a result, most studies remain small-scale, rely on manual inspection, focus on specific regions and properties, and rarely include systematic validation. We present a large-scale, automated framework for discovering and explaining visual representations across the human cortex. Our method comprises two main stages. First, we discover candidate interpretable patterns in fMRI activity through unsupervised, data-driven decomposition methods. Next, we explain each pattern by identifying the set of natural images that most strongly elicit it and generating a natural-language description of their shared visual meaning. To scale this process, we introduce an automated pipeline that tests multiple candidate explanations, assigns quantitative reliability scores, and selects the most consistent description for each voxel pattern. Our framework reveals thousands of interpretable patterns spanning many distinct visual concepts, including fine-grained representations previously unreported.