BrainExplore: Descubrimiento a Gran Escala de Representaciones Visuales Interpretables en el Cerebro Humano
BrainExplore: Large-Scale Discovery of Interpretable Visual Representations in the Human Brain
December 9, 2025
Autores: Navve Wasserman, Matias Cosarinsky, Yuval Golbari, Aude Oliva, Antonio Torralba, Tamar Rott Shaham, Michal Irani
cs.AI
Resumen
Comprender cómo el cerebro humano representa conceptos visuales y en qué regiones cerebrales se codifican estas representaciones sigue siendo un desafío de larga data. Décadas de trabajo han avanzado nuestra comprensión de las representaciones visuales, pero las señales cerebrales siguen siendo grandes y complejas, y el espacio de posibles conceptos visuales es vasto. Como resultado, la mayoría de los estudios siguen siendo a pequeña escala, se basan en la inspección manual, se centran en regiones y propiedades específicas y rara vez incluyen una validación sistemática. Presentamos un marco de trabajo a gran escala y automatizado para descubrir y explicar las representaciones visuales en la corteza humana. Nuestro método comprende dos etapas principales. Primero, descubrimos patrones candidatos interpretables en la actividad de la resonancia magnética funcional (fMRI) mediante métodos de descomposición no supervisados y basados en datos. A continuación, explicamos cada patrón identificando el conjunto de imágenes naturales que lo elicitan con mayor fuerza y generando una descripción en lenguaje natural de su significado visual compartido. Para escalar este proceso, introducimos una canalización automatizada que prueba múltiples explicaciones candidatas, asigna puntuaciones de fiabilidad cuantitativas y selecciona la descripción más consistente para cada patrón de vóxeles. Nuestro marco revela miles de patrones interpretables que abarcan muchos conceptos visuales distintos, incluyendo representaciones detalladas que no se habían reportado previamente.
English
Understanding how the human brain represents visual concepts, and in which brain regions these representations are encoded, remains a long-standing challenge. Decades of work have advanced our understanding of visual representations, yet brain signals remain large and complex, and the space of possible visual concepts is vast. As a result, most studies remain small-scale, rely on manual inspection, focus on specific regions and properties, and rarely include systematic validation. We present a large-scale, automated framework for discovering and explaining visual representations across the human cortex. Our method comprises two main stages. First, we discover candidate interpretable patterns in fMRI activity through unsupervised, data-driven decomposition methods. Next, we explain each pattern by identifying the set of natural images that most strongly elicit it and generating a natural-language description of their shared visual meaning. To scale this process, we introduce an automated pipeline that tests multiple candidate explanations, assigns quantitative reliability scores, and selects the most consistent description for each voxel pattern. Our framework reveals thousands of interpretable patterns spanning many distinct visual concepts, including fine-grained representations previously unreported.