BrainExplore : Découverte à grande échelle de représentations visuelles interprétables dans le cerveau humain
BrainExplore: Large-Scale Discovery of Interpretable Visual Representations in the Human Brain
December 9, 2025
papers.authors: Navve Wasserman, Matias Cosarinsky, Yuval Golbari, Aude Oliva, Antonio Torralba, Tamar Rott Shaham, Michal Irani
cs.AI
papers.abstract
Comprendre comment le cerveau humain représente les concepts visuels, et dans quelles régions cérébrales ces représentations sont encodées, demeure un défi de longue date. Des décennies de recherche ont fait progresser notre compréhension des représentations visuelles, mais les signaux cérébraux restent volumineux et complexes, et l'espace des concepts visuels possibles est vaste. Par conséquent, la plupart des études restent à petite échelle, reposent sur une inspection manuelle, se concentrent sur des régions et des propriétés spécifiques, et incluent rarement une validation systématique. Nous présentons un cadre automatisé à grande échelle pour découvrir et expliquer les représentations visuelles à travers le cortex humain. Notre méthode comprend deux étapes principales. Premièrement, nous découvrons des motifs interprétables candidats dans l'activité IRMf grâce à des méthodes de décomposition non supervisées et pilotées par les données. Ensuite, nous expliquons chaque motif en identifiant l'ensemble d'images naturelles qui l'évoquent le plus fortement et en générant une description en langage naturel de leur signification visuelle commune. Pour mettre ce processus à l'échelle, nous introduisons un pipeline automatisé qui teste de multiples explications candidates, attribue des scores quantitatifs de fiabilité et sélectionne la description la plus cohérente pour chaque motif de voxels. Notre cadre révèle des milliers de motifs interprétables couvrant de nombreux concepts visuels distincts, y compris des représentations à grain fin jamais rapportées auparavant.
English
Understanding how the human brain represents visual concepts, and in which brain regions these representations are encoded, remains a long-standing challenge. Decades of work have advanced our understanding of visual representations, yet brain signals remain large and complex, and the space of possible visual concepts is vast. As a result, most studies remain small-scale, rely on manual inspection, focus on specific regions and properties, and rarely include systematic validation. We present a large-scale, automated framework for discovering and explaining visual representations across the human cortex. Our method comprises two main stages. First, we discover candidate interpretable patterns in fMRI activity through unsupervised, data-driven decomposition methods. Next, we explain each pattern by identifying the set of natural images that most strongly elicit it and generating a natural-language description of their shared visual meaning. To scale this process, we introduce an automated pipeline that tests multiple candidate explanations, assigns quantitative reliability scores, and selects the most consistent description for each voxel pattern. Our framework reveals thousands of interpretable patterns spanning many distinct visual concepts, including fine-grained representations previously unreported.