BrainExplore: Grootschalige Ontdekking van Interpreteerbare Visuele Representaties in het Menselijk Brein
BrainExplore: Large-Scale Discovery of Interpretable Visual Representations in the Human Brain
December 9, 2025
Auteurs: Navve Wasserman, Matias Cosarinsky, Yuval Golbari, Aude Oliva, Antonio Torralba, Tamar Rott Shaham, Michal Irani
cs.AI
Samenvatting
Het begrijpen van hoe het menselijk brein visuele concepten representeert, en in welke hersengebieden deze representaties zijn gecodeerd, blijft een langdurige uitdaging. Decennia van onderzoek hebben ons begrip van visuele representaties vooruitgebracht, maar hersensignalen blijven groot en complex, en de ruimte van mogelijke visuele concepten is enorm. Als gevolg daarvan blijven de meeste studies kleinschalig, steunen op handmatige inspectie, richten zich op specifieke regio's en eigenschappen, en omvatten zelden systematische validatie. Wij presenteren een grootschalig, geautomatiseerd raamwerk voor het ontdekken en verklaren van visuele representaties in de menselijke cortex. Onze methode omvat twee hoofdfasen. Eerst ontdekken we kandidaat-interpreteerbare patronen in fMRI-activiteit via onbewaakte, data-gedreven decompositiemethoden. Vervolgens verklaren we elk patroon door de reeks natuurlijke afbeeldingen te identificeren die het het sterkst oproepen en door een beschrijving in natuurlijke taal te genereren van hun gedeelde visuele betekenis. Om dit proces op te schalen, introduceren we een geautomatiseerde pijplijn die meerdere kandidaat-verklaringen test, kwantitatieve betrouwbaarheidsscores toekent en de meest consistente beschrijving voor elk voxelpatroon selecteert. Ons raamwerk onthult duizenden interpreteerbare patronen die vele verschillende visuele concepten omvatten, waaronder fijnmazige representaties die voorheen niet gerapporteerd waren.
English
Understanding how the human brain represents visual concepts, and in which brain regions these representations are encoded, remains a long-standing challenge. Decades of work have advanced our understanding of visual representations, yet brain signals remain large and complex, and the space of possible visual concepts is vast. As a result, most studies remain small-scale, rely on manual inspection, focus on specific regions and properties, and rarely include systematic validation. We present a large-scale, automated framework for discovering and explaining visual representations across the human cortex. Our method comprises two main stages. First, we discover candidate interpretable patterns in fMRI activity through unsupervised, data-driven decomposition methods. Next, we explain each pattern by identifying the set of natural images that most strongly elicit it and generating a natural-language description of their shared visual meaning. To scale this process, we introduce an automated pipeline that tests multiple candidate explanations, assigns quantitative reliability scores, and selects the most consistent description for each voxel pattern. Our framework reveals thousands of interpretable patterns spanning many distinct visual concepts, including fine-grained representations previously unreported.