BrainExplore: Scoperta su larga scala di rappresentazioni visive interpretabili nel cervello umano
BrainExplore: Large-Scale Discovery of Interpretable Visual Representations in the Human Brain
December 9, 2025
Autori: Navve Wasserman, Matias Cosarinsky, Yuval Golbari, Aude Oliva, Antonio Torralba, Tamar Rott Shaham, Michal Irani
cs.AI
Abstract
Comprendere come il cervello umano rappresenti i concetti visivi e in quali regioni cerebrali queste rappresentazioni siano codificate rimane una sfida di lunga data. Decenni di lavoro hanno fatto progredire la nostra comprensione delle rappresentazioni visive, eppure i segnali cerebrali rimangono ampi e complessi, e lo spazio dei possibili concetti visivi è vasto. Di conseguenza, la maggior parte degli studi rimane su piccola scala, si affida all'ispezione manuale, si concentra su regioni e proprietà specifiche e raramente include una validazione sistematica. Presentiamo un framework su larga scala e automatizzato per scoprire e spiegare le rappresentazioni visive attraverso la corteccia umana. Il nostro metodo comprende due fasi principali. In primo luogo, scopriamo pattern interpretativi candidati nell'attività fMRI attraverso metodi di scomposizione guidati dai dati e non supervisionati. Successivamente, spieghiamo ciascun pattern identificando l'insieme di immagini naturali che lo evocano più intensamente e generando una descrizione in linguaggio naturale del loro significato visivo condiviso. Per scalare questo processo, introduciamo una pipeline automatizzata che testa multiple spiegazioni candidate, assegna punteggi quantitativi di affidabilità e seleziona la descrizione più coerente per ogni pattern di voxel. Il nostro framework rivela migliaia di pattern interpretabili che abbracciano molti concetti visivi distinti, incluse rappresentazioni di dettaglio finora non riportate.
English
Understanding how the human brain represents visual concepts, and in which brain regions these representations are encoded, remains a long-standing challenge. Decades of work have advanced our understanding of visual representations, yet brain signals remain large and complex, and the space of possible visual concepts is vast. As a result, most studies remain small-scale, rely on manual inspection, focus on specific regions and properties, and rarely include systematic validation. We present a large-scale, automated framework for discovering and explaining visual representations across the human cortex. Our method comprises two main stages. First, we discover candidate interpretable patterns in fMRI activity through unsupervised, data-driven decomposition methods. Next, we explain each pattern by identifying the set of natural images that most strongly elicit it and generating a natural-language description of their shared visual meaning. To scale this process, we introduce an automated pipeline that tests multiple candidate explanations, assigns quantitative reliability scores, and selects the most consistent description for each voxel pattern. Our framework reveals thousands of interpretable patterns spanning many distinct visual concepts, including fine-grained representations previously unreported.