BrainExplore: Großflächige Entdeckung interpretierbarer visueller Repräsentationen im menschlichen Gehirn
BrainExplore: Large-Scale Discovery of Interpretable Visual Representations in the Human Brain
December 9, 2025
papers.authors: Navve Wasserman, Matias Cosarinsky, Yuval Golbari, Aude Oliva, Antonio Torralba, Tamar Rott Shaham, Michal Irani
cs.AI
papers.abstract
Die Frage, wie das menschliche Gehirn visuelle Konzepte repräsentiert und in welchen Gehirnregionen diese Repräsentationen kodiert sind, bleibt eine langjährige Herausforderung. Jahrzehntelange Forschung hat unser Verständnis visueller Repräsentationen erweitert, dennoch sind Hirnsignale weiterhin umfangreich und komplex, und der Raum möglicher visueller Konzepte ist immens. Infolgedessen bleiben die meisten Studien kleinräumig, stützen sich auf manuelle Inspektion, konzentrieren sich auf spezifische Regionen und Eigenschaften und beinhalten selten systematische Validierung.
Wir stellen ein großskaliges, automatisiertes Framework zur Entdeckung und Erklärung visueller Repräsentationen across the human cortex vor. Unser Verfahren umfasst zwei Hauptschritte. Zuerst entdecken wir kanditative, interpretierbare Muster in der fMRT-Aktivität durch unüberwachte, datengesteuerte Dekompositionsmethoden. Anschließend erklären wir jedes Muster, indem wir die Menge der natürlichen Bilder identifizieren, die es am stärksten hervorrufen, und eine natürlichsprachliche Beschreibung ihrer gemeinsamen visuellen Bedeutung generieren.
Um diesen Prozess zu skalieren, führen wir eine automatisierte Pipeline ein, die mehrere kanditative Erklärungen testet, quantitative Zuverlässigkeitswerte zuweist und die konsistenteste Beschreibung für jedes Voxelmuster auswählt. Unser Framework enthüllt tausende interpretierbarer Muster, die viele verschiedene visuelle Konzepte umfassen, einschließlich fein granulärer Repräsentationen, die bisher nicht berichtet wurden.
English
Understanding how the human brain represents visual concepts, and in which brain regions these representations are encoded, remains a long-standing challenge. Decades of work have advanced our understanding of visual representations, yet brain signals remain large and complex, and the space of possible visual concepts is vast. As a result, most studies remain small-scale, rely on manual inspection, focus on specific regions and properties, and rarely include systematic validation. We present a large-scale, automated framework for discovering and explaining visual representations across the human cortex. Our method comprises two main stages. First, we discover candidate interpretable patterns in fMRI activity through unsupervised, data-driven decomposition methods. Next, we explain each pattern by identifying the set of natural images that most strongly elicit it and generating a natural-language description of their shared visual meaning. To scale this process, we introduce an automated pipeline that tests multiple candidate explanations, assigns quantitative reliability scores, and selects the most consistent description for each voxel pattern. Our framework reveals thousands of interpretable patterns spanning many distinct visual concepts, including fine-grained representations previously unreported.