Van activering naar causaliteit: Ontdekking van causale visuele representaties in de menselijke hersenen

Samenvatting

Het identificeren van welke hersenregio's een visueel concept in het menselijk brein vertegenwoordigen, is een centrale uitdaging binnen de neurowetenschappen. Bestaande benaderingen hebben grove functionele regio's (bijv. voor gezichten, plaatsen) gelokaliseerd via activatiemaximalisatie, waarbij regio's worden geïdentificeerd die sterk actief zijn voor een doelconcept ten opzichte van andere concepten. Echter, sterke activatie alleen bewijst niet dat een regio het concept zelf representeert, aangezien responsen ook kunnen worden gedreven door gecorreleerde visuele of semantische signalen. We introduceren BrainCause, een geautomatiseerd raamwerk dat generatieve en breinmodellen combineert om gecontroleerde stimuli te synthetiseren en neurale representaties te valideren door middel van gericht causaal testen. Gegeven een zoekopdracht die een concept van interesse specificeert, construeert ons raamwerk gerichte stimulussets bestaande uit conceptafbeeldingen, contrafeitelijke bewerkingen die het doelconcept verwijderen terwijl andere beeldinhoud behouden blijft, en afbeeldingen met kandidaat-gecorreleerde afleiders. Vervolgens gebruikt het een beeld-naar-fMRI-coderingsmodel om hersenresponsen te voorspellen en zoekt het naar representaties die specifiek reageren op het doelconcept ten opzichte van gecorreleerde alternatieven. BrainCause geeft gevalideerde kandidaat-representaties terug en stelt vervolgexperimenten met fMRI voor om de ontdekkingen verder te testen of uit te breiden. Onze aanpak herstelt met succes bekende functionele lokalisaties en identificeert nieuwe kandidaat-representaties voor tientallen concepten, gevalideerd op zowel voorspelde als gemeten fMRI-data. Cruciaal is dat we aantonen dat zonder causale validatie een groot deel van de lokalisaties vals-positieve resultaten zou zijn, wat bevestigt dat activatie alleen onvoldoende bewijs is voor representatie.

English

Identifying which brain regions represent a visual concept in the human brain is a central challenge in neuroscience. Existing approaches have localized coarse functional regions (e.g., faces, places) through activation maximization, identifying regions that activate strongly for a target concept relative to other concepts. Yet strong activation alone does not establish that a region represents the concept itself, as responses may instead be driven by correlated visual or semantic cues. We introduce BrainCause, an automated framework that combines generative and brain models to synthesize controlled stimuli and validate neural representations through targeted causal testing. Given a query specifying a concept of interest, our framework constructs targeted stimulus sets comprising concept images, counterfactual edits that remove the target concept while preserving other image content, and images with candidate correlated distractors. It then uses an image-to-fMRI encoding model to predict brain responses and searches for representations that respond specifically to the target concept over correlated alternatives. BrainCause returns validated candidate representations and proposes follow-up fMRI experiments to further test or extend its discoveries. Our approach successfully recovers known functional localizations and identifies new candidate representations across dozens of concepts, validated on both predicted and measured fMRI data. Critically, we show that without causal validation, a large fraction of localizations would be false positives, confirming that activation alone is insufficient evidence of representation.