Von der Aktivierung zur Kausalität: Entdeckung kausaler visueller Repräsentationen im menschlichen Gehirn

Zusammenfassung

Die Identifizierung der Hirnregionen, die ein visuelles Konzept im menschlichen Gehirn repräsentieren, stellt eine zentrale Herausforderung in den Neurowissenschaften dar. Bisherige Ansätze haben durch Aktivierungsmaximierung grobe funktionelle Regionen (z. B. für Gesichter, Orte) lokalisiert, indem sie Regionen ermittelten, die für ein Zielkonzept im Vergleich zu anderen Konzepten stark aktivieren. Eine starke Aktivierung allein belegt jedoch nicht, dass die Region das Konzept selbst repräsentiert, da die Reaktionen stattdessen durch korrelierte visuelle oder semantische Hinweise verursacht sein könnten. Wir stellen BrainCause vor, ein automatisiertes Framework, das generative Modelle und Hirnmodelle kombiniert, um kontrollierte Stimuli zu synthetisieren und neuronale Repräsentationen durch gezielte kausale Tests zu validieren. Ausgehend von einer Abfrage, die ein interessierendes Konzept spezifiziert, konstruiert unser Framework gezielte Stimulussets, die Konzeptbilder, kontrafaktische Bearbeitungen, die das Zielkonzept entfernen, während andere Bildinhalte erhalten bleiben, sowie Bilder mit potenziellen korrelierten Distraktoren umfassen. Anschließend nutzt es ein Bild-zu-fMRT-Kodierungsmodell, um Hirnreaktionen vorherzusagen, und sucht nach Repräsentationen, die spezifisch auf das Zielkonzept im Vergleich zu korrelierten Alternativen reagieren. BrainCause gibt validierte Kandidatenrepräsentationen zurück und schlägt weiterführende fMRT-Experimente vor, um seine Entdeckungen weiter zu testen oder zu erweitern. Unser Ansatz kann bekannte funktionelle Lokalisationen wiederherstellen und identifiziert neue Kandidatenrepräsentationen über Dutzende von Konzepten hinweg, validiert an vorhergesagten und gemessenen fMRT-Daten. Entscheidend ist, dass wir zeigen, dass ohne kausale Validierung ein großer Teil der Lokalisationen falsch-positive Ergebnisse wären, was bestätigt, dass Aktivierung allein kein ausreichender Beleg für Repräsentation ist.

English

Identifying which brain regions represent a visual concept in the human brain is a central challenge in neuroscience. Existing approaches have localized coarse functional regions (e.g., faces, places) through activation maximization, identifying regions that activate strongly for a target concept relative to other concepts. Yet strong activation alone does not establish that a region represents the concept itself, as responses may instead be driven by correlated visual or semantic cues. We introduce BrainCause, an automated framework that combines generative and brain models to synthesize controlled stimuli and validate neural representations through targeted causal testing. Given a query specifying a concept of interest, our framework constructs targeted stimulus sets comprising concept images, counterfactual edits that remove the target concept while preserving other image content, and images with candidate correlated distractors. It then uses an image-to-fMRI encoding model to predict brain responses and searches for representations that respond specifically to the target concept over correlated alternatives. BrainCause returns validated candidate representations and proposes follow-up fMRI experiments to further test or extend its discoveries. Our approach successfully recovers known functional localizations and identifies new candidate representations across dozens of concepts, validated on both predicted and measured fMRI data. Critically, we show that without causal validation, a large fraction of localizations would be false positives, confirming that activation alone is insufficient evidence of representation.