De l'activation à la causalité : Découverte de représentations visuelles causales dans le cerveau humain

Résumé

Identifier quelles régions du cerveau humain représentent un concept visuel constitue un défi majeur en neurosciences. Les approches existantes ont permis de localiser des régions fonctionnelles grossières (par exemple, les visages, les lieux) par maximisation d’activation, en identifiant les régions qui s’activent fortement pour un concept cible par rapport à d’autres concepts. Cependant, une forte activation seule ne prouve pas qu’une région représente le concept lui-même, car les réponses pourraient être induites par des indices visuels ou sémantiques corrélés. Nous introduisons BrainCause, un cadre automatisé qui combine des modèles génératifs et des modèles cérébraux pour synthétiser des stimuli contrôlés et valider les représentations neuronales par des tests causaux ciblés. Étant donné une requête spécifiant un concept d’intérêt, notre cadre construit des ensembles de stimuli ciblés comprenant des images du concept, des modifications contrefactuelles qui suppriment le concept cible tout en préservant le reste du contenu de l’image, et des images avec des distracteurs corrélés candidats. Il utilise ensuite un modèle de codage image-vers-IRMf pour prédire les réponses cérébrales et recherche des représentations qui répondent spécifiquement au concept cible par rapport aux alternatives corrélées. BrainCause renvoie des représentations candidates validées et propose des expériences d’IRMf de suivi pour tester ou étendre ses découvertes. Notre approche retrouve avec succès des localisations fonctionnelles connues et identifie de nouvelles représentations candidates pour des dizaines de concepts, validées à la fois sur des données d’IRMf prédites et mesurées. Fait crucial, nous montrons que sans validation causale, une grande partie des localisations seraient des faux positifs, confirmant que la seule activation ne suffit pas comme preuve de représentation.

English

Identifying which brain regions represent a visual concept in the human brain is a central challenge in neuroscience. Existing approaches have localized coarse functional regions (e.g., faces, places) through activation maximization, identifying regions that activate strongly for a target concept relative to other concepts. Yet strong activation alone does not establish that a region represents the concept itself, as responses may instead be driven by correlated visual or semantic cues. We introduce BrainCause, an automated framework that combines generative and brain models to synthesize controlled stimuli and validate neural representations through targeted causal testing. Given a query specifying a concept of interest, our framework constructs targeted stimulus sets comprising concept images, counterfactual edits that remove the target concept while preserving other image content, and images with candidate correlated distractors. It then uses an image-to-fMRI encoding model to predict brain responses and searches for representations that respond specifically to the target concept over correlated alternatives. BrainCause returns validated candidate representations and proposes follow-up fMRI experiments to further test or extend its discoveries. Our approach successfully recovers known functional localizations and identifies new candidate representations across dozens of concepts, validated on both predicted and measured fMRI data. Critically, we show that without causal validation, a large fraction of localizations would be false positives, confirming that activation alone is insufficient evidence of representation.