BrainExplore: Descoberta em Larga Escala de Representações Visuais Interpretáveis no Cérebro Humano
BrainExplore: Large-Scale Discovery of Interpretable Visual Representations in the Human Brain
December 9, 2025
Autores: Navve Wasserman, Matias Cosarinsky, Yuval Golbari, Aude Oliva, Antonio Torralba, Tamar Rott Shaham, Michal Irani
cs.AI
Resumo
Compreender como o cérebro humano representa conceitos visuais e em quais regiões cerebrais essas representações são codificadas permanece um desafio de longa data. Décadas de trabalho avançaram nossa compreensão das representações visuais, mas os sinais cerebrais permanecem amplos e complexos, e o espaço de possíveis conceitos visuais é vasto. Como resultado, a maioria dos estudos permanece em pequena escala, depende de inspeção manual, foca em regiões e propriedades específicas e raramente inclui validação sistemática. Apresentamos uma estrutura automatizada em larga escala para descobrir e explicar representações visuais através do córtex humano. Nosso método compreende duas etapas principais. Primeiro, descobrimos padrões interpretáveis candidatos na atividade de fMRI por meio de métodos de decomposição não supervisionados e orientados por dados. Em seguida, explicamos cada padrão identificando o conjunto de imagens naturais que o eliciam mais fortemente e gerando uma descrição em linguagem natural do seu significado visual compartilhado. Para dimensionar esse processo, introduzimos um pipeline automatizado que testa múltiplas explicações candidatas, atribui escores de confiabilidade quantitativos e seleciona a descrição mais consistente para cada padrão de voxel. Nossa estrutura revela milhares de padrões interpretáveis abrangendo muitos conceitos visuais distintos, incluindo representações refinadas não relatadas anteriormente.
English
Understanding how the human brain represents visual concepts, and in which brain regions these representations are encoded, remains a long-standing challenge. Decades of work have advanced our understanding of visual representations, yet brain signals remain large and complex, and the space of possible visual concepts is vast. As a result, most studies remain small-scale, rely on manual inspection, focus on specific regions and properties, and rarely include systematic validation. We present a large-scale, automated framework for discovering and explaining visual representations across the human cortex. Our method comprises two main stages. First, we discover candidate interpretable patterns in fMRI activity through unsupervised, data-driven decomposition methods. Next, we explain each pattern by identifying the set of natural images that most strongly elicit it and generating a natural-language description of their shared visual meaning. To scale this process, we introduce an automated pipeline that tests multiple candidate explanations, assigns quantitative reliability scores, and selects the most consistent description for each voxel pattern. Our framework reveals thousands of interpretable patterns spanning many distinct visual concepts, including fine-grained representations previously unreported.