Brain2Music: Reconstrução de Música a partir da Atividade Cerebral Humana

Brain2Music: Reconstructing Music from Human Brain Activity

July 20, 2023

Autores: Timo I. Denk, Yu Takagi, Takuya Matsuyama, Andrea Agostinelli, Tomoya Nakai, Christian Frank, Shinji Nishimoto

cs.AI

Resumo

O processo de reconstruir experiências a partir da atividade cerebral humana oferece uma perspectiva única sobre como o cérebro interpreta e representa o mundo. Neste artigo, apresentamos um método para reconstruir música a partir da atividade cerebral, capturada por meio de ressonância magnética funcional (fMRI). Nossa abordagem utiliza tanto a recuperação de música quanto o modelo de geração musical MusicLM, condicionado a embeddings derivados de dados de fMRI. A música gerada se assemelha aos estímulos musicais vivenciados pelos sujeitos humanos, em relação a propriedades semânticas como gênero, instrumentação e humor. Investigamos a relação entre diferentes componentes do MusicLM e a atividade cerebral por meio de uma análise de modelagem de codificação voxel a voxel. Além disso, discutimos quais regiões do cérebro representam informações derivadas de descrições puramente textuais de estímulos musicais. Fornecemos material suplementar, incluindo exemplos da música reconstruída, em https://google-research.github.io/seanet/brain2music.

English

The process of reconstructing experiences from human brain activity offers a unique lens into how the brain interprets and represents the world. In this paper, we introduce a method for reconstructing music from brain activity, captured using functional magnetic resonance imaging (fMRI). Our approach uses either music retrieval or the MusicLM music generation model conditioned on embeddings derived from fMRI data. The generated music resembles the musical stimuli that human subjects experienced, with respect to semantic properties like genre, instrumentation, and mood. We investigate the relationship between different components of MusicLM and brain activity through a voxel-wise encoding modeling analysis. Furthermore, we discuss which brain regions represent information derived from purely textual descriptions of music stimuli. We provide supplementary material including examples of the reconstructed music at https://google-research.github.io/seanet/brain2music