Brain2Music : Reconstruction de musique à partir de l'activité cérébrale humaine
Brain2Music: Reconstructing Music from Human Brain Activity
July 20, 2023
Auteurs: Timo I. Denk, Yu Takagi, Takuya Matsuyama, Andrea Agostinelli, Tomoya Nakai, Christian Frank, Shinji Nishimoto
cs.AI
Résumé
Le processus de reconstruction des expériences à partir de l'activité cérébrale humaine offre une perspective unique sur la manière dont le cerveau interprète et représente le monde. Dans cet article, nous présentons une méthode pour reconstruire de la musique à partir de l'activité cérébrale, capturée par imagerie par résonance magnétique fonctionnelle (IRMf). Notre approche utilise soit la récupération de musique, soit le modèle de génération musicale MusicLM conditionné par des embeddings dérivés des données IRMf. La musique générée ressemble aux stimuli musicaux expérimentés par les sujets humains, en ce qui concerne des propriétés sémantiques telles que le genre, l'instrumentation et l'ambiance. Nous étudions la relation entre les différentes composantes de MusicLM et l'activité cérébrale à travers une analyse de modélisation d'encodage voxel par voxel. De plus, nous discutons des régions cérébrales qui représentent des informations dérivées de descriptions purement textuelles des stimuli musicaux. Nous fournissons du matériel supplémentaire, incluant des exemples de musique reconstruite, à l'adresse suivante : https://google-research.github.io/seanet/brain2music.
English
The process of reconstructing experiences from human brain activity offers a
unique lens into how the brain interprets and represents the world. In this
paper, we introduce a method for reconstructing music from brain activity,
captured using functional magnetic resonance imaging (fMRI). Our approach uses
either music retrieval or the MusicLM music generation model conditioned on
embeddings derived from fMRI data. The generated music resembles the musical
stimuli that human subjects experienced, with respect to semantic properties
like genre, instrumentation, and mood. We investigate the relationship between
different components of MusicLM and brain activity through a voxel-wise
encoding modeling analysis. Furthermore, we discuss which brain regions
represent information derived from purely textual descriptions of music
stimuli. We provide supplementary material including examples of the
reconstructed music at https://google-research.github.io/seanet/brain2music