Brain2Music: Reconstrucción de Música a partir de la Actividad Cerebral Humana
Brain2Music: Reconstructing Music from Human Brain Activity
July 20, 2023
Autores: Timo I. Denk, Yu Takagi, Takuya Matsuyama, Andrea Agostinelli, Tomoya Nakai, Christian Frank, Shinji Nishimoto
cs.AI
Resumen
El proceso de reconstruir experiencias a partir de la actividad cerebral humana ofrece una perspectiva única sobre cómo el cerebro interpreta y representa el mundo. En este artículo, presentamos un método para reconstruir música a partir de la actividad cerebral, capturada mediante imágenes por resonancia magnética funcional (fMRI). Nuestro enfoque utiliza tanto la recuperación de música como el modelo de generación musical MusicLM, condicionado por representaciones derivadas de datos de fMRI. La música generada se asemeja a los estímulos musicales que experimentaron los sujetos humanos, en términos de propiedades semánticas como el género, la instrumentación y el estado de ánimo. Investigamos la relación entre los diferentes componentes de MusicLM y la actividad cerebral mediante un análisis de modelado de codificación voxel por voxel. Además, discutimos qué regiones del cerebro representan información derivada de descripciones puramente textuales de estímulos musicales. Proporcionamos material complementario que incluye ejemplos de la música reconstruida en https://google-research.github.io/seanet/brain2music.
English
The process of reconstructing experiences from human brain activity offers a
unique lens into how the brain interprets and represents the world. In this
paper, we introduce a method for reconstructing music from brain activity,
captured using functional magnetic resonance imaging (fMRI). Our approach uses
either music retrieval or the MusicLM music generation model conditioned on
embeddings derived from fMRI data. The generated music resembles the musical
stimuli that human subjects experienced, with respect to semantic properties
like genre, instrumentation, and mood. We investigate the relationship between
different components of MusicLM and brain activity through a voxel-wise
encoding modeling analysis. Furthermore, we discuss which brain regions
represent information derived from purely textual descriptions of music
stimuli. We provide supplementary material including examples of the
reconstructed music at https://google-research.github.io/seanet/brain2music