Brain2Music: Muziek reconstrueren uit menselijke hersenactiviteit
Brain2Music: Reconstructing Music from Human Brain Activity
July 20, 2023
Auteurs: Timo I. Denk, Yu Takagi, Takuya Matsuyama, Andrea Agostinelli, Tomoya Nakai, Christian Frank, Shinji Nishimoto
cs.AI
Samenvatting
Het proces van het reconstrueren van ervaringen uit menselijke hersenactiviteit biedt een unieke kijk op hoe de hersenen de wereld interpreteren en representeren. In dit artikel introduceren we een methode voor het reconstrueren van muziek uit hersenactiviteit, vastgelegd met functionele magnetische resonantie beeldvorming (fMRI). Onze aanpak maakt gebruik van muziekretrieval of het MusicLM-muziekgeneratiemodel, geconditioneerd op embeddings afgeleid van fMRI-gegevens. De gegenereerde muziek lijkt op de muzikale stimuli die menselijke proefpersonen ervoeren, wat betreft semantische eigenschappen zoals genre, instrumentatie en stemming. We onderzoeken de relatie tussen verschillende componenten van MusicLM en hersenactiviteit door middel van een voxelgewijze encoderingmodelanalyse. Daarnaast bespreken we welke hersengebieden informatie representeren die is afgeleid van puur tekstuele beschrijvingen van muzikale stimuli. We bieden aanvullend materiaal, inclusief voorbeelden van de gereconstrueerde muziek, op https://google-research.github.io/seanet/brain2music.
English
The process of reconstructing experiences from human brain activity offers a
unique lens into how the brain interprets and represents the world. In this
paper, we introduce a method for reconstructing music from brain activity,
captured using functional magnetic resonance imaging (fMRI). Our approach uses
either music retrieval or the MusicLM music generation model conditioned on
embeddings derived from fMRI data. The generated music resembles the musical
stimuli that human subjects experienced, with respect to semantic properties
like genre, instrumentation, and mood. We investigate the relationship between
different components of MusicLM and brain activity through a voxel-wise
encoding modeling analysis. Furthermore, we discuss which brain regions
represent information derived from purely textual descriptions of music
stimuli. We provide supplementary material including examples of the
reconstructed music at https://google-research.github.io/seanet/brain2music