Brain2Music: Ricostruzione della Musica dall'Attività Cerebrale Umana
Brain2Music: Reconstructing Music from Human Brain Activity
July 20, 2023
Autori: Timo I. Denk, Yu Takagi, Takuya Matsuyama, Andrea Agostinelli, Tomoya Nakai, Christian Frank, Shinji Nishimoto
cs.AI
Abstract
Il processo di ricostruzione delle esperienze a partire dall'attività cerebrale umana offre una prospettiva unica su come il cervello interpreta e rappresenta il mondo. In questo articolo, presentiamo un metodo per ricostruire la musica dall'attività cerebrale, acquisita mediante risonanza magnetica funzionale (fMRI). Il nostro approccio utilizza sia il recupero di brani musicali sia il modello di generazione musicale MusicLM, condizionato su embedding derivati dai dati fMRI. La musica generata assomiglia agli stimoli musicali sperimentati dai soggetti umani, rispetto a proprietà semantiche come genere, strumentazione e atmosfera. Investigiamo la relazione tra i diversi componenti di MusicLM e l'attività cerebrale attraverso un'analisi di modellazione dell'encoding voxel per voxel. Inoltre, discutiamo quali regioni cerebrali rappresentano le informazioni derivate da descrizioni puramente testuali degli stimoli musicali. Forniamo materiale supplementare, inclusi esempi della musica ricostruita, al seguente indirizzo: https://google-research.github.io/seanet/brain2music.
English
The process of reconstructing experiences from human brain activity offers a
unique lens into how the brain interprets and represents the world. In this
paper, we introduce a method for reconstructing music from brain activity,
captured using functional magnetic resonance imaging (fMRI). Our approach uses
either music retrieval or the MusicLM music generation model conditioned on
embeddings derived from fMRI data. The generated music resembles the musical
stimuli that human subjects experienced, with respect to semantic properties
like genre, instrumentation, and mood. We investigate the relationship between
different components of MusicLM and brain activity through a voxel-wise
encoding modeling analysis. Furthermore, we discuss which brain regions
represent information derived from purely textual descriptions of music
stimuli. We provide supplementary material including examples of the
reconstructed music at https://google-research.github.io/seanet/brain2music