Brain2Music: Rekonstruktion von Musik aus menschlicher Gehirnaktivität
Brain2Music: Reconstructing Music from Human Brain Activity
July 20, 2023
Autoren: Timo I. Denk, Yu Takagi, Takuya Matsuyama, Andrea Agostinelli, Tomoya Nakai, Christian Frank, Shinji Nishimoto
cs.AI
Zusammenfassung
Der Prozess der Rekonstruktion von Erfahrungen aus der menschlichen Gehirnaktivität bietet eine einzigartige Perspektive darauf, wie das Gehirn die Welt interpretiert und repräsentiert. In diesem Artikel stellen wir eine Methode zur Rekonstruktion von Musik aus Gehirnaktivität vor, die mittels funktioneller Magnetresonanztomographie (fMRT) erfasst wurde. Unser Ansatz nutzt entweder Musikretrieval oder das MusicLM-Musikgenerierungsmodell, das auf Einbettungen basiert, die aus fMRT-Daten abgeleitet wurden. Die generierte Musik ähnelt den musikalischen Reizen, die die Probanden erlebten, hinsichtlich semantischer Eigenschaften wie Genre, Instrumentierung und Stimmung. Wir untersuchen die Beziehung zwischen verschiedenen Komponenten von MusicLM und der Gehirnaktivität durch eine voxelweise Encodierungsmodellanalyse. Darüber hinaus diskutieren wir, welche Gehirnregionen Informationen repräsentieren, die aus rein textbasierten Beschreibungen von Musikreizen abgeleitet wurden. Wir stellen ergänzendes Material bereit, einschließlich Beispiele der rekonstruierten Musik unter https://google-research.github.io/seanet/brain2music.
English
The process of reconstructing experiences from human brain activity offers a
unique lens into how the brain interprets and represents the world. In this
paper, we introduce a method for reconstructing music from brain activity,
captured using functional magnetic resonance imaging (fMRI). Our approach uses
either music retrieval or the MusicLM music generation model conditioned on
embeddings derived from fMRI data. The generated music resembles the musical
stimuli that human subjects experienced, with respect to semantic properties
like genre, instrumentation, and mood. We investigate the relationship between
different components of MusicLM and brain activity through a voxel-wise
encoding modeling analysis. Furthermore, we discuss which brain regions
represent information derived from purely textual descriptions of music
stimuli. We provide supplementary material including examples of the
reconstructed music at https://google-research.github.io/seanet/brain2music