Brain2Music: Воссоздание музыки на основе активности человеческого мозга
Brain2Music: Reconstructing Music from Human Brain Activity
July 20, 2023
Авторы: Timo I. Denk, Yu Takagi, Takuya Matsuyama, Andrea Agostinelli, Tomoya Nakai, Christian Frank, Shinji Nishimoto
cs.AI
Аннотация
Процесс восстановления переживаний на основе активности человеческого мозга предоставляет уникальную возможность понять, как мозг интерпретирует и представляет окружающий мир. В данной статье мы представляем метод восстановления музыки на основе активности мозга, зарегистрированной с помощью функциональной магнитно-резонансной томографии (фМРТ). Наш подход использует либо поиск музыки, либо модель генерации музыки MusicLM, адаптированную на основе эмбеддингов, полученных из данных фМРТ. Сгенерированная музыка напоминает музыкальные стимулы, которые испытывали участники исследования, с точки зрения семантических свойств, таких как жанр, инструментовка и настроение. Мы исследуем взаимосвязь между различными компонентами MusicLM и активностью мозга с помощью анализа воксель-кодирующего моделирования. Кроме того, мы обсуждаем, какие области мозга представляют информацию, полученную исключительно из текстовых описаний музыкальных стимулов. Мы предоставляем дополнительные материалы, включая примеры восстановленной музыки, по адресу https://google-research.github.io/seanet/brain2music.
English
The process of reconstructing experiences from human brain activity offers a
unique lens into how the brain interprets and represents the world. In this
paper, we introduce a method for reconstructing music from brain activity,
captured using functional magnetic resonance imaging (fMRI). Our approach uses
either music retrieval or the MusicLM music generation model conditioned on
embeddings derived from fMRI data. The generated music resembles the musical
stimuli that human subjects experienced, with respect to semantic properties
like genre, instrumentation, and mood. We investigate the relationship between
different components of MusicLM and brain activity through a voxel-wise
encoding modeling analysis. Furthermore, we discuss which brain regions
represent information derived from purely textual descriptions of music
stimuli. We provide supplementary material including examples of the
reconstructed music at https://google-research.github.io/seanet/brain2music