Brain2Music: 인간 뇌 활동으로부터 음악 재구성하기

초록

인간의 뇌 활동에서 경험을 재구성하는 과정은 뇌가 세상을 어떻게 해석하고 표현하는지에 대한 독특한 통찰을 제공합니다. 본 논문에서는 기능적 자기공명영상(fMRI)을 통해 포착된 뇌 활동으로부터 음악을 재구성하는 방법을 소개합니다. 우리의 접근 방식은 fMRI 데이터에서 도출된 임베딩을 기반으로 음악 검색 또는 MusicLM 음악 생성 모델을 사용합니다. 생성된 음악은 장르, 악기 구성, 분위기와 같은 의미론적 특성 측면에서 인간 피실험자가 경험한 음악 자극과 유사합니다. 우리는 복셀 단위 인코딩 모델링 분석을 통해 MusicLM의 다양한 구성 요소와 뇌 활동 간의 관계를 조사합니다. 또한, 순수한 텍스트 기반 음악 자극 설명에서 도출된 정보를 나타내는 뇌 영역에 대해 논의합니다. 재구성된 음악의 예시를 포함한 보조 자료는 https://google-research.github.io/seanet/brain2music에서 제공합니다.

English

The process of reconstructing experiences from human brain activity offers a unique lens into how the brain interprets and represents the world. In this paper, we introduce a method for reconstructing music from brain activity, captured using functional magnetic resonance imaging (fMRI). Our approach uses either music retrieval or the MusicLM music generation model conditioned on embeddings derived from fMRI data. The generated music resembles the musical stimuli that human subjects experienced, with respect to semantic properties like genre, instrumentation, and mood. We investigate the relationship between different components of MusicLM and brain activity through a voxel-wise encoding modeling analysis. Furthermore, we discuss which brain regions represent information derived from purely textual descriptions of music stimuli. We provide supplementary material including examples of the reconstructed music at https://google-research.github.io/seanet/brain2music

Brain2Music: 인간 뇌 활동으로부터 음악 재구성하기

Brain2Music: Reconstructing Music from Human Brain Activity

초록

Support