Brain2Music: 人間の脳活動から音楽を再構築する

要旨

人間の脳活動から体験を再構築するプロセスは、脳が世界をどのように解釈し表現するかを探る独自の視点を提供します。本論文では、機能的磁気共鳴画像法（fMRI）を用いて捕捉された脳活動から音楽を再構築する手法を紹介します。私たちのアプローチでは、fMRIデータから導出された埋め込み情報を条件として、音楽検索またはMusicLM音楽生成モデルを使用します。生成された音楽は、被験者が体験した音楽刺激と、ジャンル、楽器編成、ムードといった意味的特性において類似しています。私たちは、voxel単位の符号化モデリング分析を通じて、MusicLMの異なるコンポーネントと脳活動の関係を調査します。さらに、純粋にテキストベースの音楽刺激の記述から導出された情報をどの脳領域が表現しているかについても議論します。再構築された音楽のサンプルを含む補足資料を、https://google-research.github.io/seanet/brain2music で提供しています。

English

The process of reconstructing experiences from human brain activity offers a unique lens into how the brain interprets and represents the world. In this paper, we introduce a method for reconstructing music from brain activity, captured using functional magnetic resonance imaging (fMRI). Our approach uses either music retrieval or the MusicLM music generation model conditioned on embeddings derived from fMRI data. The generated music resembles the musical stimuli that human subjects experienced, with respect to semantic properties like genre, instrumentation, and mood. We investigate the relationship between different components of MusicLM and brain activity through a voxel-wise encoding modeling analysis. Furthermore, we discuss which brain regions represent information derived from purely textual descriptions of music stimuli. We provide supplementary material including examples of the reconstructed music at https://google-research.github.io/seanet/brain2music

Brain2Music: 人間の脳活動から音楽を再構築する

Brain2Music: Reconstructing Music from Human Brain Activity

要旨

Support