EEG 데이터를 기반으로 한 잠재 확산 모델을 통한 자연주의적 음악 디코딩

Naturalistic Music Decoding from EEG Data via Latent Diffusion Models

May 15, 2024

저자: Emilian Postolache, Natalia Polouliakh, Hiroaki Kitano, Akima Connelly, Emanuele Rodolà, Taketo Akama

cs.AI

초록

본 논문에서는 강력한 생성 모델 계열인 잠재 확산 모델(latent diffusion models)을 활용하여 뇌파(EEG) 기록으로부터 자연스러운 음악을 재구성하는 가능성을 탐구합니다. MIDI로 생성된 곡이나 단선율 음악과 같이 음색이 제한된 단순한 음악과 달리, 본 연구는 다양한 악기, 보컬, 효과가 포함된 복잡한 음악에 초점을 맞추며, 이는 풍부한 하모니와 음색을 특징으로 합니다. 이 연구는 비침습적 EEG 데이터를 사용하여 고품질의 일반 음악 재구성을 달성하기 위한 초기 시도로서, 수동 전처리 및 채널 선택 없이 원시 데이터에 직접 종단간(end-to-end) 학습 접근법을 적용합니다. 우리는 공개된 NMED-T 데이터셋에 모델을 학습시키고, 신경망 임베딩 기반 메트릭을 제안하여 정량적 평가를 수행합니다. 또한 생성된 트랙을 기반으로 곡 분류를 수행합니다. 본 연구는 신경 디코딩 및 뇌-컴퓨터 인터페이스 분야의 지속적인 연구에 기여하며, 복잡한 청각 정보 재구성을 위해 EEG 데이터를 사용하는 가능성에 대한 통찰을 제공합니다.

English

In this article, we explore the potential of using latent diffusion models, a family of powerful generative models, for the task of reconstructing naturalistic music from electroencephalogram (EEG) recordings. Unlike simpler music with limited timbres, such as MIDI-generated tunes or monophonic pieces, the focus here is on intricate music featuring a diverse array of instruments, voices, and effects, rich in harmonics and timbre. This study represents an initial foray into achieving general music reconstruction of high-quality using non-invasive EEG data, employing an end-to-end training approach directly on raw data without the need for manual pre-processing and channel selection. We train our models on the public NMED-T dataset and perform quantitative evaluation proposing neural embedding-based metrics. We additionally perform song classification based on the generated tracks. Our work contributes to the ongoing research in neural decoding and brain-computer interfaces, offering insights into the feasibility of using EEG data for complex auditory information reconstruction.