Natürliche Musikdekodierung aus EEG-Daten mittels latenter Diffusionsmodelle

Naturalistic Music Decoding from EEG Data via Latent Diffusion Models

May 15, 2024

Autoren: Emilian Postolache, Natalia Polouliakh, Hiroaki Kitano, Akima Connelly, Emanuele Rodolà, Taketo Akama

cs.AI

Zusammenfassung

In diesem Artikel erforschen wir das Potenzial der Verwendung von latenten Diffusionsmodellen, einer Familie leistungsstarker generativer Modelle, für die Aufgabe der Rekonstruktion von naturalistischer Musik aus Elektroenzephalogramm (EEG)-Aufzeichnungen. Im Gegensatz zu einfacherer Musik mit begrenzten Klangfarben, wie z. B. MIDI-generierten Melodien oder monophonen Stücken, liegt der Fokus hier auf komplexer Musik mit einer vielfältigen Auswahl an Instrumenten, Stimmen und Effekten, reich an Harmonien und Klangfarben. Diese Studie stellt einen ersten Schritt dar, um eine allgemeine Musikrekonstruktion von hoher Qualität unter Verwendung nicht-invasiver EEG-Daten zu erreichen, wobei ein End-to-End-Trainingsansatz direkt auf Rohdaten ohne manuelle Vorverarbeitung und Kanalauswahl angewendet wird. Wir trainieren unsere Modelle auf dem öffentlichen NMED-T Datensatz und führen eine quantitative Evaluation durch, indem wir metrische Ansätze basierend auf neuronalen Einbettungen vorschlagen. Zusätzlich führen wir eine Song-Klassifizierung basierend auf den generierten Tracks durch. Unsere Arbeit trägt zur laufenden Forschung im Bereich neuronaler Dekodierung und Gehirn-Computer-Schnittstellen bei und bietet Einblicke in die Machbarkeit der Verwendung von EEG-Daten für die Rekonstruktion komplexer auditorischer Informationen.

English

In this article, we explore the potential of using latent diffusion models, a family of powerful generative models, for the task of reconstructing naturalistic music from electroencephalogram (EEG) recordings. Unlike simpler music with limited timbres, such as MIDI-generated tunes or monophonic pieces, the focus here is on intricate music featuring a diverse array of instruments, voices, and effects, rich in harmonics and timbre. This study represents an initial foray into achieving general music reconstruction of high-quality using non-invasive EEG data, employing an end-to-end training approach directly on raw data without the need for manual pre-processing and channel selection. We train our models on the public NMED-T dataset and perform quantitative evaluation proposing neural embedding-based metrics. We additionally perform song classification based on the generated tracks. Our work contributes to the ongoing research in neural decoding and brain-computer interfaces, offering insights into the feasibility of using EEG data for complex auditory information reconstruction.