Neuro2Semantic: Ein Transfer-Learning-Framework zur semantischen Rekonstruktion kontinuierlicher Sprache aus menschlichen intrakraniellen EEG-Daten

Neuro2Semantic: A Transfer Learning Framework for Semantic Reconstruction of Continuous Language from Human Intracranial EEG

May 31, 2025

Autoren: Siavash Shams, Richard Antonello, Gavin Mischler, Stephan Bickel, Ashesh Mehta, Nima Mesgarani

cs.AI

Zusammenfassung

Die Dekodierung kontinuierlicher Sprache aus neuronalen Signalen bleibt eine bedeutende Herausforderung an der Schnittstelle von Neurowissenschaften und künstlicher Intelligenz. Wir stellen Neuro2Semantic vor, ein neuartiges Framework, das den semantischen Inhalt wahrgenommener Sprache aus intrakraniellen EEG-Aufnahmen (iEEG) rekonstruiert. Unser Ansatz besteht aus zwei Phasen: Zuerst richtet ein LSTM-basierter Adapter neuronale Signale an vortrainierten Text-Embeddings aus; anschließend generiert ein Korrekturmodul kontinuierlichen, natürlichen Text direkt aus diesen ausgerichteten Embeddings. Diese flexible Methode überwindet die Einschränkungen bisheriger Dekodierungsansätze und ermöglicht eine ungehinderte Textgenerierung. Neuro2Semantic erzielt eine starke Leistung mit nur 30 Minuten neuronaler Daten und übertrifft dabei einen aktuellen State-of-the-Art-Ansatz in Umgebungen mit geringen Datenmengen. Diese Ergebnisse unterstreichen das Potenzial für praktische Anwendungen in Brain-Computer-Interfaces und neuronalen Dekodierungstechnologien.

English

Decoding continuous language from neural signals remains a significant challenge in the intersection of neuroscience and artificial intelligence. We introduce Neuro2Semantic, a novel framework that reconstructs the semantic content of perceived speech from intracranial EEG (iEEG) recordings. Our approach consists of two phases: first, an LSTM-based adapter aligns neural signals with pre-trained text embeddings; second, a corrector module generates continuous, natural text directly from these aligned embeddings. This flexible method overcomes the limitations of previous decoding approaches and enables unconstrained text generation. Neuro2Semantic achieves strong performance with as little as 30 minutes of neural data, outperforming a recent state-of-the-art method in low-data settings. These results highlight the potential for practical applications in brain-computer interfaces and neural decoding technologies.