Neuro2Semantic: Un Framework di Transfer Learning per la Ricostruzione Semantica del Linguaggio Continuo da EEG Intracranico Umano

Neuro2Semantic: A Transfer Learning Framework for Semantic Reconstruction of Continuous Language from Human Intracranial EEG

May 31, 2025

Autori: Siavash Shams, Richard Antonello, Gavin Mischler, Stephan Bickel, Ashesh Mehta, Nima Mesgarani

cs.AI

Abstract

Decodificare il linguaggio continuo dai segnali neurali rimane una sfida significativa all'intersezione tra neuroscienze e intelligenza artificiale. Presentiamo Neuro2Semantic, un nuovo framework che ricostruisce il contenuto semantico del parlato percepito da registrazioni EEG intracraniche (iEEG). Il nostro approccio si compone di due fasi: inizialmente, un adattatore basato su LSTM allinea i segnali neurali con embedding di testo pre-addestrati; successivamente, un modulo correttore genera testo continuo e naturale direttamente da questi embedding allineati. Questo metodo flessibile supera i limiti dei precedenti approcci di decodifica e consente la generazione di testo senza vincoli. Neuro2Semantic ottiene prestazioni robuste con appena 30 minuti di dati neurali, superando un recente metodo all'avanguardia in contesti con dati limitati. Questi risultati evidenziano il potenziale per applicazioni pratiche nelle interfacce cervello-computer e nelle tecnologie di decodifica neurale.

English

Decoding continuous language from neural signals remains a significant challenge in the intersection of neuroscience and artificial intelligence. We introduce Neuro2Semantic, a novel framework that reconstructs the semantic content of perceived speech from intracranial EEG (iEEG) recordings. Our approach consists of two phases: first, an LSTM-based adapter aligns neural signals with pre-trained text embeddings; second, a corrector module generates continuous, natural text directly from these aligned embeddings. This flexible method overcomes the limitations of previous decoding approaches and enables unconstrained text generation. Neuro2Semantic achieves strong performance with as little as 30 minutes of neural data, outperforming a recent state-of-the-art method in low-data settings. These results highlight the potential for practical applications in brain-computer interfaces and neural decoding technologies.