Neuro2Semantic: Een Transfer Learning Framework voor de Semantische Reconstructie van Continue Taal uit Menselijke Intracraniële EEG

Neuro2Semantic: A Transfer Learning Framework for Semantic Reconstruction of Continuous Language from Human Intracranial EEG

May 31, 2025

Auteurs: Siavash Shams, Richard Antonello, Gavin Mischler, Stephan Bickel, Ashesh Mehta, Nima Mesgarani

cs.AI

Samenvatting

Het decoderen van continue taal uit neurale signalen blijft een belangrijke uitdaging op het snijvlak van neurowetenschappen en kunstmatige intelligentie. Wij introduceren Neuro2Semantic, een nieuw raamwerk dat de semantische inhoud van waargenomen spraak reconstrueert uit intracraniële EEG (iEEG)-opnames. Onze aanpak bestaat uit twee fasen: eerst aligneert een LSTM-gebaseerde adapter neurale signalen met vooraf getrainde tekst-embeddings; vervolgens genereert een correctiemodule continue, natuurlijke tekst rechtstreeks vanuit deze gealigneerde embeddings. Deze flexibele methode overkomt de beperkingen van eerdere decodeerbenaderingen en maakt onbeperkte tekstgeneratie mogelijk. Neuro2Semantic behaalt sterke prestaties met slechts 30 minuten neurale data en overtreft een recente state-of-the-art methode in situaties met weinig data. Deze resultaten benadrukken het potentieel voor praktische toepassingen in brain-computer interfaces en neurale decodeertechnologieën.

English

Decoding continuous language from neural signals remains a significant challenge in the intersection of neuroscience and artificial intelligence. We introduce Neuro2Semantic, a novel framework that reconstructs the semantic content of perceived speech from intracranial EEG (iEEG) recordings. Our approach consists of two phases: first, an LSTM-based adapter aligns neural signals with pre-trained text embeddings; second, a corrector module generates continuous, natural text directly from these aligned embeddings. This flexible method overcomes the limitations of previous decoding approaches and enables unconstrained text generation. Neuro2Semantic achieves strong performance with as little as 30 minutes of neural data, outperforming a recent state-of-the-art method in low-data settings. These results highlight the potential for practical applications in brain-computer interfaces and neural decoding technologies.