Neuro2Semantic : Un cadre d'apprentissage par transfert pour la reconstruction sémantique du langage continu à partir d'électroencéphalographie intracrânienne humaine

Neuro2Semantic: A Transfer Learning Framework for Semantic Reconstruction of Continuous Language from Human Intracranial EEG

May 31, 2025

Auteurs: Siavash Shams, Richard Antonello, Gavin Mischler, Stephan Bickel, Ashesh Mehta, Nima Mesgarani

cs.AI

Résumé

Le décodage du langage continu à partir de signaux neuronaux demeure un défi majeur à l'intersection des neurosciences et de l'intelligence artificielle. Nous présentons Neuro2Semantic, un cadre novateur qui reconstruit le contenu sémantique de la parole perçue à partir d'enregistrements EEG intracrâniens (iEEG). Notre approche se compose de deux phases : premièrement, un adaptateur basé sur LSTM aligne les signaux neuronaux avec des embeddings de texte pré-entraînés ; deuxièmement, un module correcteur génère du texte continu et naturel directement à partir de ces embeddings alignés. Cette méthode flexible surmonte les limitations des approches de décodage précédentes et permet une génération de texte sans contraintes. Neuro2Semantic obtient des performances solides avec seulement 30 minutes de données neuronales, surpassant une méthode récente de pointe dans des contextes à faible quantité de données. Ces résultats mettent en lumière le potentiel d'applications pratiques dans les interfaces cerveau-ordinateur et les technologies de décodage neural.

English

Decoding continuous language from neural signals remains a significant challenge in the intersection of neuroscience and artificial intelligence. We introduce Neuro2Semantic, a novel framework that reconstructs the semantic content of perceived speech from intracranial EEG (iEEG) recordings. Our approach consists of two phases: first, an LSTM-based adapter aligns neural signals with pre-trained text embeddings; second, a corrector module generates continuous, natural text directly from these aligned embeddings. This flexible method overcomes the limitations of previous decoding approaches and enables unconstrained text generation. Neuro2Semantic achieves strong performance with as little as 30 minutes of neural data, outperforming a recent state-of-the-art method in low-data settings. These results highlight the potential for practical applications in brain-computer interfaces and neural decoding technologies.