Neuro2Semantic: Um Framework de Aprendizado por Transferência para Reconstrução Semântica de Linguagem Contínua a partir de EEG Intracraniano Humano

Neuro2Semantic: A Transfer Learning Framework for Semantic Reconstruction of Continuous Language from Human Intracranial EEG

May 31, 2025

Autores: Siavash Shams, Richard Antonello, Gavin Mischler, Stephan Bickel, Ashesh Mehta, Nima Mesgarani

cs.AI

Resumo

Decodificar linguagem contínua a partir de sinais neurais continua sendo um desafio significativo na interseção entre neurociência e inteligência artificial. Apresentamos o Neuro2Semantic, uma estrutura inovadora que reconstrói o conteúdo semântico da fala percebida a partir de gravações de EEG intracraniano (iEEG). Nossa abordagem consiste em duas fases: primeiro, um adaptador baseado em LSTM alinha os sinais neurais com embeddings de texto pré-treinados; segundo, um módulo corretor gera texto contínuo e natural diretamente a partir desses embeddings alinhados. Esse método flexível supera as limitações das abordagens anteriores de decodificação e permite a geração de texto sem restrições. O Neuro2Semantic alcança um desempenho robusto com apenas 30 minutos de dados neurais, superando um método recente de ponta em cenários de baixo volume de dados. Esses resultados destacam o potencial para aplicações práticas em interfaces cérebro-computador e tecnologias de decodificação neural.

English

Decoding continuous language from neural signals remains a significant challenge in the intersection of neuroscience and artificial intelligence. We introduce Neuro2Semantic, a novel framework that reconstructs the semantic content of perceived speech from intracranial EEG (iEEG) recordings. Our approach consists of two phases: first, an LSTM-based adapter aligns neural signals with pre-trained text embeddings; second, a corrector module generates continuous, natural text directly from these aligned embeddings. This flexible method overcomes the limitations of previous decoding approaches and enables unconstrained text generation. Neuro2Semantic achieves strong performance with as little as 30 minutes of neural data, outperforming a recent state-of-the-art method in low-data settings. These results highlight the potential for practical applications in brain-computer interfaces and neural decoding technologies.