Neuro2Semantic: Un Marco de Aprendizaje por Transferencia para la Reconstrucción Semántica del Lenguaje Continuo a partir de EEG Intracraneal Humano

Neuro2Semantic: A Transfer Learning Framework for Semantic Reconstruction of Continuous Language from Human Intracranial EEG

May 31, 2025

Autores: Siavash Shams, Richard Antonello, Gavin Mischler, Stephan Bickel, Ashesh Mehta, Nima Mesgarani

cs.AI

Resumen

La decodificación del lenguaje continuo a partir de señales neurales sigue siendo un desafío significativo en la intersección entre la neurociencia y la inteligencia artificial. Presentamos Neuro2Semantic, un marco novedoso que reconstruye el contenido semántico del habla percibida a partir de registros de electroencefalografía intracraneal (iEEG). Nuestro enfoque consta de dos fases: primero, un adaptador basado en LSTM alinea las señales neurales con incrustaciones de texto preentrenadas; segundo, un módulo corrector genera texto continuo y natural directamente a partir de estas incrustaciones alineadas. Este método flexible supera las limitaciones de los enfoques de decodificación previos y permite la generación de texto sin restricciones. Neuro2Semantic logra un rendimiento sólido con tan solo 30 minutos de datos neurales, superando un método reciente de vanguardia en entornos de baja disponibilidad de datos. Estos resultados resaltan el potencial para aplicaciones prácticas en interfaces cerebro-computadora y tecnologías de decodificación neural.

English

Decoding continuous language from neural signals remains a significant challenge in the intersection of neuroscience and artificial intelligence. We introduce Neuro2Semantic, a novel framework that reconstructs the semantic content of perceived speech from intracranial EEG (iEEG) recordings. Our approach consists of two phases: first, an LSTM-based adapter aligns neural signals with pre-trained text embeddings; second, a corrector module generates continuous, natural text directly from these aligned embeddings. This flexible method overcomes the limitations of previous decoding approaches and enables unconstrained text generation. Neuro2Semantic achieves strong performance with as little as 30 minutes of neural data, outperforming a recent state-of-the-art method in low-data settings. These results highlight the potential for practical applications in brain-computer interfaces and neural decoding technologies.