Neuro2Semantic: Фреймворк трансферного обучения для семантической реконструкции непрерывной речи на основе внутричерепной ЭЭГ человека

Neuro2Semantic: A Transfer Learning Framework for Semantic Reconstruction of Continuous Language from Human Intracranial EEG

May 31, 2025

Авторы: Siavash Shams, Richard Antonello, Gavin Mischler, Stephan Bickel, Ashesh Mehta, Nima Mesgarani

cs.AI

Аннотация

Расшифровка непрерывной речи на основе нейронных сигналов остается серьезной задачей на стыке нейронауки и искусственного интеллекта. Мы представляем Neuro2Semantic, новую структуру, которая восстанавливает семантическое содержание воспринимаемой речи на основе внутричерепных записей электроэнцефалограммы (iEEG). Наш подход состоит из двух этапов: сначала адаптер на основе LSTM согласовывает нейронные сигналы с предварительно обученными текстовыми эмбеддингами; затем корректирующий модуль генерирует непрерывный, естественный текст непосредственно из этих согласованных эмбеддингов. Этот гибкий метод преодолевает ограничения предыдущих подходов к расшифровке и позволяет создавать неограниченный текст. Neuro2Semantic демонстрирует высокую производительность даже при наличии всего 30 минут нейронных данных, превосходя современный метод в условиях ограниченного объема данных. Эти результаты подчеркивают потенциал для практического применения в интерфейсах мозг-компьютер и технологиях нейронной расшифровки.

English

Decoding continuous language from neural signals remains a significant challenge in the intersection of neuroscience and artificial intelligence. We introduce Neuro2Semantic, a novel framework that reconstructs the semantic content of perceived speech from intracranial EEG (iEEG) recordings. Our approach consists of two phases: first, an LSTM-based adapter aligns neural signals with pre-trained text embeddings; second, a corrector module generates continuous, natural text directly from these aligned embeddings. This flexible method overcomes the limitations of previous decoding approaches and enables unconstrained text generation. Neuro2Semantic achieves strong performance with as little as 30 minutes of neural data, outperforming a recent state-of-the-art method in low-data settings. These results highlight the potential for practical applications in brain-computer interfaces and neural decoding technologies.