Neuro2Semantic：ヒト頭蓋内脳波からの連続言語の意味的再構築のための転移学習フレームワーク

Neuro2Semantic: A Transfer Learning Framework for Semantic Reconstruction of Continuous Language from Human Intracranial EEG

May 31, 2025

著者: Siavash Shams, Richard Antonello, Gavin Mischler, Stephan Bickel, Ashesh Mehta, Nima Mesgarani

cs.AI

要旨

神経信号から連続的な言語を解読することは、神経科学と人工知能の交差点において依然として重要な課題である。本研究では、頭蓋内脳波（iEEG）記録から知覚された音声の意味内容を再構築する新しいフレームワーク「Neuro2Semantic」を提案する。我々のアプローチは2つの段階から構成される：第1に、LSTMベースのアダプタが神経信号を事前学習済みのテキスト埋め込みと整合させる。第2に、補正モジュールがこれらの整合された埋め込みから直接、連続的で自然なテキストを生成する。この柔軟な手法は、従来の解読アプローチの限界を克服し、制約のないテキスト生成を可能にする。Neuro2Semanticは、わずか30分の神経データで高い性能を達成し、低データ設定において最近の最先端手法を上回る。これらの結果は、脳-コンピュータインターフェースや神経解読技術における実用的な応用の可能性を示唆している。

English

Decoding continuous language from neural signals remains a significant challenge in the intersection of neuroscience and artificial intelligence. We introduce Neuro2Semantic, a novel framework that reconstructs the semantic content of perceived speech from intracranial EEG (iEEG) recordings. Our approach consists of two phases: first, an LSTM-based adapter aligns neural signals with pre-trained text embeddings; second, a corrector module generates continuous, natural text directly from these aligned embeddings. This flexible method overcomes the limitations of previous decoding approaches and enables unconstrained text generation. Neuro2Semantic achieves strong performance with as little as 30 minutes of neural data, outperforming a recent state-of-the-art method in low-data settings. These results highlight the potential for practical applications in brain-computer interfaces and neural decoding technologies.