意味的ボトルネック：非侵襲的発話デコーディングに意味表現を活用する

要旨

非侵襲的発話デコーディングは、神経記録の低い信号対雑音比によって依然として制約を受けており、そのため音素や個々の単語の細粒度な再構成が困難である。高次意味表現が皮質領域に分散し、より遅い時間スケールで変化するという神経科学的証拠に動機づけられ、我々は、意味内容が低次の音響特徴や語彙特徴よりも非侵襲的デコーディングにとって適した標的となりうるという仮説を立てる。我々はBrain2Semantics2Textを導入する。これは中間意味埋め込み空間を通じてテキストを再構成する手法である。我々のモデルは文レベルのMEG応答を意味多様体に写像し、その後、予測された埋め込みを自然言語へと逆変換する。この意味ボトルネックにより、単語レベルのアラインメントなしに高次意味を復元することが可能になる。我々は、本アプローチの中核原理、その実装、および信頼できる神経-意味マッピングの学習における課題を緩和するために用いた戦略について述べる。最後に、従来の非侵襲的Brain2Text手法と比較し、文レベルの結果が改善することを示す。

English

Non-invasive speech decoding remains constrained by the low signal-to-noise ratio of neural recordings, which makes fine-grained reconstruction of phonemes or individual words difficult. Motivated by neuroscientific evidence that high-level semantic representations are distributed across cortical regions and evolve over slower temporal scales, we hypothesize that semantic content may provide a more suitable target for non-invasive decoding than low-level acoustic or lexical features. We introduce Brain2Semantics2Text, a method that reconstructs text through an intermediate semantic embedding space. Our model maps sentence-level MEG responses into a semantic manifold and then inverts the predicted embeddings into natural language. This semantic bottleneck enables recovery of high-level meaning without word-level alignment. We describe the core principles of the approach, its implementation, and the strategies used to mitigate the challenges of learning a reliable neural-to-semantic mapping. Finally, we compare against prior non-invasive Brain2Text methods and show improved sentence-level results.