의미적 병목: 비침습적 음성 디코딩을 위한 의미 표상 활용

초록

비침습적 음성 디코딩은 신경 기록의 낮은 신호 대 잡음비로 인해 여전히 제약을 받으며, 이로 인해 음소나 개별 단어의 세밀한 재구성이 어렵다. 고수준 의미 표상이 피질 영역에 분산되어 있고 더 느린 시간 규모에서 변화한다는 신경과학적 증거에 착안하여, 우리는 의미 내용이 저수준 음향적 또는 어휘적 특징보다 비침습적 디코딩에 더 적합한 대상이 될 수 있다고 가정한다. 우리는 중간 의미 임베딩 공간을 통해 텍스트를 재구성하는 방법인 Brain2Semantics2Text를 소개한다. 우리 모델은 문장 수준 MEG 반응을 의미 매니폴드로 매핑한 다음, 예측된 임베딩을 자연어로 역변환한다. 이러한 의미 병목은 단어 수준 정렬 없이 고수준 의미의 복원을 가능하게 한다. 우리는 이 접근법의 핵심 원리, 구현, 그리고 신뢰할 수 있는 신경-의미 매핑 학습의 어려움을 완화하기 위해 사용한 전략을 설명한다. 마지막으로, 우리는 기존 비침습적 Brain2Text 방법들과 비교하여 향상된 문장 수준 결과를 보인다.

English

Non-invasive speech decoding remains constrained by the low signal-to-noise ratio of neural recordings, which makes fine-grained reconstruction of phonemes or individual words difficult. Motivated by neuroscientific evidence that high-level semantic representations are distributed across cortical regions and evolve over slower temporal scales, we hypothesize that semantic content may provide a more suitable target for non-invasive decoding than low-level acoustic or lexical features. We introduce Brain2Semantics2Text, a method that reconstructs text through an intermediate semantic embedding space. Our model maps sentence-level MEG responses into a semantic manifold and then inverts the predicted embeddings into natural language. This semantic bottleneck enables recovery of high-level meaning without word-level alignment. We describe the core principles of the approach, its implementation, and the strategies used to mitigate the challenges of learning a reliable neural-to-semantic mapping. Finally, we compare against prior non-invasive Brain2Text methods and show improved sentence-level results.