Neuro2Semantic: 인간 두개 내 뇌파(EEG)로부터 연속 언어의 의미론적 재구성을 위한 전이 학습 프레임워크

초록

신경과학과 인공지능의 교차점에서 신경 신호로부터 연속적인 언어를 해독하는 것은 여전히 중요한 과제로 남아 있습니다. 우리는 두개 내 뇌파(iEEG) 기록으로부터 인지된 음성의 의미적 내용을 재구성하는 새로운 프레임워크인 Neuro2Semantic을 소개합니다. 우리의 접근 방식은 두 단계로 구성됩니다: 첫째, LSTM 기반 어댑터가 신경 신호를 사전 훈련된 텍스트 임베딩과 정렬하고, 둘째, 보정 모듈이 이러한 정렬된 임베딩에서 직접 연속적이고 자연스러운 텍스트를 생성합니다. 이 유연한 방법은 기존의 해독 접근법의 한계를 극복하고 제약 없는 텍스트 생성을 가능하게 합니다. Neuro2Semantic은 단 30분의 신경 데이터로도 강력한 성능을 달성하며, 저데이터 환경에서 최신 최첨단 방법을 능가합니다. 이러한 결과는 뇌-컴퓨터 인터페이스와 신경 해독 기술에서의 실용적 응용 가능성을 강조합니다.

English

Decoding continuous language from neural signals remains a significant challenge in the intersection of neuroscience and artificial intelligence. We introduce Neuro2Semantic, a novel framework that reconstructs the semantic content of perceived speech from intracranial EEG (iEEG) recordings. Our approach consists of two phases: first, an LSTM-based adapter aligns neural signals with pre-trained text embeddings; second, a corrector module generates continuous, natural text directly from these aligned embeddings. This flexible method overcomes the limitations of previous decoding approaches and enables unconstrained text generation. Neuro2Semantic achieves strong performance with as little as 30 minutes of neural data, outperforming a recent state-of-the-art method in low-data settings. These results highlight the potential for practical applications in brain-computer interfaces and neural decoding technologies.

Neuro2Semantic: 인간 두개 내 뇌파(EEG)로부터 연속 언어의 의미론적 재구성을 위한 전이 학습 프레임워크

Neuro2Semantic: A Transfer Learning Framework for Semantic Reconstruction of Continuous Language from Human Intracranial EEG

초록

Support