제한된 데이터를 활용한 MEG 간 전이 학습 및 과제 간 음성/침묵 감지

초록

데이터 효율적 신경 디코딩은 음성 뇌-컴퓨터 인터페이스의 핵심 과제입니다. 본 연구는 인지와 생성을 아우르는 MEG 기반 음성 모델에 대해 전이 학습과 교차 과제 디코딩을 최초로 구현한 사례를 제시합니다. 단일 피실험자의 50시간 청취 데이터를 바탕으로 Conformer 기반 모델을 사전 학습한 후, 18명의 피실험자 각각에 대해 5분 분량의 데이터만으로 미세 조정을 수행했습니다. 전이 학습은 인지 과제 내 정확도 1-4% 향상, 교차 과제 간 최대 5-6% 향상 등 일관된 성능 개선을 보였습니다. 사전 학습은 각 과제 내 성능을 향상시킬 뿐만 아니라, 인지와 생성 간의 안정적인 교차 과제 디코딩도 가능하게 했습니다. 특히 중요한 것은 음성 생성으로 학습된 모델이 수동 청취 상태를 우연 수준 이상으로 디코딩했다는 점으로, 이는 학습된 표현이 과제 특화적 운동 활동이 아닌 공유 신경 과정을 반영함을 입증합니다.

English

Data-efficient neural decoding is a central challenge for speech brain-computer interfaces. We present the first demonstration of transfer learning and cross-task decoding for MEG-based speech models spanning perception and production. We pre-train a Conformer-based model on 50 hours of single-subject listening data and fine-tune on just 5 minutes per subject across 18 participants. Transfer learning yields consistent improvements, with in-task accuracy gains of 1-4% and larger cross-task gains of up to 5-6%. Not only does pre-training improve performance within each task, but it also enables reliable cross-task decoding between perception and production. Critically, models trained on speech production decode passive listening above chance, confirming that learned representations reflect shared neural processes rather than task-specific motor activity.

제한된 데이터를 활용한 MEG 간 전이 학습 및 과제 간 음성/침묵 감지

MEG-to-MEG Transfer Learning and Cross-Task Speech/Silence Detection with Limited Data

초록

Support