MEG-to-MEG転移学習と限られたデータによるタスク横断的音声/無音検出

要旨

データ効率の良い神経デコーディングは、音声ブレイン・コンピュータ・インターフェースにおける中心的な課題である。本研究では、知覚と産出を跨ぐMEGベースの音声モデルに対して、転移学習とクロスタスクデコーディングを初めて実証する。単一被験者の50時間に及ぶ聴取データに基づきConformerベースのモデルを事前学習し、18名の被験者それぞれに対してわずか5分間のデータでファインチューニングを行った。転移学習により一貫した改善が得られ、タスク内精度では1～4%、クロスタスク精度ではより大きな5～6%の向上が見られた。事前学習は各タスク内の性能を向上させるだけでなく、知覚と産出の間での信頼性のあるクロスタスクデコーディングを可能にした。決定的には、音声産出で学習したモデルが受動的聴取をチャンスレベル以上にデコードでき、学習された表現がタスク特異的な運動活動ではなく、共通の神経プロセスを反映していることを確認した。

English

Data-efficient neural decoding is a central challenge for speech brain-computer interfaces. We present the first demonstration of transfer learning and cross-task decoding for MEG-based speech models spanning perception and production. We pre-train a Conformer-based model on 50 hours of single-subject listening data and fine-tune on just 5 minutes per subject across 18 participants. Transfer learning yields consistent improvements, with in-task accuracy gains of 1-4% and larger cross-task gains of up to 5-6%. Not only does pre-training improve performance within each task, but it also enables reliable cross-task decoding between perception and production. Critically, models trained on speech production decode passive listening above chance, confirming that learned representations reflect shared neural processes rather than task-specific motor activity.

MEG-to-MEG転移学習と限られたデータによるタスク横断的音声/無音検出

MEG-to-MEG Transfer Learning and Cross-Task Speech/Silence Detection with Limited Data

要旨

Support