MEG-XL: 長文脈事前学習によるデータ効率の良い脳信号からテキストへの変換

MEG-XL: Data-Efficient Brain-to-Text via Long-Context Pre-Training

February 2, 2026

著者: Dulhan Jayalath, Oiwi Parker Jones

cs.AI

要旨

臨床脳信号テキスト変換インターフェースは、大規模な訓練記録を提供できない麻痺患者向けに設計されている。事前学習は被験者横断的な統計的事前分布を学習することでデータ効率的な一般化を改善するが、これらの事前分布は文脈に強く依存する。自然発話が数分間にわたって徐々に展開されるのに対し、従来手法の多くは数秒間の文脈のみで事前学習を行う。そこで我々は、サンプルあたり2.5分間のMEG文脈（従来研究の5～300倍、19万1千トークンに相当）で事前学習したモデルMEG-XLを提案し、拡張された神経文脈を捕捉する。脳データからの単語デコーディングタスクでファインチューニングした結果、MEG-XLは少量のデータ（例：50時間に対し1時間）で教師あり学習と同等の性能を達成し、脳信号基盤モデルを上回った。長文脈で事前学習したモデルは、単語デコーディングにより良く転移する表現を学習することがわかった。本研究は、長文脈事前学習が他の手法が不必要に破棄している拡張神経文脈を活用するのに有効であることを示す。コード、モデル重み、説明書はhttps://github.com/neural-processing-lab/MEG-XL で公開されている。

English

Clinical brain-to-text interfaces are designed for paralysed patients who cannot provide extensive training recordings. Pre-training improves data-efficient generalisation by learning statistical priors across subjects, but these priors critically depend on context. While natural speech might unfold gradually over minutes, most methods pre-train with only a few seconds of context. Thus, we propose MEG-XL, a model pre-trained with 2.5 minutes of MEG context per sample, 5-300x longer than prior work, and equivalent to 191k tokens, capturing extended neural context. Fine-tuning on the task of word decoding from brain data, MEG-XL matches supervised performance with a fraction of the data (e.g. 1hr vs 50hrs) and outperforms brain foundation models. We find that models pre-trained with longer contexts learn representations that transfer better to word decoding. Our results indicate that long-context pre-training helps exploit extended neural context that other methods unnecessarily discard. Code, model weights, and instructions are available at https://github.com/neural-processing-lab/MEG-XL .