MEG-XL: Data-efficiënte Hersen-naar-Tekst via Pre-training met Lange Context

MEG-XL: Data-Efficient Brain-to-Text via Long-Context Pre-Training

February 2, 2026

Auteurs: Dulhan Jayalath, Oiwi Parker Jones

cs.AI

Samenvatting

Klinische brein-naar-tekst-interfaces zijn ontworpen voor verlamde patiënten die geen uitgebreide trainingsopnames kunnen verstrekken. Pre-training verbetert data-efficiënte generalisatie door het leren van statistische priors over proefpersonen heen, maar deze priors zijn cruciaal afhankelijk van context. Terwijl natuurlijke spraak zich geleidelijk over minuten kan ontvouwen, pre-trainen de meeste methodes met slechts enkele seconden context. Daarom stellen we MEG-XL voor, een model dat pre-getraind is met 2,5 minuten MEG-context per sample, 5-300 keer langer dan eerder werk, en gelijkwaardig aan 191k tokens, waardoor uitgebreide neurale context wordt vastgelegd. Na fine-tuning voor de taak van woorddecodering uit breindata, evenaart MEG-XL supervised prestaties met een fractie van de data (bijv. 1 uur vs. 50 uur) en overtreft het brein foundation modellen. We ontdekken dat modellen die met langere contexten zijn pre-getraind, representaties leren die beter overdraagbaar zijn naar woorddecodering. Onze resultaten geven aan dat pre-training met lange context helpt om uitgebreide neurale context te benutten die andere methodes onnodig wegwerpen. Code, modelgewichten en instructies zijn beschikbaar op https://github.com/neural-processing-lab/MEG-XL.

English

Clinical brain-to-text interfaces are designed for paralysed patients who cannot provide extensive training recordings. Pre-training improves data-efficient generalisation by learning statistical priors across subjects, but these priors critically depend on context. While natural speech might unfold gradually over minutes, most methods pre-train with only a few seconds of context. Thus, we propose MEG-XL, a model pre-trained with 2.5 minutes of MEG context per sample, 5-300x longer than prior work, and equivalent to 191k tokens, capturing extended neural context. Fine-tuning on the task of word decoding from brain data, MEG-XL matches supervised performance with a fraction of the data (e.g. 1hr vs 50hrs) and outperforms brain foundation models. We find that models pre-trained with longer contexts learn representations that transfer better to word decoding. Our results indicate that long-context pre-training helps exploit extended neural context that other methods unnecessarily discard. Code, model weights, and instructions are available at https://github.com/neural-processing-lab/MEG-XL .