MEG-XL: Dateneffiziente Gehirn-zu-Text-Übertragung durch Pre-Training mit langen Kontexten

MEG-XL: Data-Efficient Brain-to-Text via Long-Context Pre-Training

February 2, 2026

papers.authors: Dulhan Jayalath, Oiwi Parker Jones

cs.AI

papers.abstract

Klinische Gehirn-Text-Schnittstellen sind für gelähmte Patienten konzipiert, die keine umfangreichen Trainingsaufnahmen zur Verfügung stellen können. Pre-Training verbessert die dateneffiziente Generalisierung durch das Erlernen statistischer A-priori-Informationen über verschiedene Probanden hinweg, doch diese A-priori-Informationen hängen entscheidend vom Kontext ab. Während natürliche Sprache sich allmählich über Minuten entfalten kann, pre-trainieren die meisten Methoden mit nur wenigen Sekunden Kontext. Daher schlagen wir MEG-XL vor, ein Modell, das mit 2,5 Minuten MEG-Kontext pro Sample pre-trai

English

Clinical brain-to-text interfaces are designed for paralysed patients who cannot provide extensive training recordings. Pre-training improves data-efficient generalisation by learning statistical priors across subjects, but these priors critically depend on context. While natural speech might unfold gradually over minutes, most methods pre-train with only a few seconds of context. Thus, we propose MEG-XL, a model pre-trained with 2.5 minutes of MEG context per sample, 5-300x longer than prior work, and equivalent to 191k tokens, capturing extended neural context. Fine-tuning on the task of word decoding from brain data, MEG-XL matches supervised performance with a fraction of the data (e.g. 1hr vs 50hrs) and outperforms brain foundation models. We find that models pre-trained with longer contexts learn representations that transfer better to word decoding. Our results indicate that long-context pre-training helps exploit extended neural context that other methods unnecessarily discard. Code, model weights, and instructions are available at https://github.com/neural-processing-lab/MEG-XL .