MEG-XL: Brain-to-Text Efficiente nei Dati tramite Pre-Addestramento su Contesti Lunghi

MEG-XL: Data-Efficient Brain-to-Text via Long-Context Pre-Training

February 2, 2026

Autori: Dulhan Jayalath, Oiwi Parker Jones

cs.AI

Abstract

Le interfacce cervello-testo cliniche sono progettate per pazienti paralizzati che non possono fornire registrazioni di addestramento estese. Il pre-addestramento migliora la generalizzazione efficiente dei dati apprendendo prior statistici tra soggetti, ma questi prior dipendono criticamente dal contesto. Mentre il linguaggio naturale potrebbe svilupparsi gradualmente nell'arco di minuti, la maggior parte dei metodi utilizza pre-addestramento con solo pochi secondi di contesto. Pertanto, proponiamo MEG-XL, un modello pre-addestrato con 2,5 minuti di contesto MEG per campione, da 5 a 300 volte più lungo rispetto ai lavori precedenti, equivalente a 191k token, catturando così un contesto neurale esteso. Addestrando il modello sul compito di decodifica delle parole dai dati cerebrali, MEG-XL raggiunge prestazioni equivalenti a quelle supervisionate con una frazione dei dati (ad esempio 1 ora vs 50 ore) e supera i modelli foundation cerebrali. Abbiamo riscontrato che i modelli pre-addestrati con contesti più lunghi apprendono rappresentazioni che si trasferiscono meglio alla decodifica delle parole. I nostri risultati indicano che il pre-addestramento con contesto lungo aiuta a sfruttare il contesto neurale esteso che altri metodi scartano inutilmente. Codice, pesi del modello e istruzioni sono disponibili su https://github.com/neural-processing-lab/MEG-XL.

English

Clinical brain-to-text interfaces are designed for paralysed patients who cannot provide extensive training recordings. Pre-training improves data-efficient generalisation by learning statistical priors across subjects, but these priors critically depend on context. While natural speech might unfold gradually over minutes, most methods pre-train with only a few seconds of context. Thus, we propose MEG-XL, a model pre-trained with 2.5 minutes of MEG context per sample, 5-300x longer than prior work, and equivalent to 191k tokens, capturing extended neural context. Fine-tuning on the task of word decoding from brain data, MEG-XL matches supervised performance with a fraction of the data (e.g. 1hr vs 50hrs) and outperforms brain foundation models. We find that models pre-trained with longer contexts learn representations that transfer better to word decoding. Our results indicate that long-context pre-training helps exploit extended neural context that other methods unnecessarily discard. Code, model weights, and instructions are available at https://github.com/neural-processing-lab/MEG-XL .