MEG-XL : Conversion Cerveau-Texte Économe en Données via un Pré-entraînement à Long Contexte
MEG-XL: Data-Efficient Brain-to-Text via Long-Context Pre-Training
February 2, 2026
papers.authors: Dulhan Jayalath, Oiwi Parker Jones
cs.AI
papers.abstract
Les interfaces cerveau-texte cliniques sont conçues pour les patients paralysés incapables de fournir des enregistrements d'entraînement extensifs. Le pré-entraînement améliore la généralisation avec peu de données en apprenant des prérequis statistiques entre sujets, mais ces prérequis dépendent crucialement du contexte. Alors que la parole naturelle peut se dérouler progressivement sur plusieurs minutes, la plupart des méthodes se pré-entraînent avec seulement quelques secondes de contexte. Nous proposons donc MEG-XL, un modèle pré-entraîné avec 2,5 minutes de contexte MEG par échantillon, soit 5 à 300 fois plus long que les travaux antérieurs, et équivalent à 191k tokens, capturant un contexte neuronal étendu. Après affinage pour la tâche de décodage de mots à partir de données cérébrales, MEG-XL atteint des performances supervisées avec une fraction des données (par exemple 1 heure contre 50 heures) et surpasse les modèles fondateurs en neuroimagerie. Nous constatons que les modèles pré-entraînés avec des contextes plus longs apprennent des représentations qui se transfèrent mieux au décodage de mots. Nos résultats indiquent que le pré-entraînement avec contexte long permet d'exploiter un contexte neuronal étendu que d'autres méthodes rejettent inutilement. Le code, les poids des modèles et les instructions sont disponibles à l'adresse https://github.com/neural-processing-lab/MEG-XL.
English
Clinical brain-to-text interfaces are designed for paralysed patients who cannot provide extensive training recordings. Pre-training improves data-efficient generalisation by learning statistical priors across subjects, but these priors critically depend on context. While natural speech might unfold gradually over minutes, most methods pre-train with only a few seconds of context. Thus, we propose MEG-XL, a model pre-trained with 2.5 minutes of MEG context per sample, 5-300x longer than prior work, and equivalent to 191k tokens, capturing extended neural context. Fine-tuning on the task of word decoding from brain data, MEG-XL matches supervised performance with a fraction of the data (e.g. 1hr vs 50hrs) and outperforms brain foundation models. We find that models pre-trained with longer contexts learn representations that transfer better to word decoding. Our results indicate that long-context pre-training helps exploit extended neural context that other methods unnecessarily discard. Code, model weights, and instructions are available at https://github.com/neural-processing-lab/MEG-XL .