MEG-XL: Traducción Cerebro-Texto Eficiente en Datos mediante Pre-entrenamiento de Contexto Largo
MEG-XL: Data-Efficient Brain-to-Text via Long-Context Pre-Training
February 2, 2026
Autores: Dulhan Jayalath, Oiwi Parker Jones
cs.AI
Resumen
Las interfaces clínicas cerebro-texto están diseñadas para pacientes paralizados que no pueden proporcionar grabaciones de entrenamiento extensas. El pre-entrenamiento mejora la generalización eficiente en datos mediante el aprendizaje de distribuciones previas estadísticas entre sujetos, pero estas distribuciones previas dependen críticamente del contexto. Mientras que el habla natural puede desarrollarse gradualmente durante minutos, la mayoría de los métodos se pre-entrenan con solo unos segundos de contexto. Por lo tanto, proponemos MEG-XL, un modelo pre-entrenado con 2.5 minutos de contexto MEG por muestra, 5-300 veces más largo que trabajos anteriores, y equivalente a 191k tokens, capturando contexto neural extendido. Al ajustar el modelo para la tarea de decodificación de palabras a partir de datos cerebrales, MEG-XL iguala el rendimiento supervisado con una fracción de los datos (por ejemplo, 1 hora vs 50 horas) y supera a los modelos fundacionales cerebrales. Encontramos que los modelos pre-entrenados con contextos más largos aprenden representaciones que se transfieren mejor a la decodificación de palabras. Nuestros resultados indican que el pre-entrenamiento de contexto largo ayuda a explotar el contexto neural extendido que otros métodos descartan innecesariamente. El código, los pesos del modelo y las instrucciones están disponibles en https://github.com/neural-processing-lab/MEG-XL.
English
Clinical brain-to-text interfaces are designed for paralysed patients who cannot provide extensive training recordings. Pre-training improves data-efficient generalisation by learning statistical priors across subjects, but these priors critically depend on context. While natural speech might unfold gradually over minutes, most methods pre-train with only a few seconds of context. Thus, we propose MEG-XL, a model pre-trained with 2.5 minutes of MEG context per sample, 5-300x longer than prior work, and equivalent to 191k tokens, capturing extended neural context. Fine-tuning on the task of word decoding from brain data, MEG-XL matches supervised performance with a fraction of the data (e.g. 1hr vs 50hrs) and outperforms brain foundation models. We find that models pre-trained with longer contexts learn representations that transfer better to word decoding. Our results indicate that long-context pre-training helps exploit extended neural context that other methods unnecessarily discard. Code, model weights, and instructions are available at https://github.com/neural-processing-lab/MEG-XL .