MEG-XL: Эффективное преобразование сигналов мозга в текст при ограниченных данных с помощью предварительного обучения на длинных контекстах

MEG-XL: Data-Efficient Brain-to-Text via Long-Context Pre-Training

February 2, 2026

Авторы: Dulhan Jayalath, Oiwi Parker Jones

cs.AI

Аннотация

Клинические интерфейсы «мозг-текст» предназначены для парализованных пациентов, которые не могут предоставить обширные записи для обучения. Предварительное обучение улучшает эффективную по данным генерализацию за счет изучения статистических априорных распределений между испытуемыми, но эти априорные распределения критически зависят от контекста. В то время как естественная речь может разворачиваться постепенно в течение нескольких минут, большинство методов предварительно обучаются с контекстом длиной всего в несколько секунд. Таким образом, мы предлагаем MEG-XL — модель, предварительно обученную с контекстом МЭГ длиной 2,5 минуты на каждый образец, что в 5–300 раз больше, чем в предыдущих работах, и эквивалентно 191 тыс. токенов, захватывая расширенный нейронный контекст. При дообучении на задаче декодирования слов из данных мозга MEG-XL достигает производительности контролируемых методов с использованием лишь части данных (например, 1 час против 50 часов) и превосходит фоновые модели мозга. Мы обнаружили, что модели, предварительно обученные с более длинными контекстами, изучают представления, которые лучше переносятся на задачу декодирования слов. Наши результаты показывают, что предварительное обучение с длинным контекстом помогает использовать расширенный нейронный контекст, который другие методы без необходимости отбрасывают. Код, веса модели и инструкции доступны по адресу https://github.com/neural-processing-lab/MEG-XL.

English

Clinical brain-to-text interfaces are designed for paralysed patients who cannot provide extensive training recordings. Pre-training improves data-efficient generalisation by learning statistical priors across subjects, but these priors critically depend on context. While natural speech might unfold gradually over minutes, most methods pre-train with only a few seconds of context. Thus, we propose MEG-XL, a model pre-trained with 2.5 minutes of MEG context per sample, 5-300x longer than prior work, and equivalent to 191k tokens, capturing extended neural context. Fine-tuning on the task of word decoding from brain data, MEG-XL matches supervised performance with a fraction of the data (e.g. 1hr vs 50hrs) and outperforms brain foundation models. We find that models pre-trained with longer contexts learn representations that transfer better to word decoding. Our results indicate that long-context pre-training helps exploit extended neural context that other methods unnecessarily discard. Code, model weights, and instructions are available at https://github.com/neural-processing-lab/MEG-XL .