MEG-to-MEG трансферное обучение и межзадачное обнаружение речи/тишины при ограниченном объеме данных
MEG-to-MEG Transfer Learning and Cross-Task Speech/Silence Detection with Limited Data
February 20, 2026
Авторы: Xabier de Zuazo, Vincenzo Verbeni, Eva Navas, Ibon Saratxaga, Mathieu Bourguignon, Nicola Molinaro
cs.AI
Аннотация
Эффективное использование данных при нейросетевом декодировании представляет собой ключевую проблему для речевых интерфейсов "мозг-компьютер". Мы впервые демонстрируем трансферное обучение и межзадачное декодирование для моделей речи на основе МЭГ, охватывающих процессы восприятия и производства речи. Мы предварительно обучаем модель на архитектуре Conformer на 50 часах данных пассивного прослушивания от одного испытуемого, а затем дообучаем всего на 5 минутах данных для каждого из 18 участников. Трансферное обучение обеспечивает стабильное улучшение результатов: прирост точности в рамках одной задачи составляет 1-4%, а более значительный межзадачный прирост достигает 5-6%. Предварительное обучение не только повышает производительность внутри каждой задачи, но и позволяет осуществлять надежное межзадачное декодирование между восприятием и производством речи. Важно отметить, что модели, обученные на производстве речи, декодируют пассивное прослушивание выше уровня случайного угадывания, что подтверждает, что полученные репрезентации отражают общие нейронные процессы, а не специфическую для задачи моторную активность.
English
Data-efficient neural decoding is a central challenge for speech brain-computer interfaces. We present the first demonstration of transfer learning and cross-task decoding for MEG-based speech models spanning perception and production. We pre-train a Conformer-based model on 50 hours of single-subject listening data and fine-tune on just 5 minutes per subject across 18 participants. Transfer learning yields consistent improvements, with in-task accuracy gains of 1-4% and larger cross-task gains of up to 5-6%. Not only does pre-training improve performance within each task, but it also enables reliable cross-task decoding between perception and production. Critically, models trained on speech production decode passive listening above chance, confirming that learned representations reflect shared neural processes rather than task-specific motor activity.