MEG-zu-MEG-Transferlernen und sprachaufgabenübergreifende Sprach-/Stille-Erkennung mit begrenzten Daten
MEG-to-MEG Transfer Learning and Cross-Task Speech/Silence Detection with Limited Data
February 20, 2026
Autoren: Xabier de Zuazo, Vincenzo Verbeni, Eva Navas, Ibon Saratxaga, Mathieu Bourguignon, Nicola Molinaro
cs.AI
Zusammenfassung
Daten-effiziente neuronale Dekodierung ist eine zentrale Herausforderung für Sprach-Brain-Computer-Interfaces. Wir präsentieren die erste Demonstration von Transferlernen und aufgabenübergreifender Dekodierung für MEG-basierte Sprachmodelle, die Wahrnehmung und Produktion umfassen. Wir trainieren ein Conformer-basiertes Modell mit 50 Stunden Einzelpersonen-Hördaten vor und führen pro Teilnehmer bei 18 Probanden ein Feinabstimmen mit nur 5 Minuten Daten durch. Transferlernen führt zu konsistenten Verbesserungen mit Genauigkeitssteigerungen von 1–4 % innerhalb derselben Aufgabe und größeren, aufgabenübergreifenden Steigerungen von bis zu 5–6 %. Das Vortraining verbessert nicht nur die Leistung innerhalb jeder Aufgabe, sondern ermöglicht auch eine zuverlässige, aufgabenübergreifende Dekodierung zwischen Wahrnehmung und Produktion. Entscheidend ist, dass Modelle, die auf Sprachproduktion trainiert wurden, passives Hören über die Zufallsschwelle hinaus dekodieren können. Dies bestätigt, dass die gelernten Repräsentationen gemeinsame neuronale Prozesse und nicht aufgabenspezifische motorische Aktivität widerspiegeln.
English
Data-efficient neural decoding is a central challenge for speech brain-computer interfaces. We present the first demonstration of transfer learning and cross-task decoding for MEG-based speech models spanning perception and production. We pre-train a Conformer-based model on 50 hours of single-subject listening data and fine-tune on just 5 minutes per subject across 18 participants. Transfer learning yields consistent improvements, with in-task accuracy gains of 1-4% and larger cross-task gains of up to 5-6%. Not only does pre-training improve performance within each task, but it also enables reliable cross-task decoding between perception and production. Critically, models trained on speech production decode passive listening above chance, confirming that learned representations reflect shared neural processes rather than task-specific motor activity.