MEG-XL: 장기 문맥 사전 학습을 통한 데이터 효율적 뇌-텍스트 변환

초록

임상용 뇌-텍스트 인터페이스는 방대한 훈련 기록을 제공할 수 없는 마비 환자를 위해 설계되었습니다. 사전 훈련은 여러 피실험자에 걸친 통계적 사전 확률을 학습함으로써 데이터 효율적인 일반화를 개선하지만, 이러한 사전 확률은 문맥에 크게 의존합니다. 자연스러운 음성이 수 분에 걸쳐 점진적으로 전개될 수 있는 반면, 대부분의 방법은 단지 몇 초 길이의 문맥만으로 사전 훈련을 수행합니다. 따라서 우리는 샘플당 2.5분 길이의 MEG 문맥으로 사전 훈련된 MEG-XL 모델을 제안합니다. 이는 기존 연구보다 5~300배 길고 191k 토큰에 해당하여 확장된 신경 문맥을 포착합니다. 뇌 데이터로부터 단어를 디코딩하는 과제에 미세 조정을 적용했을 때, MEG-XL은 극소량의 데이터(예: 1시간 대 50시간)로 지도 학습 방식의 성능을 맞추고 뇌 기반 모델을 능가했습니다. 우리는 더 긴 문맥으로 사전 훈련된 모델일수록 단어 디코딩으로의 전이 효과가 더 우수한 표현을 학습한다는 사실을 발견했습니다. 우리의 결과는 장문맥 사전 훈련이 다른 방법들이 불필요하게 버리는 확장된 신경 문맥을 활용하는 데 도움이 됨을 시사합니다. 코드, 모델 가중치 및 사용 지침은 https://github.com/neural-processing-lab/MEG-XL 에서 확인할 수 있습니다.

English

Clinical brain-to-text interfaces are designed for paralysed patients who cannot provide extensive training recordings. Pre-training improves data-efficient generalisation by learning statistical priors across subjects, but these priors critically depend on context. While natural speech might unfold gradually over minutes, most methods pre-train with only a few seconds of context. Thus, we propose MEG-XL, a model pre-trained with 2.5 minutes of MEG context per sample, 5-300x longer than prior work, and equivalent to 191k tokens, capturing extended neural context. Fine-tuning on the task of word decoding from brain data, MEG-XL matches supervised performance with a fraction of the data (e.g. 1hr vs 50hrs) and outperforms brain foundation models. We find that models pre-trained with longer contexts learn representations that transfer better to word decoding. Our results indicate that long-context pre-training helps exploit extended neural context that other methods unnecessarily discard. Code, model weights, and instructions are available at https://github.com/neural-processing-lab/MEG-XL .

MEG-XL: 장기 문맥 사전 학습을 통한 데이터 효율적 뇌-텍스트 변환

MEG-XL: Data-Efficient Brain-to-Text via Long-Context Pre-Training

초록

Support