fMRI에서 언어 인코딩 모델의 스케일링 법칙

Scaling laws for language encoding models in fMRI

May 19, 2023

저자: Richard Antonello, Aditya Vaidya, Alexander G. Huth

cs.AI

초록

트랜스포머 기반 단방향 언어 모델의 표현이 자연어에 대한 뇌 반응을 예측하는 데 효과적이라는 것은 잘 알려져 있습니다. 그러나 뇌와 언어 모델을 비교한 대부분의 연구에서는 GPT-2 또는 이와 유사한 크기의 언어 모델을 사용했습니다. 본 연구에서는 OPT 및 LLaMA 계열과 같은 더 큰 오픈소스 모델이 fMRI를 사용해 기록된 뇌 반응을 예측하는 데 더 나은 성능을 보이는지 테스트했습니다. 다른 맥락에서의 스케일링 결과와 마찬가지로, 125M에서 30B 파라미터 모델까지 모델 크기가 커짐에 따라 뇌 예측 성능이 로그 선형적으로 증가하며, 3명의 피험자에 걸쳐 보류된 테스트 세트와의 상관관계로 측정한 인코딩 성능이 약 15% 향상되는 것을 확인했습니다. fMRI 훈련 세트의 크기를 스케일링할 때도 유사한 로그 선형적 행동이 관찰되었습니다. 또한 HuBERT, WavLM, Whisper를 사용하는 음향 인코딩 모델의 스케일링을 특성화했으며, 모델 크기에 따라 비슷한 수준의 개선이 나타났습니다. 이러한 대규모 고성능 인코딩 모델에 대한 노이즈 천장 분석 결과, 전대상피질 및 고차 청각 피질과 같은 뇌 영역에서의 성능이 이론적 최대치에 근접하고 있음을 보여주었습니다. 이러한 결과는 모델과 데이터의 규모를 증가시키면 뇌의 언어 처리 모델이 매우 효과적으로 개선되어 더 나은 과학적 이해와 디코딩과 같은 응용 프로그램을 가능하게 할 것임을 시사합니다.

English

Representations from transformer-based unidirectional language models are known to be effective at predicting brain responses to natural language. However, most studies comparing language models to brains have used GPT-2 or similarly sized language models. Here we tested whether larger open-source models such as those from the OPT and LLaMA families are better at predicting brain responses recorded using fMRI. Mirroring scaling results from other contexts, we found that brain prediction performance scales log-linearly with model size from 125M to 30B parameter models, with ~15% increased encoding performance as measured by correlation with a held-out test set across 3 subjects. Similar log-linear behavior was observed when scaling the size of the fMRI training set. We also characterized scaling for acoustic encoding models that use HuBERT, WavLM, and Whisper, and we found comparable improvements with model size. A noise ceiling analysis of these large, high-performance encoding models showed that performance is nearing the theoretical maximum for brain areas such as the precuneus and higher auditory cortex. These results suggest that increasing scale in both models and data will yield incredibly effective models of language processing in the brain, enabling better scientific understanding as well as applications such as decoding.