Leyes de escalado para modelos de codificación del lenguaje en fMRI

Scaling laws for language encoding models in fMRI

May 19, 2023

Autores: Richard Antonello, Aditya Vaidya, Alexander G. Huth

cs.AI

Resumen

Las representaciones de modelos de lenguaje unidireccionales basados en transformadores son conocidas por ser efectivas para predecir las respuestas cerebrales al lenguaje natural. Sin embargo, la mayoría de los estudios que comparan modelos de lenguaje con el cerebro han utilizado GPT-2 o modelos de lenguaje de tamaño similar. Aquí evaluamos si modelos de código abierto más grandes, como los de las familias OPT y LLaMA, son mejores para predecir las respuestas cerebrales registradas mediante resonancia magnética funcional (fMRI). Reflejando resultados de escalado en otros contextos, encontramos que el rendimiento en la predicción cerebral escala log-linealmente con el tamaño del modelo, desde modelos de 125M hasta 30B de parámetros, con un aumento de ~15% en el rendimiento de codificación medido por la correlación con un conjunto de prueba retenido en 3 sujetos. Se observó un comportamiento log-lineal similar al escalar el tamaño del conjunto de entrenamiento de fMRI. También caracterizamos el escalado para modelos de codificación acústica que utilizan HuBERT, WavLM y Whisper, y encontramos mejoras comparables con el tamaño del modelo. Un análisis de techo de ruido de estos modelos de codificación grandes y de alto rendimiento mostró que el rendimiento se acerca al máximo teórico para áreas cerebrales como el precúneo y la corteza auditiva superior. Estos resultados sugieren que aumentar la escala tanto en los modelos como en los datos producirá modelos increíblemente efectivos del procesamiento del lenguaje en el cerebro, permitiendo un mejor entendimiento científico, así como aplicaciones como la decodificación.

English

Representations from transformer-based unidirectional language models are known to be effective at predicting brain responses to natural language. However, most studies comparing language models to brains have used GPT-2 or similarly sized language models. Here we tested whether larger open-source models such as those from the OPT and LLaMA families are better at predicting brain responses recorded using fMRI. Mirroring scaling results from other contexts, we found that brain prediction performance scales log-linearly with model size from 125M to 30B parameter models, with ~15% increased encoding performance as measured by correlation with a held-out test set across 3 subjects. Similar log-linear behavior was observed when scaling the size of the fMRI training set. We also characterized scaling for acoustic encoding models that use HuBERT, WavLM, and Whisper, and we found comparable improvements with model size. A noise ceiling analysis of these large, high-performance encoding models showed that performance is nearing the theoretical maximum for brain areas such as the precuneus and higher auditory cortex. These results suggest that increasing scale in both models and data will yield incredibly effective models of language processing in the brain, enabling better scientific understanding as well as applications such as decoding.