Sobre la Adquisición de Representaciones Gramaticales Compartidas en Modelos de Lenguaje Bilingües

On the Acquisition of Shared Grammatical Representations in Bilingual Language Models

March 5, 2025

Autores: Catherine Arnett, Tyler A. Chang, James A. Michaelov, Benjamin K. Bergen

cs.AI

Resumen

Si bien la transferencia interlingüística es crucial para las capacidades multilingües de los modelos de lenguaje contemporáneos, no se comprende bien cómo ocurre. En este artículo, nos preguntamos qué le sucede a un modelo de lenguaje monolingüe cuando comienza a ser entrenado en un segundo idioma. Específicamente, entrenamos modelos bilingües pequeños para los cuales controlamos la cantidad de datos para cada idioma y el orden de exposición a los idiomas. Para encontrar evidencia de representaciones multilingües compartidas, recurrimos al priming estructural, un método utilizado para estudiar representaciones gramaticales en humanos. Primero replicamos resultados previos de priming estructural interlingüístico y encontramos que, después de controlar la cantidad de datos de entrenamiento y la exposición al idioma, existen efectos asimétricos entre pares de idiomas y direcciones. Argumentamos que esta asimetría podría dar forma a hipótesis sobre los efectos de priming estructural en humanos. También encontramos que los efectos de priming estructural son menos robustos para pares de idiomas menos similares, destacando las posibles limitaciones del aprendizaje por transferencia interlingüística y las representaciones compartidas para idiomas tipológicamente diversos.

English

While crosslingual transfer is crucial to contemporary language models' multilingual capabilities, how it occurs is not well understood. In this paper, we ask what happens to a monolingual language model when it begins to be trained on a second language. Specifically, we train small bilingual models for which we control the amount of data for each language and the order of language exposure. To find evidence of shared multilingual representations, we turn to structural priming, a method used to study grammatical representations in humans. We first replicate previous crosslingual structural priming results and find that after controlling for training data quantity and language exposure, there are asymmetrical effects across language pairs and directions. We argue that this asymmetry may shape hypotheses about human structural priming effects. We also find that structural priming effects are less robust for less similar language pairs, highlighting potential limitations of crosslingual transfer learning and shared representations for typologically diverse languages.