Generación de nuevas hipótesis experimentales a partir de modelos de lenguaje: Un estudio de caso sobre generalización cruzada de dativos.

Generating novel experimental hypotheses from language models: A case study on cross-dative generalization

August 9, 2024

Autores: Kanishka Misra, Najoung Kim

cs.AI

Resumen

Los modelos de lenguaje de redes neuronales (LMs) han demostrado capturar con éxito conocimientos lingüísticos complejos. Sin embargo, su utilidad para comprender la adquisición del lenguaje sigue siendo motivo de debate. Contribuimos a este debate presentando un estudio de caso en el que utilizamos LMs como aprendices simulados para derivar nuevas hipótesis experimentales que serán probadas con humanos. Aplicamos este paradigma para estudiar la generalización dativa cruzada (CDG): la generalización productiva de verbos novedosos a través de construcciones dativas (ella me lanzó la pelota/ella lanzó la pelota hacia mí) -- cuya adquisición se sabe que implica un amplio espacio de características contextuales -- utilizando LMs entrenadas en el habla dirigida a niños. Específicamente preguntamos: "¿qué propiedades de la exposición al entrenamiento facilitan la generalización de un verbo novedoso a la construcción dativa alternativa (no modelada)?" Para responder a esto, variamos sistemáticamente el contexto de exposición en el que ocurre un verbo dativo novedoso en términos de las propiedades del tema y del destinatario, y luego analizamos el uso de dicho verbo novedoso por parte de los LMs en la construcción dativa no modelada. Encontramos que los LMs replican patrones conocidos de la CDG en niños, como condición previa para explorar nuevas hipótesis. Las simulaciones posteriores revelan un papel matizado de las características del contexto de exposición de los verbos novedosos en la CDG de los LMs. Observamos que la CDG se facilita cuando el primer argumento postverbal del contexto de exposición es pronominal, definido, corto y se ajusta a las expectativas prototípicas de animacidad del dativo de exposición. Estos patrones son característicos de la alineación armónica en dativos, donde el argumento con características que ocupan un lugar más alto en la escala de prominencia discursiva tiende a preceder al otro. Esto da lugar a una nueva hipótesis que sugiere que la CDG se facilita en la medida en que las características del contexto de exposición -- en particular, su primer argumento postverbal -- están armónicamente alineadas. Concluimos proponiendo futuros experimentos que puedan poner a prueba esta hipótesis en niños.

English

Neural network language models (LMs) have been shown to successfully capture complex linguistic knowledge. However, their utility for understanding language acquisition is still debated. We contribute to this debate by presenting a case study where we use LMs as simulated learners to derive novel experimental hypotheses to be tested with humans. We apply this paradigm to study cross-dative generalization (CDG): productive generalization of novel verbs across dative constructions (she pilked me the ball/she pilked the ball to me) -- acquisition of which is known to involve a large space of contextual features -- using LMs trained on child-directed speech. We specifically ask: "what properties of the training exposure facilitate a novel verb's generalization to the (unmodeled) alternate construction?" To answer this, we systematically vary the exposure context in which a novel dative verb occurs in terms of the properties of the theme and recipient, and then analyze the LMs' usage of the novel verb in the unmodeled dative construction. We find LMs to replicate known patterns of children's CDG, as a precondition to exploring novel hypotheses. Subsequent simulations reveal a nuanced role of the features of the novel verbs' exposure context on the LMs' CDG. We find CDG to be facilitated when the first postverbal argument of the exposure context is pronominal, definite, short, and conforms to the prototypical animacy expectations of the exposure dative. These patterns are characteristic of harmonic alignment in datives, where the argument with features ranking higher on the discourse prominence scale tends to precede the other. This gives rise to a novel hypothesis that CDG is facilitated insofar as the features of the exposure context -- in particular, its first postverbal argument -- are harmonically aligned. We conclude by proposing future experiments that can test this hypothesis in children.