Gerando novas hipóteses experimentais a partir de modelos de linguagem: Um estudo de caso sobre generalização cruzada de dativos.

Generating novel experimental hypotheses from language models: A case study on cross-dative generalization

August 9, 2024

Autores: Kanishka Misra, Najoung Kim

cs.AI

Resumo

Os modelos de linguagem de redes neurais (LMs) têm demonstrado capturar com sucesso conhecimento linguístico complexo. No entanto, sua utilidade para compreender a aquisição de linguagem ainda é objeto de debate. Contribuímos para esse debate apresentando um estudo de caso no qual utilizamos LMs como aprendizes simulados para derivar novas hipóteses experimentais a serem testadas com humanos. Aplicamos esse paradigma para estudar a generalização dativa cruzada (CDG): generalização produtiva de verbos novos em construções dativas (ela me passou a bola/ela passou a bola para mim) - cuja aquisição se sabe envolver um grande espaço de características contextuais - utilizando LMs treinadas em fala direcionada a crianças. Especificamente perguntamos: "quais propriedades da exposição ao treinamento facilitam a generalização de um verbo novo para a construção dativa alternativa (não modelada)?" Para responder a isso, variamos sistematicamente o contexto de exposição no qual um verbo dativo novo ocorre em termos das propriedades do tema e do destinatário, e então analisamos o uso dos LMs do verbo novo na construção dativa não modelada. Descobrimos que os LMs replicam padrões conhecidos da CDG em crianças, como uma condição prévia para explorar novas hipóteses. Simulações subsequentes revelam um papel sutil das características do contexto de exposição dos verbos novos na CDG dos LMs. Descobrimos que a CDG é facilitada quando o primeiro argumento pós-verbal do contexto de exposição é pronominal, definido, curto e está de acordo com as expectativas prototípicas de animacidade do dativo de exposição. Esses padrões são característicos do alinhamento harmônico em dativos, onde o argumento com características classificadas mais altas na escala de proeminência do discurso tende a preceder o outro. Isso dá origem a uma nova hipótese de que a CDG é facilitada na medida em que as características do contexto de exposição - em particular, seu primeiro argumento pós-verbal - estão harmonicamente alinhadas. Concluímos propondo futuros experimentos que possam testar essa hipótese em crianças.

English

Neural network language models (LMs) have been shown to successfully capture complex linguistic knowledge. However, their utility for understanding language acquisition is still debated. We contribute to this debate by presenting a case study where we use LMs as simulated learners to derive novel experimental hypotheses to be tested with humans. We apply this paradigm to study cross-dative generalization (CDG): productive generalization of novel verbs across dative constructions (she pilked me the ball/she pilked the ball to me) -- acquisition of which is known to involve a large space of contextual features -- using LMs trained on child-directed speech. We specifically ask: "what properties of the training exposure facilitate a novel verb's generalization to the (unmodeled) alternate construction?" To answer this, we systematically vary the exposure context in which a novel dative verb occurs in terms of the properties of the theme and recipient, and then analyze the LMs' usage of the novel verb in the unmodeled dative construction. We find LMs to replicate known patterns of children's CDG, as a precondition to exploring novel hypotheses. Subsequent simulations reveal a nuanced role of the features of the novel verbs' exposure context on the LMs' CDG. We find CDG to be facilitated when the first postverbal argument of the exposure context is pronominal, definite, short, and conforms to the prototypical animacy expectations of the exposure dative. These patterns are characteristic of harmonic alignment in datives, where the argument with features ranking higher on the discourse prominence scale tends to precede the other. This gives rise to a novel hypothesis that CDG is facilitated insofar as the features of the exposure context -- in particular, its first postverbal argument -- are harmonically aligned. We conclude by proposing future experiments that can test this hypothesis in children.