Het genereren van nieuwe experimentele hypothesen uit taalmodelen: Een casestudie over cross-datieve generalisatie

Generating novel experimental hypotheses from language models: A case study on cross-dative generalization

August 9, 2024

Auteurs: Kanishka Misra, Najoung Kim

cs.AI

Samenvatting

Neurale netwerktaalmodellen (LMs) zijn effectief gebleken in het vastleggen van complexe linguïstische kennis. Hun nut voor het begrijpen van taalverwerving blijft echter onderwerp van discussie. Wij dragen bij aan deze discussie door een casestudy te presenteren waarin we LMs gebruiken als gesimuleerde leerders om nieuwe experimentele hypothesen af te leiden die vervolgens met mensen kunnen worden getest. We passen dit paradigma toe om cross-datieve generalisatie (CDG) te bestuderen: de productieve generalisatie van nieuwe werkwoorden over dative constructies (ze pilkte me de bal/ze pilkte de bal naar mij) – waarvan bekend is dat de verwerving ervan een grote ruimte aan contextuele kenmerken omvat – met behulp van LMs die getraind zijn op kindgerichte spraak. We vragen specifiek: "welke eigenschappen van de trainingsblootstelling faciliteren de generalisatie van een nieuw werkwoord naar de (niet-gemodelleerde) alternatieve constructie?" Om dit te beantwoorden, variëren we systematisch de blootstellingscontext waarin een nieuw datiefwerkwoord voorkomt, in termen van de eigenschappen van het thema en de ontvanger, en analyseren we vervolgens het gebruik van het nieuwe werkwoord door de LMs in de niet-gemodelleerde datiefconstructie. We constateren dat LMs bekende patronen van CDG bij kinderen repliceren, als voorwaarde voor het verkennen van nieuwe hypothesen. Latere simulaties onthullen een genuanceerde rol van de kenmerken van de blootstellingscontext van de nieuwe werkwoorden op de CDG van de LMs. We vinden dat CDG wordt gefaciliteerd wanneer het eerste postverbale argument van de blootstellingscontext pronominaal, definitief, kort is en voldoet aan de prototypische animacy-verwachtingen van de blootgestelde datief. Deze patronen zijn kenmerkend voor harmonische uitlijning in datieven, waarbij het argument met kenmerken die hoger scoren op de schaal van discoursprominentie de neiging heeft het andere argument vooraf te gaan. Dit leidt tot een nieuwe hypothese dat CDG wordt gefaciliteerd voor zover de kenmerken van de blootstellingscontext – met name het eerste postverbale argument – harmonisch zijn uitgelijnd. We sluiten af met het voorstellen van toekomstige experimenten die deze hypothese bij kinderen kunnen testen.

English

Neural network language models (LMs) have been shown to successfully capture complex linguistic knowledge. However, their utility for understanding language acquisition is still debated. We contribute to this debate by presenting a case study where we use LMs as simulated learners to derive novel experimental hypotheses to be tested with humans. We apply this paradigm to study cross-dative generalization (CDG): productive generalization of novel verbs across dative constructions (she pilked me the ball/she pilked the ball to me) -- acquisition of which is known to involve a large space of contextual features -- using LMs trained on child-directed speech. We specifically ask: "what properties of the training exposure facilitate a novel verb's generalization to the (unmodeled) alternate construction?" To answer this, we systematically vary the exposure context in which a novel dative verb occurs in terms of the properties of the theme and recipient, and then analyze the LMs' usage of the novel verb in the unmodeled dative construction. We find LMs to replicate known patterns of children's CDG, as a precondition to exploring novel hypotheses. Subsequent simulations reveal a nuanced role of the features of the novel verbs' exposure context on the LMs' CDG. We find CDG to be facilitated when the first postverbal argument of the exposure context is pronominal, definite, short, and conforms to the prototypical animacy expectations of the exposure dative. These patterns are characteristic of harmonic alignment in datives, where the argument with features ranking higher on the discourse prominence scale tends to precede the other. This gives rise to a novel hypothesis that CDG is facilitated insofar as the features of the exposure context -- in particular, its first postverbal argument -- are harmonically aligned. We conclude by proposing future experiments that can test this hypothesis in children.