Generierung neuer experimenteller Hypothesen aus Sprachmodellen: Eine Fallstudie zur Kreuzdativverallgemeinerung

Generating novel experimental hypotheses from language models: A case study on cross-dative generalization

August 9, 2024

Autoren: Kanishka Misra, Najoung Kim

cs.AI

Zusammenfassung

Neuronale Netzwerk-Sprachmodelle (LMs) konnten erfolgreich komplexe sprachliche Kenntnisse erfassen. Ihre Nützlichkeit für das Verständnis des Spracherwerbs wird jedoch noch diskutiert. Wir tragen zu dieser Debatte bei, indem wir eine Fallstudie vorstellen, in der wir LMs als simulierte Lernende verwenden, um neue experimentelle Hypothesen abzuleiten, die mit Menschen getestet werden sollen. Wir wenden dieses Paradigma an, um die Übergeneralisierung bei Dativkonstruktionen (CDG) zu untersuchen: die produktive Verallgemeinerung neuer Verben über Dativkonstruktionen hinweg (sie gab mir den Ball/sie gab den Ball mir) - deren Erwerb bekanntermaßen eine Vielzahl von Kontextmerkmalen umfasst - unter Verwendung von LMs, die auf kindgerichteter Sprache trainiert wurden. Wir fragen speziell: "Welche Eigenschaften der Trainingsbelichtung erleichtern die Verallgemeinerung eines neuen Verbs auf die (nicht modellierte) alternative Konstruktion?" Um dies zu beantworten, variieren wir systematisch den Belichtungskontext, in dem ein neues Dativverb auftritt, hinsichtlich der Eigenschaften des Themas und des Empfängers, und analysieren dann die Verwendung des neuen Verbs in den nicht modellierten Dativkonstruktionen durch die LMs. Wir stellen fest, dass LMs bekannte Muster der CDG von Kindern replizieren, als Voraussetzung für die Erkundung neuer Hypothesen. Nachfolgende Simulationen zeigen eine differenzierte Rolle der Merkmale des Belichtungskontexts der neuen Verben auf die CDG der LMs. Wir stellen fest, dass die CDG erleichtert wird, wenn das erste postverbale Argument des Belichtungskontexts pronominal, bestimmt, kurz und den prototypischen Animations­erwartungen des Belichtungsdativs entspricht. Diese Muster sind charakteristisch für die harmonische Ausrichtung bei Dativkonstruktionen, bei der das Argument mit Merkmalen, die höher auf der Diskursprominenzskala rangieren, dazu neigt, dem anderen voranzugehen. Daraus ergibt sich eine neue Hypothese, dass die CDG erleichtert wird, soweit die Merkmale des Belichtungskontexts - insbesondere seines ersten postverbalen Arguments - harmonisch ausgerichtet sind. Wir schließen mit dem Vorschlag zukünftiger Experimente, die diese Hypothese bei Kindern testen können.

English

Neural network language models (LMs) have been shown to successfully capture complex linguistic knowledge. However, their utility for understanding language acquisition is still debated. We contribute to this debate by presenting a case study where we use LMs as simulated learners to derive novel experimental hypotheses to be tested with humans. We apply this paradigm to study cross-dative generalization (CDG): productive generalization of novel verbs across dative constructions (she pilked me the ball/she pilked the ball to me) -- acquisition of which is known to involve a large space of contextual features -- using LMs trained on child-directed speech. We specifically ask: "what properties of the training exposure facilitate a novel verb's generalization to the (unmodeled) alternate construction?" To answer this, we systematically vary the exposure context in which a novel dative verb occurs in terms of the properties of the theme and recipient, and then analyze the LMs' usage of the novel verb in the unmodeled dative construction. We find LMs to replicate known patterns of children's CDG, as a precondition to exploring novel hypotheses. Subsequent simulations reveal a nuanced role of the features of the novel verbs' exposure context on the LMs' CDG. We find CDG to be facilitated when the first postverbal argument of the exposure context is pronominal, definite, short, and conforms to the prototypical animacy expectations of the exposure dative. These patterns are characteristic of harmonic alignment in datives, where the argument with features ranking higher on the discourse prominence scale tends to precede the other. This gives rise to a novel hypothesis that CDG is facilitated insofar as the features of the exposure context -- in particular, its first postverbal argument -- are harmonically aligned. We conclude by proposing future experiments that can test this hypothesis in children.