Generazione di ipotesi sperimentali innovative da modelli linguistici: uno studio sul caso della generalizzazione cross-dativa

Generating novel experimental hypotheses from language models: A case study on cross-dative generalization

August 9, 2024

Autori: Kanishka Misra, Najoung Kim

cs.AI

Abstract

I modelli linguistici basati su reti neurali (LM) hanno dimostrato di catturare con successo conoscenze linguistiche complesse. Tuttavia, la loro utilità per comprendere l'acquisizione del linguaggio è ancora oggetto di dibattito. Contribuiamo a questo dibattito presentando uno studio di caso in cui utilizziamo i LM come apprendenti simulati per derivare nuove ipotesi sperimentali da testare con esseri umani. Applichiamo questo paradigma per studiare la generalizzazione cross-dativa (CDG): la generalizzazione produttiva di verbi nuovi attraverso costruzioni dativo (es. "mi ha pilkato la palla"/"ha pilkato la palla a me") -- la cui acquisizione è nota per coinvolgere un ampio spazio di caratteristiche contestuali -- utilizzando LM addestrati su discorsi rivolti ai bambini. Ci chiediamo specificamente: "quali proprietà dell'esposizione durante l'addestramento facilitano la generalizzazione di un verbo nuovo alla costruzione alternativa (non modellata)?" Per rispondere, variamo sistematicamente il contesto di esposizione in cui un verbo dativo nuovo si presenta, in termini delle proprietà del tema e del ricevente, e poi analizziamo l'uso del verbo nuovo nella costruzione dativa non modellata da parte dei LM. Troviamo che i LM replicano schemi noti della CDG nei bambini, come prerequisito per esplorare nuove ipotesi. Simulazioni successive rivelano un ruolo sfumato delle caratteristiche del contesto di esposizione dei verbi nuovi sulla CDG dei LM. Scopriamo che la CDG è facilitata quando il primo argomento postverbale del contesto di esposizione è pronominale, definito, breve e conforme alle aspettative tipiche di animazione del dativo di esposizione. Questi schemi sono caratteristici dell'allineamento armonico nei dativi, dove l'argomento con caratteristiche che si collocano più in alto nella scala di prominenza discorsiva tende a precedere l'altro. Ciò dà origine a una nuova ipotesi secondo cui la CDG è facilitata nella misura in cui le caratteristiche del contesto di esposizione -- in particolare, il suo primo argomento postverbale -- sono armonicamente allineate. Concludiamo proponendo futuri esperimenti che possono testare questa ipotesi nei bambini.

English

Neural network language models (LMs) have been shown to successfully capture complex linguistic knowledge. However, their utility for understanding language acquisition is still debated. We contribute to this debate by presenting a case study where we use LMs as simulated learners to derive novel experimental hypotheses to be tested with humans. We apply this paradigm to study cross-dative generalization (CDG): productive generalization of novel verbs across dative constructions (she pilked me the ball/she pilked the ball to me) -- acquisition of which is known to involve a large space of contextual features -- using LMs trained on child-directed speech. We specifically ask: "what properties of the training exposure facilitate a novel verb's generalization to the (unmodeled) alternate construction?" To answer this, we systematically vary the exposure context in which a novel dative verb occurs in terms of the properties of the theme and recipient, and then analyze the LMs' usage of the novel verb in the unmodeled dative construction. We find LMs to replicate known patterns of children's CDG, as a precondition to exploring novel hypotheses. Subsequent simulations reveal a nuanced role of the features of the novel verbs' exposure context on the LMs' CDG. We find CDG to be facilitated when the first postverbal argument of the exposure context is pronominal, definite, short, and conforms to the prototypical animacy expectations of the exposure dative. These patterns are characteristic of harmonic alignment in datives, where the argument with features ranking higher on the discourse prominence scale tends to precede the other. This gives rise to a novel hypothesis that CDG is facilitated insofar as the features of the exposure context -- in particular, its first postverbal argument -- are harmonically aligned. We conclude by proposing future experiments that can test this hypothesis in children.