言語モデルからの新規実験仮説の生成：与格交替の一般化に関する事例研究

Generating novel experimental hypotheses from language models: A case study on cross-dative generalization

August 9, 2024

著者: Kanishka Misra, Najoung Kim

cs.AI

要旨

ニューラルネットワーク言語モデル（LMs）は、複雑な言語知識を捉えることに成功していることが示されている。しかし、その言語習得の理解への有用性については依然として議論が続いている。本研究では、LMsを模擬学習者として用い、人間を対象とした新たな実験仮説を導出するケーススタディを提示することで、この議論に貢献する。本パラダイムを適用して、与格構文を横断する一般化（CDG）を研究する。具体的には、新規動詞が与格構文（例：彼女は私にボールをピルクした/彼女はボールを私にピルクした）を横断して生産的に一般化する能力を、児童向け発話で訓練されたLMsを用いて検討する。この習得は、多数の文脈的特徴が関与することが知られている。特に、「訓練曝露のどのような特性が、新規動詞の（モデル化されていない）代替構文への一般化を促進するのか？」という問いを立てる。これを明らかにするため、新規与格動詞が出現する曝露文脈を、主題と受け手の特性に基づいて体系的に変化させ、その後、LMsが未モデル化の与格構文で新規動詞を使用する様子を分析する。その結果、LMsは児童のCDGの既知のパターンを再現することが確認され、新たな仮説を探求する前提条件が満たされた。続くシミュレーションでは、新規動詞の曝露文脈の特徴がLMsのCDGに及ぼす微妙な役割が明らかになった。CDGは、曝露文脈の最初の動詞後引数が代名詞的で、定冠詞が付き、短く、曝露与格の典型的な有生性期待に適合する場合に促進されることがわかった。これらのパターンは、与格における調和的な配列の特徴であり、談話の顕著性スケールで上位にランクされる特徴を持つ引数が他に先行する傾向がある。これにより、CDGは、曝露文脈の特徴、特にその最初の動詞後引数が調和的に配列されている限りにおいて促進されるという新たな仮説が導かれる。最後に、この仮説を児童で検証するための今後の実験を提案する。

English

Neural network language models (LMs) have been shown to successfully capture complex linguistic knowledge. However, their utility for understanding language acquisition is still debated. We contribute to this debate by presenting a case study where we use LMs as simulated learners to derive novel experimental hypotheses to be tested with humans. We apply this paradigm to study cross-dative generalization (CDG): productive generalization of novel verbs across dative constructions (she pilked me the ball/she pilked the ball to me) -- acquisition of which is known to involve a large space of contextual features -- using LMs trained on child-directed speech. We specifically ask: "what properties of the training exposure facilitate a novel verb's generalization to the (unmodeled) alternate construction?" To answer this, we systematically vary the exposure context in which a novel dative verb occurs in terms of the properties of the theme and recipient, and then analyze the LMs' usage of the novel verb in the unmodeled dative construction. We find LMs to replicate known patterns of children's CDG, as a precondition to exploring novel hypotheses. Subsequent simulations reveal a nuanced role of the features of the novel verbs' exposure context on the LMs' CDG. We find CDG to be facilitated when the first postverbal argument of the exposure context is pronominal, definite, short, and conforms to the prototypical animacy expectations of the exposure dative. These patterns are characteristic of harmonic alignment in datives, where the argument with features ranking higher on the discourse prominence scale tends to precede the other. This gives rise to a novel hypothesis that CDG is facilitated insofar as the features of the exposure context -- in particular, its first postverbal argument -- are harmonically aligned. We conclude by proposing future experiments that can test this hypothesis in children.