언어 모델로부터 새로운 실험적 가설 생성: 교차 이동법 일반화에 대한 사례 연구

Generating novel experimental hypotheses from language models: A case study on cross-dative generalization

August 9, 2024

저자: Kanishka Misra, Najoung Kim

cs.AI

초록

신경망 언어 모델(LMs)은 복잡한 언어 지식을 성공적으로 포착하는 것으로 입증되었습니다. 그러나 언어 습득을 이해하는 데에 대한 그들의 유용성은 여전히 논란 중에 있습니다. 저희는 LMs를 시뮬레이션 학습자로 사용하여 인간들과 실험적 가설을 도출하기 위해 새로운 실험 사례를 제시함으로써 이 논쟁에 기여합니다. 우리는 어린이에게 맞춰진 말을 훈련시킨 LMs를 사용하여 크로스-데이티브 일반화(CDG)를 연구하기 위해 이 패러다임을 적용합니다. CDG는 새로운 동사를 데이티 구성을 통해 생산적으로 일반화하는 것을 의미합니다(그녀가 나에게 공을 던졌다/그녀가 공을 내게 던졌다) -- 이는 맥락적 특징의 많은 공간을 포함하는 것으로 알려져 있습니다. 특히 우리는 "훈련 노출의 어떤 특성이 새로운 동사의 다른 구성으로의 일반화를 용이하게 하는가?"라는 질문을 제기합니다. 이에 대한 대답으로, 우리는 새로운 데이티 동사가 나타나는 노출 맥락의 속성을 주제와 수혜자의 속성을 기준으로 체계적으로 변화시키고, 그 후 LMs가 모델링되지 않은 데이티 구성에서 새로운 동사를 사용하는 방식을 분석합니다. 우리는 LMs가 어린이들의 CDG의 알려진 패턴을 복제하는 것을 발견하며, 새로운 가설을 탐구하기 위한 전제로서의 역할을 합니다. 이어지는 시뮬레이션에서는 새로운 동사의 노출 맥락의 속성이 LMs의 CDG에 미치는 미묘한 역할을 밝혀냅니다. 우리는 CDG가 노출 맥락의 첫 번째 동사 뒤 주어가 대명사이고 명확하며 짧으며 노출 데이티의 전형적인 생명력 기대에 부합할 때 용이해진다는 것을 발견합니다. 이러한 패턴은 데이티에서 조화롭게 정렬된 것으로, 논평가 중요도 척도에서 높은 순위를 차지하는 특징을 가진 주장이 다른 주장 앞에 오는 경향이 있습니다. 이는 노출 맥락의 특성 -- 특히 그 첫 번째 동사 뒤 주어 -- 가 조화롭게 정렬될수록 CDG가 용이해진다는 새로운 가설을 도출합니다. 우리는 이 가설을 어린이들을 대상으로 실험할 수 있는 미래 실험을 제안하며 결론을 내립니다.

English

Neural network language models (LMs) have been shown to successfully capture complex linguistic knowledge. However, their utility for understanding language acquisition is still debated. We contribute to this debate by presenting a case study where we use LMs as simulated learners to derive novel experimental hypotheses to be tested with humans. We apply this paradigm to study cross-dative generalization (CDG): productive generalization of novel verbs across dative constructions (she pilked me the ball/she pilked the ball to me) -- acquisition of which is known to involve a large space of contextual features -- using LMs trained on child-directed speech. We specifically ask: "what properties of the training exposure facilitate a novel verb's generalization to the (unmodeled) alternate construction?" To answer this, we systematically vary the exposure context in which a novel dative verb occurs in terms of the properties of the theme and recipient, and then analyze the LMs' usage of the novel verb in the unmodeled dative construction. We find LMs to replicate known patterns of children's CDG, as a precondition to exploring novel hypotheses. Subsequent simulations reveal a nuanced role of the features of the novel verbs' exposure context on the LMs' CDG. We find CDG to be facilitated when the first postverbal argument of the exposure context is pronominal, definite, short, and conforms to the prototypical animacy expectations of the exposure dative. These patterns are characteristic of harmonic alignment in datives, where the argument with features ranking higher on the discourse prominence scale tends to precede the other. This gives rise to a novel hypothesis that CDG is facilitated insofar as the features of the exposure context -- in particular, its first postverbal argument -- are harmonically aligned. We conclude by proposing future experiments that can test this hypothesis in children.