Формирование новых экспериментальных гипотез с использованием языковых моделей: случайное исследование обобщения кросс-датива

Generating novel experimental hypotheses from language models: A case study on cross-dative generalization

August 9, 2024

Авторы: Kanishka Misra, Najoung Kim

cs.AI

Аннотация

Языковые модели нейронных сетей (ЯМ) показали свою способность успешно улавливать сложные лингвистические знания. Однако их полезность для понимания процесса усвоения языка все еще обсуждается. Мы вносим свой вклад в этот дискурс, представляя кейс-стади, в котором мы используем ЯМ в качестве моделируемых обучающихся для выведения новых экспериментальных гипотез, которые будут проверены на людях. Мы применяем этот подход для изучения кросс-дативной обобщенности (КДО): продуктивной обобщенности новых глаголов через дативные конструкции (она передала мне мяч/она передала мяч мне) - усвоение которой известно как процесс, включающий большое количество контекстуальных признаков - с использованием ЯМ, обученных на речи, адресованной детям. Мы конкретно задаем вопрос: "какие свойства обучающего воздействия способствуют обобщению нового глагола на (не моделируемую) альтернативную конструкцию?" Для ответа на этот вопрос мы систематически изменяем контекст обучения, в котором новый дативный глагол встречается, с учетом свойств темы и получателя, а затем анализируем использование ЯМ нового глагола в не моделируемой дативной конструкции. Мы обнаруживаем, что ЯМ воспроизводят известные закономерности кросс-дативной обобщенности у детей, что является предпосылкой для исследования новых гипотез. Последующие симуляции раскрывают тонкую роль признаков контекста обучения новых глаголов на кросс-дативную обобщенность ЯМ. Мы обнаруживаем, что КДО облегчается, когда первый постглагольный аргумент контекста обучения является местоименным, определенным, коротким и соответствует прототипическим ожиданиям оживленности в дативе обучения. Эти закономерности характерны для гармонического выравнивания в дативах, где аргумент с признаками, занимающими более высокое положение в шкале дискурсивной выдачи, обычно предшествует другому. Это приводит к новой гипотезе о том, что КДО облегчается в той степени, в которой признаки контекста обучения - в частности, его первый постглагольный аргумент - гармонически выровнены. Мы заканчиваем, предлагая будущие эксперименты, которые могут проверить эту гипотезу на детях.

English

Neural network language models (LMs) have been shown to successfully capture complex linguistic knowledge. However, their utility for understanding language acquisition is still debated. We contribute to this debate by presenting a case study where we use LMs as simulated learners to derive novel experimental hypotheses to be tested with humans. We apply this paradigm to study cross-dative generalization (CDG): productive generalization of novel verbs across dative constructions (she pilked me the ball/she pilked the ball to me) -- acquisition of which is known to involve a large space of contextual features -- using LMs trained on child-directed speech. We specifically ask: "what properties of the training exposure facilitate a novel verb's generalization to the (unmodeled) alternate construction?" To answer this, we systematically vary the exposure context in which a novel dative verb occurs in terms of the properties of the theme and recipient, and then analyze the LMs' usage of the novel verb in the unmodeled dative construction. We find LMs to replicate known patterns of children's CDG, as a precondition to exploring novel hypotheses. Subsequent simulations reveal a nuanced role of the features of the novel verbs' exposure context on the LMs' CDG. We find CDG to be facilitated when the first postverbal argument of the exposure context is pronominal, definite, short, and conforms to the prototypical animacy expectations of the exposure dative. These patterns are characteristic of harmonic alignment in datives, where the argument with features ranking higher on the discourse prominence scale tends to precede the other. This gives rise to a novel hypothesis that CDG is facilitated insofar as the features of the exposure context -- in particular, its first postverbal argument -- are harmonically aligned. We conclude by proposing future experiments that can test this hypothesis in children.