言語モデルは言語をモデル化する

要旨

ソシュールやチョムスキーの理論的枠組みに強く影響を受けた大規模言語モデル（LLM）に対する言語学的評論は、しばしば推測的で非生産的である。批評家たちは、理想化された言語的「能力」を達成するためには「深層構造」や「基盤付け」が必要であると指摘し、LLMが言語を正当にモデル化できるかどうかに疑問を投げかける。我々は、著名な一般言語学者かつ歴史言語学者であるヴィトルト・マンチャックの経験主義的原則に向けた視点の根本的な転換を主張する。彼は言語を「記号の体系」や「脳の計算システム」としてではなく、語られ書かれたものの総体として定義する。特に、彼は特定の言語要素の使用頻度を言語の主要な支配原理として位置づけている。彼の枠組みを用いて、我々はこれまでのLLMに対する批判に異議を唱え、言語モデルの設計、評価、解釈のための建設的な指針を提供する。

English

Linguistic commentary on LLMs, heavily influenced by the theoretical frameworks of de Saussure and Chomsky, is often speculative and unproductive. Critics challenge whether LLMs can legitimately model language, citing the need for "deep structure" or "grounding" to achieve an idealized linguistic "competence." We argue for a radical shift in perspective towards the empiricist principles of Witold Ma\'nczak, a prominent general and historical linguist. He defines language not as a "system of signs" or a "computational system of the brain" but as the totality of all that is said and written. Above all, he identifies frequency of use of particular language elements as language's primary governing principle. Using his framework, we challenge prior critiques of LLMs and provide a constructive guide for designing, evaluating, and interpreting language models.

言語モデルは言語をモデル化する

Language Models Model Language

要旨

Support