単語モデルから世界モデルへ：自然言語から確率的思考言語への翻訳

要旨

言語はどのようにして下流の思考を形成するのか？特に、人間はどのように言語から意味を構築するのか、そして言語的意味の理論を活用して、より人間らしい思考をする機械をどのように構築できるのか？本論文では、言語に基づく思考のための計算論的フレームワークとして、合理的意味構築（rational meaning construction）を提案する。これは、言語のニューラルモデルと合理的推論のための確率モデルを組み合わせたものである。我々は、言語的意味を、自然言語から確率的思考言語（Probabilistic Language of Thought, PLoT）への文脈依存的なマッピングとして捉える。PLoTは、確率的で生成的な世界モデリングのための汎用の記号的基盤である。我々のアーキテクチャは、これまで結びつかなかった2つの強力な計算ツールを統合する。まず、柔軟な常識推論のための表現力豊かな表現として、確率的プログラムを用いて思考をモデル化する。次に、大規模言語モデル（LLMs）を用いて意味構築をモデル化する。LLMsは、自然言語の発話から確率的プログラミング言語のコード表現への広範な翻訳をサポートする。我々は、認知科学の4つの主要領域（確率的推論、論理的・関係的推論、視覚的・物理的推論、エージェントとその計画に関する社会的推論）をカバーする例を通じて、このフレームワークの動作を説明する。それぞれの領域において、LLMsが文脈に応じた翻訳を生成し、語用論的に適切な言語的意味を捉えることができることを示す。また、生成されたプログラムを用いたベイズ推論が、一貫性のある堅牢な常識推論をサポートすることを示す。さらに、我々のフレームワークを拡張し、認知的に動機づけられた記号的モジュールを統合することで、言語からの統一された常識思考インターフェースを提供する。最後に、言語が世界モデル自体の構築をどのように駆動するかを探る。

English

How does language inform our downstream thinking? In particular, how do humans make meaning from language -- and how can we leverage a theory of linguistic meaning to build machines that think in more human-like ways? In this paper, we propose rational meaning construction, a computational framework for language-informed thinking that combines neural models of language with probabilistic models for rational inference. We frame linguistic meaning as a context-sensitive mapping from natural language into a probabilistic language of thought (PLoT) -- a general-purpose symbolic substrate for probabilistic, generative world modeling. Our architecture integrates two powerful computational tools that have not previously come together: we model thinking with probabilistic programs, an expressive representation for flexible commonsense reasoning; and we model meaning construction with large language models (LLMs), which support broad-coverage translation from natural language utterances to code expressions in a probabilistic programming language. We illustrate our framework in action through examples covering four core domains from cognitive science: probabilistic reasoning, logical and relational reasoning, visual and physical reasoning, and social reasoning about agents and their plans. In each, we show that LLMs can generate context-sensitive translations that capture pragmatically-appropriate linguistic meanings, while Bayesian inference with the generated programs supports coherent and robust commonsense reasoning. We extend our framework to integrate cognitively-motivated symbolic modules to provide a unified commonsense thinking interface from language. Finally, we explore how language can drive the construction of world models themselves.

単語モデルから世界モデルへ：自然言語から確率的思考言語への翻訳

From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought

要旨

Support