Van Woordmodellen naar Wereldmodellen: Vertalen van Natuurlijke Taal naar de Probabilistische Taal van het Denken

Samenvatting

Hoe informeert taal ons downstream denken? In het bijzonder, hoe creëren mensen betekenis uit taal – en hoe kunnen we een theorie van linguïstische betekenis benutten om machines te bouwen die op meer mensachtige manieren denken? In dit artikel stellen we rationele betekenisconstructie voor, een computationeel raamwerk voor taalgeïnformeerd denken dat neurale modellen van taal combineert met probabilistische modellen voor rationele inferentie. We definiëren linguïstische betekenis als een contextgevoelige afbeelding van natuurlijke taal naar een probabilistische taal van denken (PLoT) – een algemeen bruikbaar symbolisch substraat voor probabilistische, generatieve wereldmodellering. Onze architectuur integreert twee krachtige computationele tools die voorheen niet samengekomen zijn: we modelleren denken met probabilistische programma's, een expressieve representatie voor flexibel gezond verstand redeneren; en we modelleren betekenisconstructie met grote taalmmodellen (LLMs), die brede dekking bieden voor vertaling van natuurlijke taal uitingen naar code-expressies in een probabilistische programmeertaal. We illustreren ons raamwerk in actie door voorbeelden die vier kerngebieden uit de cognitieve wetenschap beslaan: probabilistisch redeneren, logisch en relationeel redeneren, visueel en fysiek redeneren, en sociaal redeneren over agenten en hun plannen. In elk daarvan tonen we aan dat LLMs contextgevoelige vertalingen kunnen genereren die pragmatisch passende linguïstische betekenissen vastleggen, terwijl Bayesiaanse inferentie met de gegenereerde programma's coherent en robuust gezond verstand redeneren ondersteunt. We breiden ons raamwerk uit om cognitief gemotiveerde symbolische modules te integreren om een uniforme interface voor gezond verstand denken vanuit taal te bieden. Ten slotte onderzoeken we hoe taal de constructie van wereldmodellen zelf kan sturen.

English

How does language inform our downstream thinking? In particular, how do humans make meaning from language -- and how can we leverage a theory of linguistic meaning to build machines that think in more human-like ways? In this paper, we propose rational meaning construction, a computational framework for language-informed thinking that combines neural models of language with probabilistic models for rational inference. We frame linguistic meaning as a context-sensitive mapping from natural language into a probabilistic language of thought (PLoT) -- a general-purpose symbolic substrate for probabilistic, generative world modeling. Our architecture integrates two powerful computational tools that have not previously come together: we model thinking with probabilistic programs, an expressive representation for flexible commonsense reasoning; and we model meaning construction with large language models (LLMs), which support broad-coverage translation from natural language utterances to code expressions in a probabilistic programming language. We illustrate our framework in action through examples covering four core domains from cognitive science: probabilistic reasoning, logical and relational reasoning, visual and physical reasoning, and social reasoning about agents and their plans. In each, we show that LLMs can generate context-sensitive translations that capture pragmatically-appropriate linguistic meanings, while Bayesian inference with the generated programs supports coherent and robust commonsense reasoning. We extend our framework to integrate cognitively-motivated symbolic modules to provide a unified commonsense thinking interface from language. Finally, we explore how language can drive the construction of world models themselves.

Van Woordmodellen naar Wereldmodellen: Vertalen van Natuurlijke Taal naar de Probabilistische Taal van het Denken

From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought

Samenvatting

Support