Von Wortmodellen zu Weltmodellen: Übersetzung von natürlicher Sprache in die probabilistische Sprache des Denkens

From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought

June 22, 2023

Autoren: Lionel Wong, Gabriel Grand, Alexander K. Lew, Noah D. Goodman, Vikash K. Mansinghka, Jacob Andreas, Joshua B. Tenenbaum

cs.AI

Zusammenfassung

Wie beeinflusst Sprache unser nachgelagertes Denken? Insbesondere, wie erschließen Menschen Bedeutung aus Sprache – und wie können wir eine Theorie der linguistischen Bedeutung nutzen, um Maschinen zu entwickeln, die auf menschenähnlichere Weise denken? In diesem Artikel schlagen wir die rationale Bedeutungsbildung vor, ein rechnerisches Rahmenwerk für sprachgestütztes Denken, das neuronale Modelle der Sprache mit probabilistischen Modellen für rationale Inferenz kombiniert. Wir fassen linguistische Bedeutung als eine kontextsensitive Abbildung von natürlicher Sprache in eine probabilistische Sprache des Denkens (PLoT) auf – ein allgemeines symbolisches Substrat für probabilistische, generative Weltmodellierung. Unsere Architektur integriert zwei leistungsstarke rechnerische Werkzeuge, die bisher nicht zusammengeführt wurden: Wir modellieren Denken mit probabilistischen Programmen, einer ausdrucksstarken Repräsentation für flexibles Alltagsverständnis; und wir modellieren Bedeutungsbildung mit großen Sprachmodellen (LLMs), die eine breit gefächerte Übersetzung von natürlichen Sprachäußerungen in Code-Ausdrücke einer probabilistischen Programmiersprache unterstützen. Wir veranschaulichen unser Rahmenwerk anhand von Beispielen aus vier Kernbereichen der Kognitionswissenschaft: probabilistisches Denken, logisches und relationales Denken, visuelles und physikalisches Denken sowie soziales Denken über Akteure und ihre Pläne. In jedem Bereich zeigen wir, dass LLMs kontextsensitive Übersetzungen generieren können, die pragmatisch angemessene linguistische Bedeutungen erfassen, während die Bayes’sche Inferenz mit den generierten Programmen kohärentes und robustes Alltagsverständnis unterstützt. Wir erweitern unser Rahmenwerk, um kognitiv motivierte symbolische Module zu integrieren und eine einheitliche Schnittstelle für Alltagsdenken aus Sprache bereitzustellen. Schließlich untersuchen wir, wie Sprache selbst den Aufbau von Weltmodellen antreiben kann.

English

How does language inform our downstream thinking? In particular, how do humans make meaning from language -- and how can we leverage a theory of linguistic meaning to build machines that think in more human-like ways? In this paper, we propose rational meaning construction, a computational framework for language-informed thinking that combines neural models of language with probabilistic models for rational inference. We frame linguistic meaning as a context-sensitive mapping from natural language into a probabilistic language of thought (PLoT) -- a general-purpose symbolic substrate for probabilistic, generative world modeling. Our architecture integrates two powerful computational tools that have not previously come together: we model thinking with probabilistic programs, an expressive representation for flexible commonsense reasoning; and we model meaning construction with large language models (LLMs), which support broad-coverage translation from natural language utterances to code expressions in a probabilistic programming language. We illustrate our framework in action through examples covering four core domains from cognitive science: probabilistic reasoning, logical and relational reasoning, visual and physical reasoning, and social reasoning about agents and their plans. In each, we show that LLMs can generate context-sensitive translations that capture pragmatically-appropriate linguistic meanings, while Bayesian inference with the generated programs supports coherent and robust commonsense reasoning. We extend our framework to integrate cognitively-motivated symbolic modules to provide a unified commonsense thinking interface from language. Finally, we explore how language can drive the construction of world models themselves.