Da modelli di parole a modelli del mondo: tradurre dal linguaggio naturale al linguaggio probabilistico del pensiero

From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought

June 22, 2023

Autori: Lionel Wong, Gabriel Grand, Alexander K. Lew, Noah D. Goodman, Vikash K. Mansinghka, Jacob Andreas, Joshua B. Tenenbaum

cs.AI

Abstract

In che modo il linguaggio influenza il nostro pensiero a valle? In particolare, come gli esseri umani costruiscono significato a partire dal linguaggio — e come possiamo sfruttare una teoria del significato linguistico per costruire macchine che pensano in modi più simili a quelli umani? In questo articolo, proponiamo la costruzione razionale del significato, un framework computazionale per il pensiero informato dal linguaggio che combina modelli neurali del linguaggio con modelli probabilistici per l'inferenza razionale. Definiamo il significato linguistico come una mappatura sensibile al contesto dal linguaggio naturale a un linguaggio probabilistico del pensiero (PLoT) — un substrato simbolico generico per la modellazione probabilistica e generativa del mondo. La nostra architettura integra due potenti strumenti computazionali che finora non erano stati combinati: modelliamo il pensiero con programmi probabilistici, una rappresentazione espressiva per il ragionamento flessibile di senso comune; e modelliamo la costruzione del significato con grandi modelli linguistici (LLM), che supportano una traduzione ad ampio spettro da espressioni linguistiche naturali a espressioni di codice in un linguaggio di programmazione probabilistica. Illustriamo il nostro framework in azione attraverso esempi che coprono quattro domini fondamentali della scienza cognitiva: ragionamento probabilistico, ragionamento logico e relazionale, ragionamento visivo e fisico, e ragionamento sociale su agenti e i loro piani. In ciascuno di questi, dimostriamo che gli LLM possono generare traduzioni sensibili al contesto che catturano significati linguistici pragmaticamente appropriati, mentre l'inferenza bayesiana con i programmi generati supporta un ragionamento di senso comune coerente e robusto. Estendiamo il nostro framework per integrare moduli simbolici motivati cognitivamente, fornendo un'interfaccia unificata per il pensiero di senso comune a partire dal linguaggio. Infine, esploriamo come il linguaggio possa guidare la costruzione stessa dei modelli del mondo.

English

How does language inform our downstream thinking? In particular, how do humans make meaning from language -- and how can we leverage a theory of linguistic meaning to build machines that think in more human-like ways? In this paper, we propose rational meaning construction, a computational framework for language-informed thinking that combines neural models of language with probabilistic models for rational inference. We frame linguistic meaning as a context-sensitive mapping from natural language into a probabilistic language of thought (PLoT) -- a general-purpose symbolic substrate for probabilistic, generative world modeling. Our architecture integrates two powerful computational tools that have not previously come together: we model thinking with probabilistic programs, an expressive representation for flexible commonsense reasoning; and we model meaning construction with large language models (LLMs), which support broad-coverage translation from natural language utterances to code expressions in a probabilistic programming language. We illustrate our framework in action through examples covering four core domains from cognitive science: probabilistic reasoning, logical and relational reasoning, visual and physical reasoning, and social reasoning about agents and their plans. In each, we show that LLMs can generate context-sensitive translations that capture pragmatically-appropriate linguistic meanings, while Bayesian inference with the generated programs supports coherent and robust commonsense reasoning. We extend our framework to integrate cognitively-motivated symbolic modules to provide a unified commonsense thinking interface from language. Finally, we explore how language can drive the construction of world models themselves.