De modelos de palabras a modelos del mundo: traducción del lenguaje natural al lenguaje probabilístico del pensamiento

From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought

June 22, 2023

Autores: Lionel Wong, Gabriel Grand, Alexander K. Lew, Noah D. Goodman, Vikash K. Mansinghka, Jacob Andreas, Joshua B. Tenenbaum

cs.AI

Resumen

¿Cómo informa el lenguaje nuestro pensamiento descendente? En particular, ¿cómo los seres humanos construyen significado a partir del lenguaje, y cómo podemos aprovechar una teoría del significado lingüístico para construir máquinas que piensen de manera más similar a los humanos? En este artículo, proponemos la construcción racional del significado, un marco computacional para el pensamiento informado por el lenguaje que combina modelos neuronales del lenguaje con modelos probabilísticos para la inferencia racional. Enmarcamos el significado lingüístico como una asignación sensible al contexto desde el lenguaje natural hacia un lenguaje de pensamiento probabilístico (PLoT, por sus siglas en inglés), un sustrato simbólico de propósito general para el modelado probabilístico y generativo del mundo. Nuestra arquitectura integra dos herramientas computacionales poderosas que no se habían combinado previamente: modelamos el pensamiento con programas probabilísticos, una representación expresiva para el razonamiento de sentido común flexible; y modelamos la construcción del significado con modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés), que permiten una traducción de amplia cobertura desde expresiones en lenguaje natural hacia expresiones de código en un lenguaje de programación probabilística. Ilustramos nuestro marco en acción a través de ejemplos que abarcan cuatro dominios centrales de la ciencia cognitiva: razonamiento probabilístico, razonamiento lógico y relacional, razonamiento visual y físico, y razonamiento social sobre agentes y sus planes. En cada uno, mostramos que los LLMs pueden generar traducciones sensibles al contexto que capturan significados lingüísticos pragmáticamente apropiados, mientras que la inferencia bayesiana con los programas generados respalda un razonamiento de sentido común coherente y robusto. Extendemos nuestro marco para integrar módulos simbólicos motivados cognitivamente, proporcionando una interfaz unificada de pensamiento de sentido común a partir del lenguaje. Finalmente, exploramos cómo el lenguaje puede impulsar la construcción de los modelos del mundo en sí mismos.

English

How does language inform our downstream thinking? In particular, how do humans make meaning from language -- and how can we leverage a theory of linguistic meaning to build machines that think in more human-like ways? In this paper, we propose rational meaning construction, a computational framework for language-informed thinking that combines neural models of language with probabilistic models for rational inference. We frame linguistic meaning as a context-sensitive mapping from natural language into a probabilistic language of thought (PLoT) -- a general-purpose symbolic substrate for probabilistic, generative world modeling. Our architecture integrates two powerful computational tools that have not previously come together: we model thinking with probabilistic programs, an expressive representation for flexible commonsense reasoning; and we model meaning construction with large language models (LLMs), which support broad-coverage translation from natural language utterances to code expressions in a probabilistic programming language. We illustrate our framework in action through examples covering four core domains from cognitive science: probabilistic reasoning, logical and relational reasoning, visual and physical reasoning, and social reasoning about agents and their plans. In each, we show that LLMs can generate context-sensitive translations that capture pragmatically-appropriate linguistic meanings, while Bayesian inference with the generated programs supports coherent and robust commonsense reasoning. We extend our framework to integrate cognitively-motivated symbolic modules to provide a unified commonsense thinking interface from language. Finally, we explore how language can drive the construction of world models themselves.