De Modelos de Palavras a Modelos do Mundo: Traduzindo da Linguagem Natural para a Linguagem Probabilística do Pensamento

From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought

June 22, 2023

Autores: Lionel Wong, Gabriel Grand, Alexander K. Lew, Noah D. Goodman, Vikash K. Mansinghka, Jacob Andreas, Joshua B. Tenenbaum

cs.AI

Resumo

Como a linguagem influencia nosso pensamento subsequente? Em particular, como os seres humanos constroem significado a partir da linguagem — e como podemos aproveitar uma teoria do significado linguístico para construir máquinas que pensam de maneiras mais humanas? Neste artigo, propomos a construção racional de significado, um framework computacional para o pensamento informado pela linguagem que combina modelos neurais de linguagem com modelos probabilísticos para inferência racional. Enquadramos o significado linguístico como um mapeamento sensível ao contexto da linguagem natural para uma linguagem de pensamento probabilística (PLoT, do inglês *Probabilistic Language of Thought*) — um substrato simbólico de propósito geral para modelagem probabilística e generativa do mundo. Nossa arquitetura integra duas ferramentas computacionais poderosas que não haviam sido combinadas anteriormente: modelamos o pensamento com programas probabilísticos, uma representação expressiva para raciocínio de senso comum flexível; e modelamos a construção de significado com grandes modelos de linguagem (LLMs, do inglês *Large Language Models*), que suportam a tradução abrangente de enunciados em linguagem natural para expressões de código em uma linguagem de programação probabilística. Ilustramos nosso framework em ação por meio de exemplos que abrangem quatro domínios centrais da ciência cognitiva: raciocínio probabilístico, raciocínio lógico e relacional, raciocínio visual e físico, e raciocínio social sobre agentes e seus planos. Em cada um, mostramos que os LLMs podem gerar traduções sensíveis ao contexto que capturam significados linguísticos pragmaticamente apropriados, enquanto a inferência bayesiana com os programas gerados suporta um raciocínio de senso comum coerente e robusto. Estendemos nosso framework para integrar módulos simbólicos motivados cognitivamente, fornecendo uma interface unificada de pensamento de senso comum a partir da linguagem. Por fim, exploramos como a linguagem pode impulsionar a construção dos próprios modelos de mundo.

English

How does language inform our downstream thinking? In particular, how do humans make meaning from language -- and how can we leverage a theory of linguistic meaning to build machines that think in more human-like ways? In this paper, we propose rational meaning construction, a computational framework for language-informed thinking that combines neural models of language with probabilistic models for rational inference. We frame linguistic meaning as a context-sensitive mapping from natural language into a probabilistic language of thought (PLoT) -- a general-purpose symbolic substrate for probabilistic, generative world modeling. Our architecture integrates two powerful computational tools that have not previously come together: we model thinking with probabilistic programs, an expressive representation for flexible commonsense reasoning; and we model meaning construction with large language models (LLMs), which support broad-coverage translation from natural language utterances to code expressions in a probabilistic programming language. We illustrate our framework in action through examples covering four core domains from cognitive science: probabilistic reasoning, logical and relational reasoning, visual and physical reasoning, and social reasoning about agents and their plans. In each, we show that LLMs can generate context-sensitive translations that capture pragmatically-appropriate linguistic meanings, while Bayesian inference with the generated programs supports coherent and robust commonsense reasoning. We extend our framework to integrate cognitively-motivated symbolic modules to provide a unified commonsense thinking interface from language. Finally, we explore how language can drive the construction of world models themselves.