Des modèles de mots aux modèles du monde : Traduire du langage naturel au langage probabiliste de la pensée

From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought

June 22, 2023

Auteurs: Lionel Wong, Gabriel Grand, Alexander K. Lew, Noah D. Goodman, Vikash K. Mansinghka, Jacob Andreas, Joshua B. Tenenbaum

cs.AI

Résumé

Comment le langage informe-t-il notre pensée en aval ? Plus précisément, comment les humains construisent-ils du sens à partir du langage — et comment pouvons-nous exploiter une théorie de la signification linguistique pour construire des machines qui pensent de manière plus humaine ? Dans cet article, nous proposons la construction rationnelle du sens, un cadre computationnel pour une pensée informée par le langage qui combine des modèles neuronaux du langage avec des modèles probabilistes pour l'inférence rationnelle. Nous définissons la signification linguistique comme une correspondance sensible au contexte entre le langage naturel et un langage de pensée probabiliste (PLoT) — un substrat symbolique polyvalent pour la modélisation probabiliste et générative du monde. Notre architecture intègre deux outils computationnels puissants qui n'avaient jamais été combinés auparavant : nous modélisons la pensée avec des programmes probabilistes, une représentation expressive pour un raisonnement de bon sens flexible ; et nous modélisons la construction du sens avec des modèles de langage à grande échelle (LLMs), qui permettent une traduction à large couverture des énoncés en langage naturel vers des expressions de code dans un langage de programmation probabiliste. Nous illustrons notre cadre en action à travers des exemples couvrant quatre domaines fondamentaux des sciences cognitives : le raisonnement probabiliste, le raisonnement logique et relationnel, le raisonnement visuel et physique, et le raisonnement social sur les agents et leurs plans. Dans chaque cas, nous montrons que les LLMs peuvent générer des traductions sensibles au contexte qui capturent des significations linguistiques pragmatiquement appropriées, tandis que l'inférence bayésienne avec les programmes générés soutient un raisonnement de bon sens cohérent et robuste. Nous étendons notre cadre pour intégrer des modules symboliques motivés par la cognition, fournissant ainsi une interface unifiée de pensée de bon sens à partir du langage. Enfin, nous explorons comment le langage peut guider la construction des modèles du monde eux-mêmes.

English

How does language inform our downstream thinking? In particular, how do humans make meaning from language -- and how can we leverage a theory of linguistic meaning to build machines that think in more human-like ways? In this paper, we propose rational meaning construction, a computational framework for language-informed thinking that combines neural models of language with probabilistic models for rational inference. We frame linguistic meaning as a context-sensitive mapping from natural language into a probabilistic language of thought (PLoT) -- a general-purpose symbolic substrate for probabilistic, generative world modeling. Our architecture integrates two powerful computational tools that have not previously come together: we model thinking with probabilistic programs, an expressive representation for flexible commonsense reasoning; and we model meaning construction with large language models (LLMs), which support broad-coverage translation from natural language utterances to code expressions in a probabilistic programming language. We illustrate our framework in action through examples covering four core domains from cognitive science: probabilistic reasoning, logical and relational reasoning, visual and physical reasoning, and social reasoning about agents and their plans. In each, we show that LLMs can generate context-sensitive translations that capture pragmatically-appropriate linguistic meanings, while Bayesian inference with the generated programs supports coherent and robust commonsense reasoning. We extend our framework to integrate cognitively-motivated symbolic modules to provide a unified commonsense thinking interface from language. Finally, we explore how language can drive the construction of world models themselves.