テンソル論理：AIの言語

要旨

AIの進歩は、必要な機能をすべて備えたプログラミング言語の欠如によって妨げられています。PyTorchやTensorFlowのようなライブラリは自動微分と効率的なGPU実装を提供しますが、これらはAIを意図して設計されたわけではないPythonへの追加機能に過ぎません。これらのライブラリは自動推論や知識獲得をサポートしておらず、その結果、これらの機能を無理やり追加しようとする長くてコストのかかる試みが繰り返されてきました。一方、LISPやPrologのようなAI言語は、スケーラビリティと学習のサポートに欠けています。本論文では、これらの問題を解決するために、ニューラルAIとシンボリックAIを根本的なレベルで統合するテンソル論理という言語を提案します。テンソル論理の唯一の構成要素はテンソル方程式であり、これは論理規則とアインシュタインの縮約記法が本質的に同じ操作であるという観察に基づいており、他のすべての操作はこれらに還元できます。本論文では、トランスフォーマー、形式的推論、カーネルマシン、グラフィカルモデルなど、ニューラル、シンボリック、統計的AIの主要な形式をテンソル論理でエレガントに実装する方法を示します。最も重要なのは、テンソル論理が新しい方向性を可能にすることです。例えば、埋め込み空間での健全な推論が挙げられます。これにより、ニューラルネットワークのスケーラビリティと学習可能性と、シンボリック推論の信頼性と透明性が組み合わされ、AIのより広範な採用の基盤となる可能性があります。

English

Progress in AI is hindered by the lack of a programming language with all the requisite features. Libraries like PyTorch and TensorFlow provide automatic differentiation and efficient GPU implementation, but are additions to Python, which was never intended for AI. Their lack of support for automated reasoning and knowledge acquisition has led to a long and costly series of hacky attempts to tack them on. On the other hand, AI languages like LISP an Prolog lack scalability and support for learning. This paper proposes tensor logic, a language that solves these problems by unifying neural and symbolic AI at a fundamental level. The sole construct in tensor logic is the tensor equation, based on the observation that logical rules and Einstein summation are essentially the same operation, and all else can be reduced to them. I show how to elegantly implement key forms of neural, symbolic and statistical AI in tensor logic, including transformers, formal reasoning, kernel machines and graphical models. Most importantly, tensor logic makes new directions possible, such as sound reasoning in embedding space. This combines the scalability and learnability of neural networks with the reliability and transparency of symbolic reasoning, and is potentially a basis for the wider adoption of AI.

テンソル論理：AIの言語

Tensor Logic: The Language of AI

要旨

Support