SymbolicAI: 生成モデルとソルバーを統合した論理ベースアプローチのためのフレームワーク

SymbolicAI: A framework for logic-based approaches combining generative models and solvers

February 1, 2024

著者: Marius-Constantin Dinu, Claudiu Leoveanu-Condrei, Markus Holzleitner, Werner Zellinger, Sepp Hochreiter

cs.AI

要旨

私たちは、生成プロセスにおける概念学習とフロー管理に論理ベースのアプローチを採用した、汎用的でモジュール型のフレームワーク「SymbolicAI」を紹介します。SymbolicAIは、大規模言語モデル（LLM）を自然言語および形式言語の指示に基づいてタスクを実行するセマンティックパーサーとして扱うことで、生成モデルと多様なソルバーをシームレスに統合し、記号的推論と生成AIの間のギャップを埋めます。私たちは、複雑なタスクに取り組むために確率的プログラミングの原則を活用し、微分可能なプログラミングパラダイムと古典的プログラミングパラダイムをそれぞれの強みを活かして利用します。このフレームワークは、データストリーム操作のための多態的、合成的、自己言及的な操作セットを導入し、LLMの出力をユーザーの目的に合わせます。その結果、ゼロショットおよび少数ショット学習能力を備えた様々な基盤モデルの能力と、特定の問題に対処するための専門的で微調整されたモデルやソルバーとの間を移行することが可能になります。さらに、このフレームワークは説明可能な計算グラフの作成と評価を容易にします。最後に、これらの計算グラフを評価するための品質指標とその経験的スコアを紹介し、一連の複雑なワークフローにわたって様々な最先端のLLMを比較するベンチマークを提案します。私たちはこの経験的スコアを「Vector Embedding for Relational Trajectory Evaluation through Cross-similarity」、略してVERTEXスコアと呼びます。フレームワークのコードベースとベンチマークは以下にリンクされています。

English

We introduce SymbolicAI, a versatile and modular framework employing a logic-based approach to concept learning and flow management in generative processes. SymbolicAI enables the seamless integration of generative models with a diverse range of solvers by treating large language models (LLMs) as semantic parsers that execute tasks based on both natural and formal language instructions, thus bridging the gap between symbolic reasoning and generative AI. We leverage probabilistic programming principles to tackle complex tasks, and utilize differentiable and classical programming paradigms with their respective strengths. The framework introduces a set of polymorphic, compositional, and self-referential operations for data stream manipulation, aligning LLM outputs with user objectives. As a result, we can transition between the capabilities of various foundation models endowed with zero- and few-shot learning capabilities and specialized, fine-tuned models or solvers proficient in addressing specific problems. In turn, the framework facilitates the creation and evaluation of explainable computational graphs. We conclude by introducing a quality measure and its empirical score for evaluating these computational graphs, and propose a benchmark that compares various state-of-the-art LLMs across a set of complex workflows. We refer to the empirical score as the "Vector Embedding for Relational Trajectory Evaluation through Cross-similarity", or VERTEX score for short. The framework codebase and benchmark are linked below.