SymbolicAI: Ein Framework für logikbasierte Ansätze, die generative Modelle und Solver kombinieren

SymbolicAI: A framework for logic-based approaches combining generative models and solvers

February 1, 2024

Autoren: Marius-Constantin Dinu, Claudiu Leoveanu-Condrei, Markus Holzleitner, Werner Zellinger, Sepp Hochreiter

cs.AI

Zusammenfassung

Wir stellen SymbolicAI vor, ein vielseitiges und modulares Framework, das einen logikbasierten Ansatz für Konzeptlernen und Flussmanagement in generativen Prozessen verfolgt. SymbolicAI ermöglicht die nahtlose Integration von generativen Modellen mit einer Vielzahl von Solvern, indem große Sprachmodelle (LLMs) als semantische Parser behandelt werden, die Aufgaben basierend auf natürlichen und formalen Sprachinstruktionen ausführen. Dadurch wird die Lücke zwischen symbolischem Denken und generativer KI überbrückt. Wir nutzen Prinzipien des probabilistischen Programmierens, um komplexe Aufgaben zu bewältigen, und verwenden sowohl differenzierbare als auch klassische Programmierparadigmen mit ihren jeweiligen Stärken. Das Framework führt eine Reihe von polymorphen, kompositionellen und selbstreferenziellen Operationen zur Manipulation von Datenströmen ein, wodurch die Ausgaben der LLMs mit den Zielen der Nutzer abgestimmt werden. Dadurch können wir zwischen den Fähigkeiten verschiedener Foundation-Modelle mit Zero- und Few-Shot-Lernfähigkeiten und spezialisierten, feinabgestimmten Modellen oder Solvern, die spezifische Probleme lösen können, wechseln. Das Framework erleichtert zudem die Erstellung und Bewertung von erklärbaren Berechnungsgraphen. Abschließend führen wir ein Qualitätsmaß und dessen empirischen Score zur Bewertung dieser Berechnungsgraphen ein und schlagen ein Benchmark vor, das verschiedene state-of-the-art LLMs über eine Reihe komplexer Workflows vergleicht. Wir bezeichnen den empirischen Score als „Vector Embedding for Relational Trajectory Evaluation through Cross-similarity“ oder kurz VERTEX-Score. Der Codebase des Frameworks und das Benchmark sind unten verlinkt.

English

We introduce SymbolicAI, a versatile and modular framework employing a logic-based approach to concept learning and flow management in generative processes. SymbolicAI enables the seamless integration of generative models with a diverse range of solvers by treating large language models (LLMs) as semantic parsers that execute tasks based on both natural and formal language instructions, thus bridging the gap between symbolic reasoning and generative AI. We leverage probabilistic programming principles to tackle complex tasks, and utilize differentiable and classical programming paradigms with their respective strengths. The framework introduces a set of polymorphic, compositional, and self-referential operations for data stream manipulation, aligning LLM outputs with user objectives. As a result, we can transition between the capabilities of various foundation models endowed with zero- and few-shot learning capabilities and specialized, fine-tuned models or solvers proficient in addressing specific problems. In turn, the framework facilitates the creation and evaluation of explainable computational graphs. We conclude by introducing a quality measure and its empirical score for evaluating these computational graphs, and propose a benchmark that compares various state-of-the-art LLMs across a set of complex workflows. We refer to the empirical score as the "Vector Embedding for Relational Trajectory Evaluation through Cross-similarity", or VERTEX score for short. The framework codebase and benchmark are linked below.