SymbolicAI: Een raamwerk voor logica-gebaseerde benaderingen die generatieve modellen en oplossers combineren

SymbolicAI: A framework for logic-based approaches combining generative models and solvers

February 1, 2024

Auteurs: Marius-Constantin Dinu, Claudiu Leoveanu-Condrei, Markus Holzleitner, Werner Zellinger, Sepp Hochreiter

cs.AI

Samenvatting

We introduceren SymbolicAI, een veelzijdig en modulair framework dat een op logica gebaseerde benadering hanteert voor conceptleren en stroombeheer in generatieve processen. SymbolicAI maakt de naadloze integratie van generatieve modellen met een diverse reeks oplossers mogelijk door grote taalmodellen (LLM's) te behandelen als semantische parsers die taken uitvoeren op basis van zowel natuurlijke als formele taal instructies, waardoor de kloof tussen symbolisch redeneren en generatieve AI wordt overbrugd. We benutten principes van probabilistisch programmeren om complexe taken aan te pakken, en maken gebruik van differentieerbare en klassieke programmeerparadigma's met hun respectievelijke sterke punten. Het framework introduceert een reeks polymorfe, compositionele en zelf-referentiële operaties voor de manipulatie van datastromen, waarbij de uitvoer van LLM's wordt afgestemd op gebruikersdoelen. Hierdoor kunnen we schakelen tussen de mogelijkheden van verschillende foundation modellen die zijn uitgerust met zero- en few-shot leermogelijkheden en gespecialiseerde, fijn afgestemde modellen of oplossers die bedreven zijn in het aanpakken van specifieke problemen. Op zijn beurt vergemakkelijkt het framework het creëren en evalueren van verklaarbare computationele grafieken. We sluiten af met de introductie van een kwaliteitsmaat en de bijbehorende empirische score voor het evalueren van deze computationele grafieken, en stellen een benchmark voor die verschillende state-of-the-art LLM's vergelijkt over een reeks complexe workflows. We verwijzen naar de empirische score als de "Vector Embedding for Relational Trajectory Evaluation through Cross-similarity", of kortweg de VERTEX-score. De codebase van het framework en de benchmark zijn hieronder gelinkt.

English

We introduce SymbolicAI, a versatile and modular framework employing a logic-based approach to concept learning and flow management in generative processes. SymbolicAI enables the seamless integration of generative models with a diverse range of solvers by treating large language models (LLMs) as semantic parsers that execute tasks based on both natural and formal language instructions, thus bridging the gap between symbolic reasoning and generative AI. We leverage probabilistic programming principles to tackle complex tasks, and utilize differentiable and classical programming paradigms with their respective strengths. The framework introduces a set of polymorphic, compositional, and self-referential operations for data stream manipulation, aligning LLM outputs with user objectives. As a result, we can transition between the capabilities of various foundation models endowed with zero- and few-shot learning capabilities and specialized, fine-tuned models or solvers proficient in addressing specific problems. In turn, the framework facilitates the creation and evaluation of explainable computational graphs. We conclude by introducing a quality measure and its empirical score for evaluating these computational graphs, and propose a benchmark that compares various state-of-the-art LLMs across a set of complex workflows. We refer to the empirical score as the "Vector Embedding for Relational Trajectory Evaluation through Cross-similarity", or VERTEX score for short. The framework codebase and benchmark are linked below.