SymbolicAI : Un cadre pour les approches basées sur la logique combinant des modèles génératifs et des solveurs

SymbolicAI: A framework for logic-based approaches combining generative models and solvers

February 1, 2024

Auteurs: Marius-Constantin Dinu, Claudiu Leoveanu-Condrei, Markus Holzleitner, Werner Zellinger, Sepp Hochreiter

cs.AI

Résumé

Nous présentons SymbolicAI, un cadre modulaire et polyvalent qui adopte une approche logique pour l'apprentissage de concepts et la gestion des flux dans les processus génératifs. SymbolicAI permet l'intégration transparente de modèles génératifs avec une diversité de solveurs en traitant les grands modèles de langage (LLMs) comme des analyseurs sémantiques exécutant des tâches basées sur des instructions en langage naturel et formel, comblant ainsi l'écart entre le raisonnement symbolique et l'IA générative. Nous exploitons les principes de la programmation probabiliste pour aborder des tâches complexes, et utilisons les paradigmes de programmation différentiable et classique en tirant parti de leurs forces respectives. Le cadre introduit un ensemble d'opérations polymorphes, compositionnelles et auto-référentielles pour la manipulation des flux de données, alignant les sorties des LLMs sur les objectifs de l'utilisateur. En conséquence, nous pouvons alterner entre les capacités de divers modèles de base dotés d'apprentissage zero-shot et few-shot, et des modèles ou solveurs spécialisés et affinés, compétents pour résoudre des problèmes spécifiques. Ainsi, le cadre facilite la création et l'évaluation de graphes de calcul explicables. Nous concluons en introduisant une mesure de qualité et son score empirique pour évaluer ces graphes de calcul, et proposons un benchmark comparant divers LLMs de pointe à travers un ensemble de workflows complexes. Nous désignons ce score empirique sous le nom de "Vector Embedding for Relational Trajectory Evaluation through Cross-similarity", ou score VERTEX en abrégé. Le code source du cadre et le benchmark sont disponibles ci-dessous.

English

We introduce SymbolicAI, a versatile and modular framework employing a logic-based approach to concept learning and flow management in generative processes. SymbolicAI enables the seamless integration of generative models with a diverse range of solvers by treating large language models (LLMs) as semantic parsers that execute tasks based on both natural and formal language instructions, thus bridging the gap between symbolic reasoning and generative AI. We leverage probabilistic programming principles to tackle complex tasks, and utilize differentiable and classical programming paradigms with their respective strengths. The framework introduces a set of polymorphic, compositional, and self-referential operations for data stream manipulation, aligning LLM outputs with user objectives. As a result, we can transition between the capabilities of various foundation models endowed with zero- and few-shot learning capabilities and specialized, fine-tuned models or solvers proficient in addressing specific problems. In turn, the framework facilitates the creation and evaluation of explainable computational graphs. We conclude by introducing a quality measure and its empirical score for evaluating these computational graphs, and propose a benchmark that compares various state-of-the-art LLMs across a set of complex workflows. We refer to the empirical score as the "Vector Embedding for Relational Trajectory Evaluation through Cross-similarity", or VERTEX score for short. The framework codebase and benchmark are linked below.