SymbolicAI: Un framework per approcci basati sulla logica che combinano modelli generativi e risolutori

SymbolicAI: A framework for logic-based approaches combining generative models and solvers

February 1, 2024

Autori: Marius-Constantin Dinu, Claudiu Leoveanu-Condrei, Markus Holzleitner, Werner Zellinger, Sepp Hochreiter

cs.AI

Abstract

Presentiamo SymbolicAI, un framework versatile e modulare che utilizza un approccio basato sulla logica per l'apprendimento di concetti e la gestione dei flussi nei processi generativi. SymbolicAI consente l'integrazione senza soluzione di continuità di modelli generativi con una vasta gamma di risolutori, trattando i grandi modelli linguistici (LLM) come parser semantici che eseguono compiti basati su istruzioni sia in linguaggio naturale che formale, colmando così il divario tra il ragionamento simbolico e l'IA generativa. Sfruttiamo i principi della programmazione probabilistica per affrontare compiti complessi e utilizziamo paradigmi di programmazione differenziabile e classica con i loro rispettivi punti di forza. Il framework introduce un insieme di operazioni polimorfiche, composizionali e auto-referenziali per la manipolazione dei flussi di dati, allineando gli output degli LLM con gli obiettivi dell'utente. Di conseguenza, possiamo passare tra le capacità di vari modelli di base dotati di capacità di apprendimento zero-shot e few-shot e modelli o risolutori specializzati e ottimizzati, competenti nel risolvere problemi specifici. A sua volta, il framework facilita la creazione e la valutazione di grafi computazionali spiegabili. Concludiamo introducendo una misura di qualità e il suo punteggio empirico per valutare questi grafi computazionali e proponiamo un benchmark che confronta vari LLM all'avanguardia attraverso una serie di flussi di lavoro complessi. Ci riferiamo al punteggio empirico come "Vector Embedding for Relational Trajectory Evaluation through Cross-similarity", o in breve punteggio VERTEX. Il codice del framework e il benchmark sono collegati di seguito.

English

We introduce SymbolicAI, a versatile and modular framework employing a logic-based approach to concept learning and flow management in generative processes. SymbolicAI enables the seamless integration of generative models with a diverse range of solvers by treating large language models (LLMs) as semantic parsers that execute tasks based on both natural and formal language instructions, thus bridging the gap between symbolic reasoning and generative AI. We leverage probabilistic programming principles to tackle complex tasks, and utilize differentiable and classical programming paradigms with their respective strengths. The framework introduces a set of polymorphic, compositional, and self-referential operations for data stream manipulation, aligning LLM outputs with user objectives. As a result, we can transition between the capabilities of various foundation models endowed with zero- and few-shot learning capabilities and specialized, fine-tuned models or solvers proficient in addressing specific problems. In turn, the framework facilitates the creation and evaluation of explainable computational graphs. We conclude by introducing a quality measure and its empirical score for evaluating these computational graphs, and propose a benchmark that compares various state-of-the-art LLMs across a set of complex workflows. We refer to the empirical score as the "Vector Embedding for Relational Trajectory Evaluation through Cross-similarity", or VERTEX score for short. The framework codebase and benchmark are linked below.