SymbolicAI: Um framework para abordagens baseadas em lógica que combinam modelos generativos e solucionadores.

SymbolicAI: A framework for logic-based approaches combining generative models and solvers

February 1, 2024

Autores: Marius-Constantin Dinu, Claudiu Leoveanu-Condrei, Markus Holzleitner, Werner Zellinger, Sepp Hochreiter

cs.AI

Resumo

Apresentamos o SymbolicAI, um framework versátil e modular que emprega uma abordagem baseada em lógica para o aprendizado de conceitos e a gestão de fluxos em processos generativos. O SymbolicAI permite a integração contínua de modelos generativos com uma ampla gama de solucionadores, tratando modelos de linguagem de grande escala (LLMs) como parsers semânticos que executam tarefas com base em instruções tanto em linguagem natural quanto formal, assim preenchendo a lacuna entre o raciocínio simbólico e a IA generativa. Utilizamos princípios de programação probabilística para lidar com tarefas complexas e empregamos paradigmas de programação diferenciável e clássica, aproveitando seus respectivos pontos fortes. O framework introduz um conjunto de operações polimórficas, composicionais e autorreferenciais para a manipulação de fluxos de dados, alinhando as saídas dos LLMs com os objetivos do usuário. Como resultado, podemos alternar entre as capacidades de vários modelos base, dotados de habilidades de aprendizado zero-shot e few-shot, e modelos especializados ou solucionadores ajustados para resolver problemas específicos. Por sua vez, o framework facilita a criação e avaliação de grafos computacionais explicáveis. Concluímos introduzindo uma medida de qualidade e sua pontuação empírica para avaliar esses grafos computacionais, e propomos um benchmark que compara diversos LLMs de última geração em um conjunto de fluxos de trabalho complexos. Referimo-nos à pontuação empírica como "Vector Embedding for Relational Trajectory Evaluation through Cross-similarity", ou pontuação VERTEX, para abreviar. O código-base do framework e o benchmark estão vinculados abaixo.

English

We introduce SymbolicAI, a versatile and modular framework employing a logic-based approach to concept learning and flow management in generative processes. SymbolicAI enables the seamless integration of generative models with a diverse range of solvers by treating large language models (LLMs) as semantic parsers that execute tasks based on both natural and formal language instructions, thus bridging the gap between symbolic reasoning and generative AI. We leverage probabilistic programming principles to tackle complex tasks, and utilize differentiable and classical programming paradigms with their respective strengths. The framework introduces a set of polymorphic, compositional, and self-referential operations for data stream manipulation, aligning LLM outputs with user objectives. As a result, we can transition between the capabilities of various foundation models endowed with zero- and few-shot learning capabilities and specialized, fine-tuned models or solvers proficient in addressing specific problems. In turn, the framework facilitates the creation and evaluation of explainable computational graphs. We conclude by introducing a quality measure and its empirical score for evaluating these computational graphs, and propose a benchmark that compares various state-of-the-art LLMs across a set of complex workflows. We refer to the empirical score as the "Vector Embedding for Relational Trajectory Evaluation through Cross-similarity", or VERTEX score for short. The framework codebase and benchmark are linked below.