SymbolicAI: Un marco para enfoques basados en lógica que combina modelos generativos y solucionadores

SymbolicAI: A framework for logic-based approaches combining generative models and solvers

February 1, 2024

Autores: Marius-Constantin Dinu, Claudiu Leoveanu-Condrei, Markus Holzleitner, Werner Zellinger, Sepp Hochreiter

cs.AI

Resumen

Presentamos SymbolicAI, un marco versátil y modular que emplea un enfoque basado en lógica para el aprendizaje de conceptos y la gestión de flujos en procesos generativos. SymbolicAI permite la integración fluida de modelos generativos con una amplia gama de solucionadores al tratar los modelos de lenguaje grandes (LLMs) como analizadores semánticos que ejecutan tareas basadas en instrucciones tanto en lenguaje natural como formal, cerrando así la brecha entre el razonamiento simbólico y la IA generativa. Aprovechamos los principios de la programación probabilística para abordar tareas complejas, y utilizamos paradigmas de programación diferenciable y clásica con sus respectivas fortalezas. El marco introduce un conjunto de operaciones polimórficas, composicionales y autorreferenciales para la manipulación de flujos de datos, alineando las salidas de los LLMs con los objetivos del usuario. Como resultado, podemos transitar entre las capacidades de varios modelos base dotados de habilidades de aprendizaje zero-shot y few-shot, y modelos especializados o solucionadores ajustados específicamente para abordar problemas concretos. A su vez, el marco facilita la creación y evaluación de grafos computacionales explicables. Concluimos introduciendo una medida de calidad y su puntuación empírica para evaluar estos grafos computacionales, y proponemos un benchmark que compara varios LLMs de última generación en un conjunto de flujos de trabajo complejos. Nos referimos a la puntuación empírica como "Vector Embedding for Relational Trajectory Evaluation through Cross-similarity", o puntuación VERTEX para abreviar. El código base del marco y el benchmark se encuentran enlazados a continuación.

English

We introduce SymbolicAI, a versatile and modular framework employing a logic-based approach to concept learning and flow management in generative processes. SymbolicAI enables the seamless integration of generative models with a diverse range of solvers by treating large language models (LLMs) as semantic parsers that execute tasks based on both natural and formal language instructions, thus bridging the gap between symbolic reasoning and generative AI. We leverage probabilistic programming principles to tackle complex tasks, and utilize differentiable and classical programming paradigms with their respective strengths. The framework introduces a set of polymorphic, compositional, and self-referential operations for data stream manipulation, aligning LLM outputs with user objectives. As a result, we can transition between the capabilities of various foundation models endowed with zero- and few-shot learning capabilities and specialized, fine-tuned models or solvers proficient in addressing specific problems. In turn, the framework facilitates the creation and evaluation of explainable computational graphs. We conclude by introducing a quality measure and its empirical score for evaluating these computational graphs, and propose a benchmark that compares various state-of-the-art LLMs across a set of complex workflows. We refer to the empirical score as the "Vector Embedding for Relational Trajectory Evaluation through Cross-similarity", or VERTEX score for short. The framework codebase and benchmark are linked below.