SymbolicAI: фреймворк для логических подходов, объединяющий генеративные модели и решатели

SymbolicAI: A framework for logic-based approaches combining generative models and solvers

February 1, 2024

Авторы: Marius-Constantin Dinu, Claudiu Leoveanu-Condrei, Markus Holzleitner, Werner Zellinger, Sepp Hochreiter

cs.AI

Аннотация

Мы представляем SymbolicAI — универсальную и модульную платформу, использующую логический подход к обучению концепциям и управлению потоками в генеративных процессах. SymbolicAI обеспечивает бесшовную интеграцию генеративных моделей с широким спектром решателей, рассматривая большие языковые модели (LLM) как семантические парсеры, выполняющие задачи на основе инструкций как на естественном, так и на формальном языке, тем самым устраняя разрыв между символическим рассуждением и генеративным ИИ. Мы используем принципы вероятностного программирования для решения сложных задач, а также применяем дифференцируемые и классические парадигмы программирования, учитывая их сильные стороны. Платформа предлагает набор полиморфных, композиционных и самоссылающихся операций для манипуляции потоками данных, согласовывая выходные данные LLM с целями пользователя. В результате мы можем переключаться между возможностями различных базовых моделей, обладающих способностями к обучению с нулевым и малым количеством примеров, и специализированными, тонко настроенными моделями или решателями, способными эффективно решать конкретные задачи. В свою очередь, платформа упрощает создание и оценку объяснимых вычислительных графов. В заключение мы вводим метрику качества и её эмпирическую оценку для анализа этих вычислительных графов, а также предлагаем бенчмарк, сравнивающий различные современные LLM на наборе сложных рабочих процессов. Мы называем эту эмпирическую оценку "Векторное вложение для оценки реляционных траекторий через кросс-сходство", или сокращённо VERTEX. Кодовая база платформы и бенчмарк доступны по ссылкам ниже.

English

We introduce SymbolicAI, a versatile and modular framework employing a logic-based approach to concept learning and flow management in generative processes. SymbolicAI enables the seamless integration of generative models with a diverse range of solvers by treating large language models (LLMs) as semantic parsers that execute tasks based on both natural and formal language instructions, thus bridging the gap between symbolic reasoning and generative AI. We leverage probabilistic programming principles to tackle complex tasks, and utilize differentiable and classical programming paradigms with their respective strengths. The framework introduces a set of polymorphic, compositional, and self-referential operations for data stream manipulation, aligning LLM outputs with user objectives. As a result, we can transition between the capabilities of various foundation models endowed with zero- and few-shot learning capabilities and specialized, fine-tuned models or solvers proficient in addressing specific problems. In turn, the framework facilitates the creation and evaluation of explainable computational graphs. We conclude by introducing a quality measure and its empirical score for evaluating these computational graphs, and propose a benchmark that compares various state-of-the-art LLMs across a set of complex workflows. We refer to the empirical score as the "Vector Embedding for Relational Trajectory Evaluation through Cross-similarity", or VERTEX score for short. The framework codebase and benchmark are linked below.