SymbolicAI: 생성 모델과 솔버를 결합한 논리 기반 접근법을 위한 프레임워크

SymbolicAI: A framework for logic-based approaches combining generative models and solvers

February 1, 2024

저자: Marius-Constantin Dinu, Claudiu Leoveanu-Condrei, Markus Holzleitner, Werner Zellinger, Sepp Hochreiter

cs.AI

초록

우리는 개념 학습과 생성 프로세스의 흐름 관리를 위한 논리 기반 접근법을 채택한 다목적 모듈형 프레임워크인 SymbolicAI를 소개한다. SymbolicAI는 대규모 언어 모델(LLM)을 자연어 및 형식 언어 명령어를 기반으로 작업을 실행하는 의미론적 파서로 취급함으로써 생성 모델과 다양한 솔버의 원활한 통합을 가능하게 하며, 이는 기호적 추론과 생성 AI 간의 간극을 메우는 역할을 한다. 우리는 복잡한 작업을 해결하기 위해 확률적 프로그래밍 원리를 활용하고, 각각의 강점을 지닌 미분 가능 프로그래밍 및 고전적 프로그래밍 패러다임을 사용한다. 이 프레임워크는 데이터 스트림 조작을 위한 다형성, 구성성, 자기참조적 연산 집합을 도입하여 LLM 출력을 사용자 목표에 맞춘다. 그 결과, 제로샷 및 퓨샷 학습 능력을 갖춘 다양한 기초 모델과 특정 문제 해결에 능숙한 전문화된 미세조정 모델 또는 솔버 간의 전환이 가능해진다. 이에 따라 이 프레임워크는 설명 가능한 계산 그래프의 생성과 평가를 용이하게 한다. 마지막으로, 이러한 계산 그래프를 평가하기 위한 품질 측정 지표와 실증적 점수를 소개하고, 복잡한 워크플로우 집합에 걸쳐 다양한 최첨단 LLM을 비교하는 벤치마크를 제안한다. 우리는 이 실증적 점수를 "교차 유사성을 통한 관계적 궤적 평가를 위한 벡터 임베딩(Vector Embedding for Relational Trajectory Evaluation through Cross-similarity)", 약칭 VERTEX 점수라고 명명한다. 프레임워크 코드베이스와 벤치마크는 아래에 링크되어 있다.

English

We introduce SymbolicAI, a versatile and modular framework employing a logic-based approach to concept learning and flow management in generative processes. SymbolicAI enables the seamless integration of generative models with a diverse range of solvers by treating large language models (LLMs) as semantic parsers that execute tasks based on both natural and formal language instructions, thus bridging the gap between symbolic reasoning and generative AI. We leverage probabilistic programming principles to tackle complex tasks, and utilize differentiable and classical programming paradigms with their respective strengths. The framework introduces a set of polymorphic, compositional, and self-referential operations for data stream manipulation, aligning LLM outputs with user objectives. As a result, we can transition between the capabilities of various foundation models endowed with zero- and few-shot learning capabilities and specialized, fine-tuned models or solvers proficient in addressing specific problems. In turn, the framework facilitates the creation and evaluation of explainable computational graphs. We conclude by introducing a quality measure and its empirical score for evaluating these computational graphs, and propose a benchmark that compares various state-of-the-art LLMs across a set of complex workflows. We refer to the empirical score as the "Vector Embedding for Relational Trajectory Evaluation through Cross-similarity", or VERTEX score for short. The framework codebase and benchmark are linked below.