GenAgent: Создание Коллаборативных Систем Искусственного Интеллекта с Автоматизированным Рабочим Процессом Генерация - Исследования случаев на ComfyUI

GenAgent: Build Collaborative AI Systems with Automated Workflow Generation -- Case Studies on ComfyUI

September 2, 2024

Авторы: Xiangyuan Xue, Zeyu Lu, Di Huang, Wanli Ouyang, Lei Bai

cs.AI

Аннотация

Большая часть предыдущих исследований в области искусственного интеллекта сосредоточена на разработке монолитных моделей для максимизации их интеллекта и способностей с основной целью улучшения производительности по конкретным задачам. В отличие от этого, данная статья исследует альтернативный подход: совместные системы искусственного интеллекта, использующие рабочие процессы для интеграции моделей, источников данных и конвейеров для решения сложных и разнообразных задач. Мы представляем GenAgent, основанную на LLM фреймворк, который автоматически генерирует сложные рабочие процессы, предлагая большую гибкость и масштабируемость по сравнению с монолитными моделями. Основное новшество GenAgent заключается в представлении рабочих процессов с помощью кода, а также в пошаговом создании рабочих процессов совместными агентами. Мы реализуем GenAgent на платформе ComfyUI и предлагаем новый бенчмарк, OpenComfy. Результаты демонстрируют, что GenAgent превосходит базовые подходы как на уровне выполнения, так и на уровне задач, показывая его способность генерировать сложные рабочие процессы с превосходной эффективностью и стабильностью.

English

Much previous AI research has focused on developing monolithic models to maximize their intelligence and capability, with the primary goal of enhancing performance on specific tasks. In contrast, this paper explores an alternative approach: collaborative AI systems that use workflows to integrate models, data sources, and pipelines to solve complex and diverse tasks. We introduce GenAgent, an LLM-based framework that automatically generates complex workflows, offering greater flexibility and scalability compared to monolithic models. The core innovation of GenAgent lies in representing workflows with code, alongside constructing workflows with collaborative agents in a step-by-step manner. We implement GenAgent on the ComfyUI platform and propose a new benchmark, OpenComfy. The results demonstrate that GenAgent outperforms baseline approaches in both run-level and task-level evaluations, showing its capability to generate complex workflows with superior effectiveness and stability.