GenAgent: Construa Sistemas de IA Colaborativos com Fluxo de Trabalho Automatizado Geração - Estudos de Caso sobre ComfyUI

GenAgent: Build Collaborative AI Systems with Automated Workflow Generation -- Case Studies on ComfyUI

September 2, 2024

Autores: Xiangyuan Xue, Zeyu Lu, Di Huang, Wanli Ouyang, Lei Bai

cs.AI

Resumo

Muitas pesquisas anteriores em IA têm se concentrado no desenvolvimento de modelos monolíticos para maximizar sua inteligência e capacidade, com o principal objetivo de aprimorar o desempenho em tarefas específicas. Em contraste, este artigo explora uma abordagem alternativa: sistemas colaborativos de IA que utilizam fluxos de trabalho para integrar modelos, fontes de dados e pipelines a fim de resolver tarefas complexas e diversas. Apresentamos o GenAgent, um framework baseado em LLM que gera automaticamente fluxos de trabalho complexos, oferecendo maior flexibilidade e escalabilidade em comparação com modelos monolíticos. A inovação central do GenAgent está na representação de fluxos de trabalho com código, juntamente com a construção de fluxos de trabalho com agentes colaborativos de forma passo a passo. Implementamos o GenAgent na plataforma ComfyUI e propomos um novo benchmark, o OpenComfy. Os resultados demonstram que o GenAgent supera abordagens de linha de base tanto em avaliações de nível de execução quanto de nível de tarefa, mostrando sua capacidade de gerar fluxos de trabalho complexos com eficácia e estabilidade superiores.

English

Much previous AI research has focused on developing monolithic models to maximize their intelligence and capability, with the primary goal of enhancing performance on specific tasks. In contrast, this paper explores an alternative approach: collaborative AI systems that use workflows to integrate models, data sources, and pipelines to solve complex and diverse tasks. We introduce GenAgent, an LLM-based framework that automatically generates complex workflows, offering greater flexibility and scalability compared to monolithic models. The core innovation of GenAgent lies in representing workflows with code, alongside constructing workflows with collaborative agents in a step-by-step manner. We implement GenAgent on the ComfyUI platform and propose a new benchmark, OpenComfy. The results demonstrate that GenAgent outperforms baseline approaches in both run-level and task-level evaluations, showing its capability to generate complex workflows with superior effectiveness and stability.