GenAgent: Costruire Sistemi AI Collaborativi con Flusso di Lavoro Automatizzato - Generazione di Studi di Caso su ComfyUI

GenAgent: Build Collaborative AI Systems with Automated Workflow Generation -- Case Studies on ComfyUI

September 2, 2024

Autori: Xiangyuan Xue, Zeyu Lu, Di Huang, Wanli Ouyang, Lei Bai

cs.AI

Abstract

Molte ricerche precedenti sull'IA si sono concentrate nello sviluppo di modelli monolitici per massimizzare la loro intelligenza e capacità, con l'obiettivo principale di migliorare le prestazioni su compiti specifici. Al contrario, questo articolo esplora un approccio alternativo: sistemi collaborativi di intelligenza artificiale che utilizzano flussi di lavoro per integrare modelli, fonti di dati e pipeline per risolvere compiti complessi e diversificati. Presentiamo GenAgent, un framework basato su LLM che genera automaticamente flussi di lavoro complessi, offrendo maggiore flessibilità e scalabilità rispetto ai modelli monolitici. L'innovazione principale di GenAgent risiede nella rappresentazione dei flussi di lavoro con codice, insieme alla costruzione dei flussi di lavoro con agenti collaborativi in modo graduale. Implementiamo GenAgent sulla piattaforma ComfyUI e proponiamo un nuovo benchmark, OpenComfy. I risultati dimostrano che GenAgent supera gli approcci di base sia nelle valutazioni a livello di esecuzione che a livello di compito, mostrando la sua capacità di generare flussi di lavoro complessi con un'efficacia e una stabilità superiori.

English

Much previous AI research has focused on developing monolithic models to maximize their intelligence and capability, with the primary goal of enhancing performance on specific tasks. In contrast, this paper explores an alternative approach: collaborative AI systems that use workflows to integrate models, data sources, and pipelines to solve complex and diverse tasks. We introduce GenAgent, an LLM-based framework that automatically generates complex workflows, offering greater flexibility and scalability compared to monolithic models. The core innovation of GenAgent lies in representing workflows with code, alongside constructing workflows with collaborative agents in a step-by-step manner. We implement GenAgent on the ComfyUI platform and propose a new benchmark, OpenComfy. The results demonstrate that GenAgent outperforms baseline approaches in both run-level and task-level evaluations, showing its capability to generate complex workflows with superior effectiveness and stability.