GenAgent: Bouw Collaboratieve AI-systemen met Geautomatiseerde Workflowgeneratie -- Casestudies over ComfyUI

GenAgent: Build Collaborative AI Systems with Automated Workflow Generation -- Case Studies on ComfyUI

September 2, 2024

Auteurs: Xiangyuan Xue, Zeyu Lu, Di Huang, Wanli Ouyang, Lei Bai

cs.AI

Samenvatting

Veel eerder AI-onderzoek heeft zich gericht op het ontwikkelen van monolithische modellen om hun intelligentie en capaciteit te maximaliseren, met als primair doel de prestaties op specifieke taken te verbeteren. In tegenstelling hiermee verkent dit artikel een alternatieve aanpak: collaboratieve AI-systemen die workflows gebruiken om modellen, gegevensbronnen en pijplijnen te integreren om complexe en diverse taken op te lossen. We introduceren GenAgent, een op LLM gebaseerd framework dat automatisch complexe workflows genereert, wat meer flexibiliteit en schaalbaarheid biedt in vergelijking met monolithische modellen. De kerninnovatie van GenAgent ligt in het representeren van workflows met code, naast het stap-voor-stap opbouwen van workflows met collaboratieve agents. We implementeren GenAgent op het ComfyUI-platform en stellen een nieuwe benchmark voor, OpenComfy. De resultaten tonen aan dat GenAgent baseline-benaderingen overtreft in zowel run-level als task-level evaluaties, wat zijn vermogen aantoont om complexe workflows te genereren met superieure effectiviteit en stabiliteit.

English

Much previous AI research has focused on developing monolithic models to maximize their intelligence and capability, with the primary goal of enhancing performance on specific tasks. In contrast, this paper explores an alternative approach: collaborative AI systems that use workflows to integrate models, data sources, and pipelines to solve complex and diverse tasks. We introduce GenAgent, an LLM-based framework that automatically generates complex workflows, offering greater flexibility and scalability compared to monolithic models. The core innovation of GenAgent lies in representing workflows with code, alongside constructing workflows with collaborative agents in a step-by-step manner. We implement GenAgent on the ComfyUI platform and propose a new benchmark, OpenComfy. The results demonstrate that GenAgent outperforms baseline approaches in both run-level and task-level evaluations, showing its capability to generate complex workflows with superior effectiveness and stability.