GenAgent : Construire des Systèmes d'IA Collaboratifs avec un Flux de Travail Automatisé Génération -- Études de Cas sur ComfyUI

GenAgent: Build Collaborative AI Systems with Automated Workflow Generation -- Case Studies on ComfyUI

September 2, 2024

Auteurs: Xiangyuan Xue, Zeyu Lu, Di Huang, Wanli Ouyang, Lei Bai

cs.AI

Résumé

De nombreuses recherches en intelligence artificielle antérieures se sont concentrées sur le développement de modèles monolithiques pour maximiser leur intelligence et leur capacité, dans le but principal d'améliorer les performances sur des tâches spécifiques. En revanche, cet article explore une approche alternative : des systèmes d'IA collaboratifs qui utilisent des flux de travail pour intégrer des modèles, des sources de données et des pipelines afin de résoudre des tâches complexes et diverses. Nous présentons GenAgent, un cadre basé sur les LLM qui génère automatiquement des flux de travail complexes, offrant une plus grande flexibilité et évolutivité par rapport aux modèles monolithiques. L'innovation principale de GenAgent réside dans la représentation des flux de travail avec du code, en plus de la construction des flux de travail avec des agents collaboratifs de manière pas à pas. Nous mettons en œuvre GenAgent sur la plateforme ComfyUI et proposons un nouveau banc d'essai, OpenComfy. Les résultats démontrent que GenAgent surpasse les approches de base à la fois au niveau de l'exécution et de la tâche, montrant sa capacité à générer des flux de travail complexes avec une efficacité et une stabilité supérieures.

English

Much previous AI research has focused on developing monolithic models to maximize their intelligence and capability, with the primary goal of enhancing performance on specific tasks. In contrast, this paper explores an alternative approach: collaborative AI systems that use workflows to integrate models, data sources, and pipelines to solve complex and diverse tasks. We introduce GenAgent, an LLM-based framework that automatically generates complex workflows, offering greater flexibility and scalability compared to monolithic models. The core innovation of GenAgent lies in representing workflows with code, alongside constructing workflows with collaborative agents in a step-by-step manner. We implement GenAgent on the ComfyUI platform and propose a new benchmark, OpenComfy. The results demonstrate that GenAgent outperforms baseline approaches in both run-level and task-level evaluations, showing its capability to generate complex workflows with superior effectiveness and stability.