GenAgent: 自動ワークフローを備えた協調型AIシステムの構築 生成 - ComfyUIに関する事例研究

GenAgent: Build Collaborative AI Systems with Automated Workflow Generation -- Case Studies on ComfyUI

September 2, 2024

著者: Xiangyuan Xue, Zeyu Lu, Di Huang, Wanli Ouyang, Lei Bai

cs.AI

要旨

過去の多くのAI研究は、知能と能力を最大化するために一体型モデルの開発に焦点を当ててきました。その主な目標は特定のタスクでのパフォーマンスを向上させることでした。一方、本論文では、ワークフローを使用してモデル、データソース、およびパイプラインを統合し、複雑で多様なタスクを解決するための協調型AIシステムを探求しています。我々は、LLMベースのフレームワークであるGenAgentを紹介し、一体型モデルと比較して柔軟性とスケーラビリティが向上します。GenAgentの中核的な革新は、コードでワークフローを表現し、協調エージェントによって段階的にワークフローを構築することにあります。我々はGenAgentをComfyUIプラットフォーム上で実装し、新しいベンチマークであるOpenComfyを提案します。結果は、GenAgentがランレベルおよびタスクレベルの評価の両方でベースライン手法を上回り、複雑なワークフローをより効果的かつ安定して生成する能力を示しています。

English

Much previous AI research has focused on developing monolithic models to maximize their intelligence and capability, with the primary goal of enhancing performance on specific tasks. In contrast, this paper explores an alternative approach: collaborative AI systems that use workflows to integrate models, data sources, and pipelines to solve complex and diverse tasks. We introduce GenAgent, an LLM-based framework that automatically generates complex workflows, offering greater flexibility and scalability compared to monolithic models. The core innovation of GenAgent lies in representing workflows with code, alongside constructing workflows with collaborative agents in a step-by-step manner. We implement GenAgent on the ComfyUI platform and propose a new benchmark, OpenComfy. The results demonstrate that GenAgent outperforms baseline approaches in both run-level and task-level evaluations, showing its capability to generate complex workflows with superior effectiveness and stability.