ComfyUI-Copilot : Un Assistant Intelligent pour le Développement Automatisé de Workflows

ComfyUI-Copilot: An Intelligent Assistant for Automated Workflow Development

June 5, 2025

Auteurs: Zhenran Xu, Xue Yang, Yiyu Wang, Qingli Hu, Zijiao Wu, Longyue Wang, Weihua Luo, Kaifu Zhang, Baotian Hu, Min Zhang

cs.AI

Résumé

Nous présentons ComfyUI-Copilot, un plugin alimenté par un modèle de langage de grande envergure, conçu pour améliorer l’utilisabilité et l’efficacité de ComfyUI, une plateforme open source dédiée à la création artistique pilotée par l’IA. Bien que ComfyUI soit flexible et doté d’une interface conviviale, il peut poser des défis aux nouveaux utilisateurs, notamment en raison d’une documentation limitée, de configurations erronées des modèles et de la complexité de la conception des workflows. ComfyUI-Copilot répond à ces défis en proposant des recommandations intelligentes de nœuds et de modèles, ainsi qu’une construction automatisée de workflows en un clic. Au cœur du système se trouve un cadre hiérarchique multi-agents comprenant un agent assistant central pour la délégation des tâches et des agents spécialisés pour différents usages, soutenus par nos bases de connaissances ComfyUI afin de simplifier le débogage et le déploiement. Nous validons l’efficacité de ComfyUI-Copilot à travers des évaluations quantitatives hors ligne et des retours d’utilisateurs en ligne, démontrant qu’il recommande avec précision les nœuds et accélère le développement des workflows. De plus, des cas d’utilisation illustrent que ComfyUI-Copilot réduit les barrières à l’entrée pour les débutants et améliore l’efficacité des workflows pour les utilisateurs expérimentés. Le package d’installation de ComfyUI-Copilot et une vidéo de démonstration sont disponibles à l’adresse https://github.com/AIDC-AI/ComfyUI-Copilot.

English

We introduce ComfyUI-Copilot, a large language model-powered plugin designed to enhance the usability and efficiency of ComfyUI, an open-source platform for AI-driven art creation. Despite its flexibility and user-friendly interface, ComfyUI can present challenges to newcomers, including limited documentation, model misconfigurations, and the complexity of workflow design. ComfyUI-Copilot addresses these challenges by offering intelligent node and model recommendations, along with automated one-click workflow construction. At its core, the system employs a hierarchical multi-agent framework comprising a central assistant agent for task delegation and specialized worker agents for different usages, supported by our curated ComfyUI knowledge bases to streamline debugging and deployment. We validate the effectiveness of ComfyUI-Copilot through both offline quantitative evaluations and online user feedback, showing that it accurately recommends nodes and accelerates workflow development. Additionally, use cases illustrate that ComfyUI-Copilot lowers entry barriers for beginners and enhances workflow efficiency for experienced users. The ComfyUI-Copilot installation package and a demo video are available at https://github.com/AIDC-AI/ComfyUI-Copilot.