ComfyUI-Copilot: 자동화 워크플로우 개발을 위한 지능형 어시스턴트

ComfyUI-Copilot: An Intelligent Assistant for Automated Workflow Development

June 5, 2025

저자: Zhenran Xu, Xue Yang, Yiyu Wang, Qingli Hu, Zijiao Wu, Longyue Wang, Weihua Luo, Kaifu Zhang, Baotian Hu, Min Zhang

cs.AI

초록

AI 기반 예술 창작을 위한 오픈소스 플랫폼인 ComfyUI의 사용성과 효율성을 향상시키기 위해 설계된 대형 언어 모델 기반 플러그인인 ComfyUI-Copilot을 소개한다. ComfyUI는 유연성과 사용자 친화적인 인터페이스를 갖추고 있지만, 초보자에게는 제한된 문서화, 모델 설정 오류, 워크플로 설계의 복잡성 등의 어려움을 제공할 수 있다. ComfyUI-Copilot은 이러한 문제를 해결하기 위해 지능형 노드 및 모델 추천과 자동화된 원클릭 워크플로 구축 기능을 제공한다. 이 시스템의 핵심은 작업 위임을 담당하는 중앙 어시스턴트 에이전트와 다양한 용도에 특화된 작업자 에이전트로 구성된 계층적 다중 에이전트 프레임워크로, 이를 통해 디버깅 및 배포 과정을 간소화한다. 또한, ComfyUI-Copilot의 효과를 오프라인 정량적 평가와 온라인 사용자 피드백을 통해 검증하였으며, 이 플러그인이 노드를 정확하게 추천하고 워크플로 개발 속도를 가속화함을 확인하였다. 추가적으로, 사용 사례를 통해 ComfyUI-Copilot이 초보자의 진입 장벽을 낮추고 숙련된 사용자의 워크플로 효율성을 향상시킴을 보여준다. ComfyUI-Copilot 설치 패키지와 데모 비디오는 https://github.com/AIDC-AI/ComfyUI-Copilot에서 확인할 수 있다.

English

We introduce ComfyUI-Copilot, a large language model-powered plugin designed to enhance the usability and efficiency of ComfyUI, an open-source platform for AI-driven art creation. Despite its flexibility and user-friendly interface, ComfyUI can present challenges to newcomers, including limited documentation, model misconfigurations, and the complexity of workflow design. ComfyUI-Copilot addresses these challenges by offering intelligent node and model recommendations, along with automated one-click workflow construction. At its core, the system employs a hierarchical multi-agent framework comprising a central assistant agent for task delegation and specialized worker agents for different usages, supported by our curated ComfyUI knowledge bases to streamline debugging and deployment. We validate the effectiveness of ComfyUI-Copilot through both offline quantitative evaluations and online user feedback, showing that it accurately recommends nodes and accelerates workflow development. Additionally, use cases illustrate that ComfyUI-Copilot lowers entry barriers for beginners and enhances workflow efficiency for experienced users. The ComfyUI-Copilot installation package and a demo video are available at https://github.com/AIDC-AI/ComfyUI-Copilot.