MagicQuill: Интеллектуальная интерактивная система редактирования изображений

MagicQuill: An Intelligent Interactive Image Editing System

November 14, 2024

Авторы: Zichen Liu, Yue Yu, Hao Ouyang, Qiuyu Wang, Ka Leong Cheng, Wen Wang, Zhiheng Liu, Qifeng Chen, Yujun Shen

cs.AI

Аннотация

Редактирование изображений включает в себя различные сложные задачи и требует эффективных и точных техник манипуляции. В данной статье мы представляем MagicQuill, интегрированную систему редактирования изображений, которая позволяет быстро воплощать творческие идеи. Наша система обладает упрощенным, но функционально надежным интерфейсом, позволяющим осуществлять редактирование операций (например, вставка элементов, стирание объектов, изменение цвета) с минимальным вводом. Эти взаимодействия контролируются мультимодельной моделью большого языка (MLLM), чтобы предвидеть намерения редактирования в реальном времени, обходя необходимость явного ввода подсказки. Наконец, мы применяем мощный диффузионный приоритет, улучшенный тщательно выученным двухветвевым модулем подключения, для обработки запросов на редактирование с точным контролем. Экспериментальные результаты демонстрируют эффективность MagicQuill в достижении высококачественных редакций изображений. Пожалуйста, посетите https://magic-quill.github.io, чтобы попробовать нашу систему.

English

Image editing involves a variety of complex tasks and requires efficient and precise manipulation techniques. In this paper, we present MagicQuill, an integrated image editing system that enables swift actualization of creative ideas. Our system features a streamlined yet functionally robust interface, allowing for the articulation of editing operations (e.g., inserting elements, erasing objects, altering color) with minimal input. These interactions are monitored by a multimodal large language model (MLLM) to anticipate editing intentions in real time, bypassing the need for explicit prompt entry. Finally, we apply a powerful diffusion prior, enhanced by a carefully learned two-branch plug-in module, to process editing requests with precise control. Experimental results demonstrate the effectiveness of MagicQuill in achieving high-quality image edits. Please visit https://magic-quill.github.io to try out our system.