ByteEdit: Увеличение, соответствие и ускорение генеративного редактирования изображений.

ByteEdit: Boost, Comply and Accelerate Generative Image Editing

April 7, 2024

Авторы: Yuxi Ren, Jie Wu, Yanzuo Lu, Huafeng Kuang, Xin Xia, Xionghui Wang, Qianqian Wang, Yixing Zhu, Pan Xie, Shiyin Wang, Xuefeng Xiao, Yitong Wang, Min Zheng, Lean Fu

cs.AI

Аннотация

Недавние достижения в области генеративного редактирования изображений на основе диффузии вызвали глубокую революцию, переформатируя ландшафт задач по outpainting и inpainting изображений. Несмотря на эти успехи, область сталкивается с врожденными проблемами, включая: i) низкое качество; ii) плохую последовательность; iii) недостаточное соблюдение инструкций; iv) субоптимальную эффективность генерации. Для преодоления этих препятствий мы представляем ByteEdit, инновационную систему обучения с обратной связью, тщательно разработанную для улучшения, соответствия и ускорения задач генеративного редактирования изображений. ByteEdit безупречно интегрирует модели вознаграждения изображений, посвященные улучшению эстетики и соответствия изображения и текста, а также вводит плотную модель вознаграждения на уровне пикселей, разработанную для содействия согласованности в выходных данных. Кроме того, мы предлагаем передовую стратегию обучения с адверсариальной и постепенной обратной связью для ускорения скорости вывода модели. Через обширные пользовательские оценки в большом масштабе мы демонстрируем, что ByteEdit превосходит ведущие продукты генеративного редактирования изображений, включая Adobe, Canva и MeiTu, как по качеству генерации, так и по последовательности. ByteEdit-Outpainting проявляет замечательное улучшение на 388% и 135% в качестве и последовательности соответственно по сравнению с базовой моделью. Эксперименты также подтвердили, что наши модели ускорения поддерживают отличные результаты производительности в терминах качества и последовательности.

English

Recent advancements in diffusion-based generative image editing have sparked a profound revolution, reshaping the landscape of image outpainting and inpainting tasks. Despite these strides, the field grapples with inherent challenges, including: i) inferior quality; ii) poor consistency; iii) insufficient instrcution adherence; iv) suboptimal generation efficiency. To address these obstacles, we present ByteEdit, an innovative feedback learning framework meticulously designed to Boost, Comply, and Accelerate Generative Image Editing tasks. ByteEdit seamlessly integrates image reward models dedicated to enhancing aesthetics and image-text alignment, while also introducing a dense, pixel-level reward model tailored to foster coherence in the output. Furthermore, we propose a pioneering adversarial and progressive feedback learning strategy to expedite the model's inference speed. Through extensive large-scale user evaluations, we demonstrate that ByteEdit surpasses leading generative image editing products, including Adobe, Canva, and MeiTu, in both generation quality and consistency. ByteEdit-Outpainting exhibits a remarkable enhancement of 388% and 135% in quality and consistency, respectively, when compared to the baseline model. Experiments also verfied that our acceleration models maintains excellent performance results in terms of quality and consistency.