ByteEdit: 生成画像編集の強化、準拠、高速化

ByteEdit: Boost, Comply and Accelerate Generative Image Editing

April 7, 2024

著者: Yuxi Ren, Jie Wu, Yanzuo Lu, Huafeng Kuang, Xin Xia, Xionghui Wang, Qianqian Wang, Yixing Zhu, Pan Xie, Shiyin Wang, Xuefeng Xiao, Yitong Wang, Min Zheng, Lean Fu

cs.AI

要旨

拡散モデルに基づく生成画像編集の最近の進展は、画像の外部補完や内部補完タスクの領域に深い革命をもたらし、その風景を一変させました。しかしながら、この分野では依然として以下のような本質的な課題が存在しています：i) 品質の低さ、ii) 一貫性の欠如、iii) 指示への不十分な準拠、iv) 生成効率の低さ。これらの課題に対処するため、我々はByteEditを提案します。これは、生成画像編集タスクを強化（Boost）、準拠（Comply）、加速（Accelerate）するために綿密に設計された革新的なフィードバック学習フレームワークです。ByteEditは、美的感覚と画像-テキストの整合性を向上させるための画像報酬モデルをシームレスに統合し、さらに出力の一貫性を促進するために設計された高密度なピクセルレベル報酬モデルを導入します。さらに、モデルの推論速度を加速するための先駆的な敵対的かつ漸進的なフィードバック学習戦略を提案します。大規模なユーザー評価を通じて、ByteEditがAdobe、Canva、MeiTuなどの主要な生成画像編集製品を生成品質と一貫性の両面で凌駕することを実証しました。ByteEdit-Outpaintingは、ベースラインモデルと比較して、品質と一貫性においてそれぞれ388％と135％の顕著な向上を示しました。また、実験により、我々の加速モデルが品質と一貫性の面で優れた性能を維持することも確認されました。

English

Recent advancements in diffusion-based generative image editing have sparked a profound revolution, reshaping the landscape of image outpainting and inpainting tasks. Despite these strides, the field grapples with inherent challenges, including: i) inferior quality; ii) poor consistency; iii) insufficient instrcution adherence; iv) suboptimal generation efficiency. To address these obstacles, we present ByteEdit, an innovative feedback learning framework meticulously designed to Boost, Comply, and Accelerate Generative Image Editing tasks. ByteEdit seamlessly integrates image reward models dedicated to enhancing aesthetics and image-text alignment, while also introducing a dense, pixel-level reward model tailored to foster coherence in the output. Furthermore, we propose a pioneering adversarial and progressive feedback learning strategy to expedite the model's inference speed. Through extensive large-scale user evaluations, we demonstrate that ByteEdit surpasses leading generative image editing products, including Adobe, Canva, and MeiTu, in both generation quality and consistency. ByteEdit-Outpainting exhibits a remarkable enhancement of 388% and 135% in quality and consistency, respectively, when compared to the baseline model. Experiments also verfied that our acceleration models maintains excellent performance results in terms of quality and consistency.