Diffree：拡散モデルを用いたテキスト誘導形状自由物体インペインティング

Diffree: Text-Guided Shape Free Object Inpainting with Diffusion Model

July 24, 2024

著者: Lirui Zhao, Tianshuo Yang, Wenqi Shao, Yuxin Zhang, Yu Qiao, Ping Luo, Kaipeng Zhang, Rongrong Ji

cs.AI

要旨

本論文は、テキストガイダンスのみを用いた画像へのオブジェクト追加という重要な課題に取り組む。この課題は、新しいオブジェクトを照明、テクスチャ、空間的位置など視覚的コンテキストと一貫性を持ってシームレスに統合しなければならないため、困難である。既存のテキストガイド画像インペインティング手法はオブジェクトを追加できるが、背景の一貫性を維持できないか、バウンディングボックスの指定やユーザースクリブルマスクといった煩雑な人的介入を必要とする。この課題に対処するため、我々はテキスト制御のみでテキストガイドオブジェクト追加を可能にするText-to-Image（T2I）モデル、Diffreeを提案する。これに向けて、高度な画像インペインティング技術を用いてオブジェクトを除去した精巧な合成データセットOABenchを構築した。OABenchは、元画像、オブジェクトを除去したインペイント画像、オブジェクトマスク、オブジェクト記述からなる74Kの実世界タプルで構成される。Stable Diffusionモデルに追加のマスク予測モジュールを組み込み、OABenchで学習したDiffreeは、新しいオブジェクトの位置を独自に予測し、テキストガイダンスのみでオブジェクト追加を実現する。大規模な実験により、Diffreeが背景の一貫性、空間的適切性、オブジェクトの関連性と品質を維持しつつ、高い成功率で新しいオブジェクトを追加できることが実証された。

English

This paper addresses an important problem of object addition for images with only text guidance. It is challenging because the new object must be integrated seamlessly into the image with consistent visual context, such as lighting, texture, and spatial location. While existing text-guided image inpainting methods can add objects, they either fail to preserve the background consistency or involve cumbersome human intervention in specifying bounding boxes or user-scribbled masks. To tackle this challenge, we introduce Diffree, a Text-to-Image (T2I) model that facilitates text-guided object addition with only text control. To this end, we curate OABench, an exquisite synthetic dataset by removing objects with advanced image inpainting techniques. OABench comprises 74K real-world tuples of an original image, an inpainted image with the object removed, an object mask, and object descriptions. Trained on OABench using the Stable Diffusion model with an additional mask prediction module, Diffree uniquely predicts the position of the new object and achieves object addition with guidance from only text. Extensive experiments demonstrate that Diffree excels in adding new objects with a high success rate while maintaining background consistency, spatial appropriateness, and object relevance and quality.