Inpaintによるペイント：画像オブジェクトをまず除去することで追加する学習

Paint by Inpaint: Learning to Add Image Objects by Removing Them First

April 28, 2024

著者: Navve Wasserman, Noam Rotstein, Roy Ganz, Ron Kimmel

cs.AI

要旨

テキスト条件付き拡散モデルの登場により、画像編集は大きく進化しました。しかし、ユーザーが提供する入力マスクを必要とせずに、テキスト指示に基づいてシームレスにオブジェクトを画像に追加することは依然として課題です。私たちは、オブジェクトを除去する（Inpaint）ことが、それらを追加する（Paint）逆プロセスよりもはるかに単純であるという洞察を活用してこの課題に取り組みます。これは、セグメンテーションマスクデータセットと、これらのマスク内でインペイントを行うインペイントモデルを利用することに起因しています。この認識を活かし、自動化された大規模なパイプラインを実装することで、画像とそれに対応するオブジェクト除去バージョンのペアを含むフィルタリングされた大規模画像データセットを構築しました。これらのペアを使用して、インペイントプロセスを逆転させ、効果的にオブジェクトを画像に追加する拡散モデルを訓練します。他の編集データセットとは異なり、私たちのデータセットは合成画像ではなく自然なターゲット画像を特徴としています。さらに、構築上、ソースとターゲットの間の一貫性を維持しています。加えて、大規模なVision-Languageモデルを利用して除去されたオブジェクトの詳細な説明を提供し、大規模言語モデルを使用してこれらの説明を多様で自然言語の指示に変換します。訓練されたモデルが定性的および定量的に既存のモデルを上回ることを示し、大規模データセットと訓練済みモデルをコミュニティに公開します。

English

Image editing has advanced significantly with the introduction of text-conditioned diffusion models. Despite this progress, seamlessly adding objects to images based on textual instructions without requiring user-provided input masks remains a challenge. We address this by leveraging the insight that removing objects (Inpaint) is significantly simpler than its inverse process of adding them (Paint), attributed to the utilization of segmentation mask datasets alongside inpainting models that inpaint within these masks. Capitalizing on this realization, by implementing an automated and extensive pipeline, we curate a filtered large-scale image dataset containing pairs of images and their corresponding object-removed versions. Using these pairs, we train a diffusion model to inverse the inpainting process, effectively adding objects into images. Unlike other editing datasets, ours features natural target images instead of synthetic ones; moreover, it maintains consistency between source and target by construction. Additionally, we utilize a large Vision-Language Model to provide detailed descriptions of the removed objects and a Large Language Model to convert these descriptions into diverse, natural-language instructions. We show that the trained model surpasses existing ones both qualitatively and quantitatively, and release the large-scale dataset alongside the trained models for the community.