Malen durch Inpainting: Lernen, Bildobjekte hinzuzufügen, indem sie zuerst entfernt werden.

Paint by Inpaint: Learning to Add Image Objects by Removing Them First

April 28, 2024

Autoren: Navve Wasserman, Noam Rotstein, Roy Ganz, Ron Kimmel

cs.AI

Zusammenfassung

Die Bildbearbeitung hat sich mit der Einführung von textkonditionierten Diffusionsmodellen erheblich weiterentwickelt. Trotz dieses Fortschritts bleibt das nahtlose Hinzufügen von Objekten zu Bildern basierend auf textuellen Anweisungen ohne die Notwendigkeit von benutzerbereitgestellten Eingabemasken eine Herausforderung. Wir gehen dieses Problem an, indem wir die Erkenntnis nutzen, dass das Entfernen von Objekten (Inpaint) wesentlich einfacher ist als sein umgekehrter Prozess des Hinzufügens (Paint), was auf der Verwendung von Segmentierungsmaskendatensätzen neben Inpainting-Modellen beruht, die innerhalb dieser Masken Inpainting durchführen. Durch die Umsetzung eines automatisierten und umfassenden Workflows nutzen wir diese Erkenntnis, um einen gefilterten, groß angelegten Bilddatensatz zu kuratieren, der Paare von Bildern und ihren entsprechenden objektentfernten Versionen enthält. Mit diesen Paaren trainieren wir ein Diffusionsmodell, um den Inpainting-Prozess umzukehren und effektiv Objekte in Bilder hinzuzufügen. Im Gegensatz zu anderen Bearbeitungsdatensätzen enthält unserer natürliche Zielbilder anstelle von synthetischen; zudem wird die Konsistenz zwischen Quelle und Ziel durch die Konstruktion aufrechterhalten. Darüber hinaus nutzen wir ein großes Vision-Language-Modell, um detaillierte Beschreibungen der entfernten Objekte bereitzustellen, und ein großes Sprachmodell, um diese Beschreibungen in vielfältige, natürlichsprachige Anweisungen umzuwandeln. Wir zeigen, dass das trainierte Modell sowohl qualitativ als auch quantitativ bestehende Modelle übertrifft, und stellen den groß angelegten Datensatz zusammen mit den trainierten Modellen der Community zur Verfügung.

English

Image editing has advanced significantly with the introduction of text-conditioned diffusion models. Despite this progress, seamlessly adding objects to images based on textual instructions without requiring user-provided input masks remains a challenge. We address this by leveraging the insight that removing objects (Inpaint) is significantly simpler than its inverse process of adding them (Paint), attributed to the utilization of segmentation mask datasets alongside inpainting models that inpaint within these masks. Capitalizing on this realization, by implementing an automated and extensive pipeline, we curate a filtered large-scale image dataset containing pairs of images and their corresponding object-removed versions. Using these pairs, we train a diffusion model to inverse the inpainting process, effectively adding objects into images. Unlike other editing datasets, ours features natural target images instead of synthetic ones; moreover, it maintains consistency between source and target by construction. Additionally, we utilize a large Vision-Language Model to provide detailed descriptions of the removed objects and a Large Language Model to convert these descriptions into diverse, natural-language instructions. We show that the trained model surpasses existing ones both qualitatively and quantitatively, and release the large-scale dataset alongside the trained models for the community.