Рисование с помощью заполнения: обучение добавлению объектов изображения путем их предварительного удаления.

Paint by Inpaint: Learning to Add Image Objects by Removing Them First

April 28, 2024

Авторы: Navve Wasserman, Noam Rotstein, Roy Ganz, Ron Kimmel

cs.AI

Аннотация

Редактирование изображений значительно продвинулось с появлением моделей диффузии, зависящих от текста. Несмотря на этот прогресс, безупречное добавление объектов на изображения на основе текстовых инструкций без необходимости предоставления пользовательских масок ввода остаётся вызовом. Мы решаем эту проблему, опираясь на понимание того, что удаление объектов (заполнение) значительно проще, чем обратный процесс их добавления (рисование), что обусловлено использованием наборов данных сегментации вместе с моделями заполнения, которые заполняют в пределах этих масок. Воспользовавшись этим осознанием, реализуя автоматизированный и обширный конвейер, мы составляем отфильтрованный крупномасштабный набор данных изображений, содержащий пары изображений и соответствующих версий с удаленными объектами. Используя эти пары, мы обучаем модель диффузии инвертировать процесс заполнения, эффективно добавляя объекты на изображения. В отличие от других наборов данных для редактирования, наш набор содержит естественные целевые изображения, а не синтетические; более того, он поддерживает согласованность между исходным и целевым изображениями по своей природе. Кроме того, мы используем крупную модель видения-языка для предоставления подробных описаний удаленных объектов и крупную языковую модель для преобразования этих описаний в разнообразные естественноязыковые инструкции. Мы показываем, что обученная модель превосходит существующие как качественно, так и количественно, и предоставляем крупномасштабный набор данных вместе с обученными моделями для сообщества.

English

Image editing has advanced significantly with the introduction of text-conditioned diffusion models. Despite this progress, seamlessly adding objects to images based on textual instructions without requiring user-provided input masks remains a challenge. We address this by leveraging the insight that removing objects (Inpaint) is significantly simpler than its inverse process of adding them (Paint), attributed to the utilization of segmentation mask datasets alongside inpainting models that inpaint within these masks. Capitalizing on this realization, by implementing an automated and extensive pipeline, we curate a filtered large-scale image dataset containing pairs of images and their corresponding object-removed versions. Using these pairs, we train a diffusion model to inverse the inpainting process, effectively adding objects into images. Unlike other editing datasets, ours features natural target images instead of synthetic ones; moreover, it maintains consistency between source and target by construction. Additionally, we utilize a large Vision-Language Model to provide detailed descriptions of the removed objects and a Large Language Model to convert these descriptions into diverse, natural-language instructions. We show that the trained model surpasses existing ones both qualitatively and quantitatively, and release the large-scale dataset alongside the trained models for the community.