IPAdapter-Instruct: Разрешение неоднозначности в условиях, основанных на изображениях, с использованием инструктивных подсказок.

IPAdapter-Instruct: Resolving Ambiguity in Image-based Conditioning using Instruct Prompts

August 6, 2024

Авторы: Ciara Rowles, Shimon Vainer, Dante De Nigris, Slava Elizarov, Konstantin Kutsy, Simon Donné

cs.AI

Аннотация

Модели диффузии непрерывно продвигают границы генерации изображений новейшего уровня, однако процесс сложно контролировать с любым оттенком: практика доказывает, что текстовые подсказки недостаточны для точного описания стиля изображения или тонких структурных деталей (таких как лица). ControlNet и IPAdapter решают этот недостаток, условно настраивая процесс генерации на изображения вместо этого, но каждый отдельный экземпляр ограничен моделированием одного условного апостериорного распределения: для практических случаев использования, где требуется несколько различных апостериорных распределений в рамках одного и того же рабочего процесса, обучение и использование нескольких адаптеров затруднительно. Мы предлагаем IPAdapter-Instruct, который объединяет условное обучение на естественных изображениях с подсказками "Instruct" для переключения между интерпретациями для одного и того же условного изображения: перенос стиля, извлечение объекта, оба варианта или что-то другое? IPAdapterInstruct эффективно изучает несколько задач с минимальной потерей качества по сравнению с отдельными моделями для каждой задачи.

English

Diffusion models continuously push the boundary of state-of-the-art image generation, but the process is hard to control with any nuance: practice proves that textual prompts are inadequate for accurately describing image style or fine structural details (such as faces). ControlNet and IPAdapter address this shortcoming by conditioning the generative process on imagery instead, but each individual instance is limited to modeling a single conditional posterior: for practical use-cases, where multiple different posteriors are desired within the same workflow, training and using multiple adapters is cumbersome. We propose IPAdapter-Instruct, which combines natural-image conditioning with ``Instruct'' prompts to swap between interpretations for the same conditioning image: style transfer, object extraction, both, or something else still? IPAdapterInstruct efficiently learns multiple tasks with minimal loss in quality compared to dedicated per-task models.