IPAdapter-Instruct: Auflösung von Mehrdeutigkeit bei bildbasiertem Konditionieren unter Verwendung von Instruct-Prompts

IPAdapter-Instruct: Resolving Ambiguity in Image-based Conditioning using Instruct Prompts

August 6, 2024

Autoren: Ciara Rowles, Shimon Vainer, Dante De Nigris, Slava Elizarov, Konstantin Kutsy, Simon Donné

cs.AI

Zusammenfassung

Diffusionsmodelle stoßen kontinuierlich an die Grenze der modernsten Bildgenerierung, aber der Prozess ist schwer mit Feinheiten zu kontrollieren: Die Praxis zeigt, dass textuelle Hinweise unzureichend sind, um den Bildstil oder feine strukturelle Details (wie Gesichter) genau zu beschreiben. ControlNet und IPAdapter beheben diese Schwäche, indem sie den generativen Prozess stattdessen auf Bildmaterial konditionieren, jedoch ist jedes einzelne Exemplar auf die Modellierung eines einzelnen bedingten Posteriors beschränkt: Für praktische Anwendungsfälle, in denen mehrere verschiedene Posteriors im selben Arbeitsablauf gewünscht sind, ist das Training und die Verwendung mehrerer Adapter umständlich. Wir schlagen IPAdapter-Instruct vor, der die Konditionierung auf natürliche Bilder mit "Instruct"-Hinweisen kombiniert, um zwischen Interpretationen für dasselbe konditionierte Bild zu wechseln: Stiltransfer, Objektauswahl, beides oder etwas anderes noch? IPAdapterInstruct lernt effizient mehrere Aufgaben mit minimalem Qualitätsverlust im Vergleich zu dedizierten pro-Aufgaben-Modellen.

English

Diffusion models continuously push the boundary of state-of-the-art image generation, but the process is hard to control with any nuance: practice proves that textual prompts are inadequate for accurately describing image style or fine structural details (such as faces). ControlNet and IPAdapter address this shortcoming by conditioning the generative process on imagery instead, but each individual instance is limited to modeling a single conditional posterior: for practical use-cases, where multiple different posteriors are desired within the same workflow, training and using multiple adapters is cumbersome. We propose IPAdapter-Instruct, which combines natural-image conditioning with ``Instruct'' prompts to swap between interpretations for the same conditioning image: style transfer, object extraction, both, or something else still? IPAdapterInstruct efficiently learns multiple tasks with minimal loss in quality compared to dedicated per-task models.