IPAdapter-Instruct : Résolution des ambiguïtés dans le conditionnement basé sur l'image grâce à des instructions textuelles

IPAdapter-Instruct: Resolving Ambiguity in Image-based Conditioning using Instruct Prompts

August 6, 2024

Auteurs: Ciara Rowles, Shimon Vainer, Dante De Nigris, Slava Elizarov, Konstantin Kutsy, Simon Donné

cs.AI

Résumé

Les modèles de diffusion repoussent continuellement les limites de l'état de l'art en génération d'images, mais le processus est difficile à contrôler avec nuance : la pratique montre que les invites textuelles sont insuffisantes pour décrire avec précision le style d'une image ou ses détails structurels fins (comme les visages). ControlNet et IPAdapter pallient cette lacune en conditionnant le processus génératif sur des images, mais chaque instance est limitée à la modélisation d'une seule distribution conditionnelle a posteriori : pour des cas d'utilisation pratiques, où plusieurs distributions a posteriori différentes sont souhaitées dans le même flux de travail, l'entraînement et l'utilisation de plusieurs adaptateurs s'avèrent fastidieux. Nous proposons IPAdapter-Instruct, qui combine le conditionnement sur des images naturelles avec des invites de type « Instruct » pour alterner entre différentes interprétations d'une même image de conditionnement : transfert de style, extraction d'objet, les deux, ou encore autre chose ? IPAdapter-Instruct apprend efficacement plusieurs tâches avec une perte de qualité minimale par rapport à des modèles dédiés à chaque tâche.

English

Diffusion models continuously push the boundary of state-of-the-art image generation, but the process is hard to control with any nuance: practice proves that textual prompts are inadequate for accurately describing image style or fine structural details (such as faces). ControlNet and IPAdapter address this shortcoming by conditioning the generative process on imagery instead, but each individual instance is limited to modeling a single conditional posterior: for practical use-cases, where multiple different posteriors are desired within the same workflow, training and using multiple adapters is cumbersome. We propose IPAdapter-Instruct, which combines natural-image conditioning with ``Instruct'' prompts to swap between interpretations for the same conditioning image: style transfer, object extraction, both, or something else still? IPAdapterInstruct efficiently learns multiple tasks with minimal loss in quality compared to dedicated per-task models.