IPAdapter-Instruct: Risoluzione dell'Ambiguïtà nel Condizionamento Basato su Immagini Utilizzando Prompt Istruttivi

IPAdapter-Instruct: Resolving Ambiguity in Image-based Conditioning using Instruct Prompts

August 6, 2024

Autori: Ciara Rowles, Shimon Vainer, Dante De Nigris, Slava Elizarov, Konstantin Kutsy, Simon Donné

cs.AI

Abstract

I modelli di diffusione continuano a spingere i limiti dello stato dell'arte nella generazione di immagini, ma il processo è difficile da controllare con precisione: la pratica dimostra che i prompt testuali sono inadeguati per descrivere accuratamente lo stile dell'immagine o i dettagli strutturali fini (come i volti). ControlNet e IPAdapter affrontano questa limitazione condizionando il processo generativo su immagini, ma ogni singola istanza è limitata alla modellazione di una singola distribuzione a posteriori condizionata. Per casi d'uso pratici, in cui si desiderano multiple distribuzioni a posteriori all'interno dello stesso flusso di lavoro, l'addestramento e l'utilizzo di più adattatori risulta macchinoso. Proponiamo IPAdapter-Instruct, che combina il condizionamento su immagini naturali con prompt di tipo "Instruct" per alternare tra diverse interpretazioni della stessa immagine condizionante: trasferimento di stile, estrazione di oggetti, entrambi o qualcos'altro ancora? IPAdapter-Instruct apprende efficientemente più task con una perdita minima di qualità rispetto a modelli dedicati per singoli task.

English

Diffusion models continuously push the boundary of state-of-the-art image generation, but the process is hard to control with any nuance: practice proves that textual prompts are inadequate for accurately describing image style or fine structural details (such as faces). ControlNet and IPAdapter address this shortcoming by conditioning the generative process on imagery instead, but each individual instance is limited to modeling a single conditional posterior: for practical use-cases, where multiple different posteriors are desired within the same workflow, training and using multiple adapters is cumbersome. We propose IPAdapter-Instruct, which combines natural-image conditioning with ``Instruct'' prompts to swap between interpretations for the same conditioning image: style transfer, object extraction, both, or something else still? IPAdapterInstruct efficiently learns multiple tasks with minimal loss in quality compared to dedicated per-task models.