IPAdapter-Instruct: Het oplossen van ambiguïteit in beeldgebaseerde conditionering met behulp van instructieprompts

IPAdapter-Instruct: Resolving Ambiguity in Image-based Conditioning using Instruct Prompts

August 6, 2024

Auteurs: Ciara Rowles, Shimon Vainer, Dante De Nigris, Slava Elizarov, Konstantin Kutsy, Simon Donné

cs.AI

Samenvatting

Diffusiemodellen blijven de grenzen van state-of-the-art beeldgeneratie verleggen, maar het proces is moeilijk met nuance te controleren: de praktijk bewijst dat tekstuele prompts onvoldoende zijn om beeldstijl of fijne structurele details (zoals gezichten) nauwkeurig te beschrijven. ControlNet en IPAdapter pakken dit tekort aan door het generatieve proces te conditioneren op beeldmateriaal, maar elk individueel geval is beperkt tot het modelleren van een enkele conditionele posterior: voor praktische use-cases, waar meerdere verschillende posteriors gewenst zijn binnen dezelfde workflow, is het trainen en gebruiken van meerdere adapters omslachtig. Wij stellen IPAdapter-Instruct voor, dat beeldconditionering combineert met ``Instruct''-prompts om te schakelen tussen interpretaties voor hetzelfde conditionerende beeld: stijloverdracht, objectextractie, beide, of nog iets anders? IPAdapter-Instruct leert efficiënt meerdere taken aan met minimaal kwaliteitsverlies in vergelijking met specifieke per-taakmodellen.

English

Diffusion models continuously push the boundary of state-of-the-art image generation, but the process is hard to control with any nuance: practice proves that textual prompts are inadequate for accurately describing image style or fine structural details (such as faces). ControlNet and IPAdapter address this shortcoming by conditioning the generative process on imagery instead, but each individual instance is limited to modeling a single conditional posterior: for practical use-cases, where multiple different posteriors are desired within the same workflow, training and using multiple adapters is cumbersome. We propose IPAdapter-Instruct, which combines natural-image conditioning with ``Instruct'' prompts to swap between interpretations for the same conditioning image: style transfer, object extraction, both, or something else still? IPAdapterInstruct efficiently learns multiple tasks with minimal loss in quality compared to dedicated per-task models.