IPAdapter-Instruct: Resolviendo Ambigüedad en la Condicionamiento basado en Imágenes usando Instruct Prompts

IPAdapter-Instruct: Resolving Ambiguity in Image-based Conditioning using Instruct Prompts

August 6, 2024

Autores: Ciara Rowles, Shimon Vainer, Dante De Nigris, Slava Elizarov, Konstantin Kutsy, Simon Donné

cs.AI

Resumen

Los modelos de difusión empujan continuamente los límites de la generación de imágenes de vanguardia, pero el proceso es difícil de controlar con sutileza: la práctica demuestra que las indicaciones textuales son insuficientes para describir con precisión el estilo de una imagen o detalles estructurales finos (como rostros). ControlNet e IPAdapter abordan esta deficiencia condicionando el proceso generativo en imágenes en lugar de texto, pero cada instancia individual se limita a modelar un único posterior condicional: para casos de uso práctico, donde se desean múltiples posteriores diferentes dentro del mismo flujo de trabajo, el entrenamiento y uso de múltiples adaptadores resulta engorroso. Proponemos IPAdapter-Instruct, que combina la condicionante de imágenes naturales con indicaciones "Instruct" para alternar entre interpretaciones para la misma imagen condicionante: ¿transferencia de estilo, extracción de objetos, ambos, u otra cosa aún? IPAdapter-Instruct aprende eficientemente múltiples tareas con una pérdida mínima en calidad en comparación con modelos dedicados por tarea.

English

Diffusion models continuously push the boundary of state-of-the-art image generation, but the process is hard to control with any nuance: practice proves that textual prompts are inadequate for accurately describing image style or fine structural details (such as faces). ControlNet and IPAdapter address this shortcoming by conditioning the generative process on imagery instead, but each individual instance is limited to modeling a single conditional posterior: for practical use-cases, where multiple different posteriors are desired within the same workflow, training and using multiple adapters is cumbersome. We propose IPAdapter-Instruct, which combines natural-image conditioning with ``Instruct'' prompts to swap between interpretations for the same conditioning image: style transfer, object extraction, both, or something else still? IPAdapterInstruct efficiently learns multiple tasks with minimal loss in quality compared to dedicated per-task models.