IPAdapter-Instruct: Resolvendo Ambiguidade na Condicionamento Baseado em Imagens usando Instruções Instruct

IPAdapter-Instruct: Resolving Ambiguity in Image-based Conditioning using Instruct Prompts

August 6, 2024

Autores: Ciara Rowles, Shimon Vainer, Dante De Nigris, Slava Elizarov, Konstantin Kutsy, Simon Donné

cs.AI

Resumo

Os modelos de difusão continuam a avançar os limites da geração de imagens de ponta, mas o processo é difícil de controlar com qualquer sutileza: a prática prova que instruções textuais são inadequadas para descrever com precisão o estilo da imagem ou detalhes estruturais finos (como rostos). ControlNet e IPAdapter abordam essa deficiência condicionando o processo generativo em imagens, mas cada instância individual é limitada a modelar um único posterior condicional: para casos de uso práticos, nos quais múltiplos posteriores diferentes são desejados dentro do mesmo fluxo de trabalho, treinar e usar múltiplos adaptadores é trabalhoso. Propomos o IPAdapter-Instruct, que combina condicionamento de imagens naturais com instruções "Instruct" para alternar entre interpretações para a mesma imagem de condicionamento: transferência de estilo, extração de objeto, ambos, ou algo ainda diferente? O IPAdapter-Instruct aprende eficientemente múltiplas tarefas com perda mínima de qualidade em comparação com modelos dedicados por tarefa.

English

Diffusion models continuously push the boundary of state-of-the-art image generation, but the process is hard to control with any nuance: practice proves that textual prompts are inadequate for accurately describing image style or fine structural details (such as faces). ControlNet and IPAdapter address this shortcoming by conditioning the generative process on imagery instead, but each individual instance is limited to modeling a single conditional posterior: for practical use-cases, where multiple different posteriors are desired within the same workflow, training and using multiple adapters is cumbersome. We propose IPAdapter-Instruct, which combines natural-image conditioning with ``Instruct'' prompts to swap between interpretations for the same conditioning image: style transfer, object extraction, both, or something else still? IPAdapterInstruct efficiently learns multiple tasks with minimal loss in quality compared to dedicated per-task models.