PixWizard: Assistente Visual de Imagem para Imagem Versátil com Instruções em Linguagem Aberta

PixWizard: Versatile Image-to-Image Visual Assistant with Open-Language Instructions

September 23, 2024

Autores: Weifeng Lin, Xinyu Wei, Renrui Zhang, Le Zhuo, Shitian Zhao, Siyuan Huang, Junlin Xie, Yu Qiao, Peng Gao, Hongsheng Li

cs.AI

Resumo

Este artigo apresenta um assistente visual de imagem para imagem versátil, PixWizard, projetado para geração, manipulação e tradução de imagens com base em instruções em linguagem livre. Para isso, abordamos uma variedade de tarefas de visão em um framework unificado de geração de imagem-texto para imagem e criamos um Conjunto de Dados de Ajuste de Instruções Omni Pixel-a-Pixel. Ao construir modelos detalhados de instruções em linguagem natural, incluímos de forma abrangente um grande conjunto de tarefas de visão diversas, como geração de texto para imagem, restauração de imagem, ancoragem de imagem, previsão de imagem densa, edição de imagem, geração controlável, inpainting/outpainting e mais. Além disso, adotamos Transformadores de Difusão (DiT) como nosso modelo base e estendemos suas capacidades com um mecanismo flexível de qualquer resolução, permitindo que o modelo processe dinamicamente imagens com base na proporção de aspecto da entrada, alinhando-se de perto com os processos perceptuais humanos. O modelo também incorpora orientação consciente da estrutura e semântica para facilitar a fusão eficaz de informações da imagem de entrada. Nossos experimentos demonstram que o PixWizard não apenas demonstra habilidades impressionantes de geração e compreensão para imagens com diversas resoluções, mas também exibe promissoras capacidades de generalização com tarefas e instruções humanas não vistas. O código e os recursos relacionados estão disponíveis em https://github.com/AFeng-x/PixWizard

English

This paper presents a versatile image-to-image visual assistant, PixWizard, designed for image generation, manipulation, and translation based on free-from language instructions. To this end, we tackle a variety of vision tasks into a unified image-text-to-image generation framework and curate an Omni Pixel-to-Pixel Instruction-Tuning Dataset. By constructing detailed instruction templates in natural language, we comprehensively include a large set of diverse vision tasks such as text-to-image generation, image restoration, image grounding, dense image prediction, image editing, controllable generation, inpainting/outpainting, and more. Furthermore, we adopt Diffusion Transformers (DiT) as our foundation model and extend its capabilities with a flexible any resolution mechanism, enabling the model to dynamically process images based on the aspect ratio of the input, closely aligning with human perceptual processes. The model also incorporates structure-aware and semantic-aware guidance to facilitate effective fusion of information from the input image. Our experiments demonstrate that PixWizard not only shows impressive generative and understanding abilities for images with diverse resolutions but also exhibits promising generalization capabilities with unseen tasks and human instructions. The code and related resources are available at https://github.com/AFeng-x/PixWizard