PixWizard: Asistente Visual de Imagen a Imagen Versátil con Instrucciones en Lenguaje Abierto

PixWizard: Versatile Image-to-Image Visual Assistant with Open-Language Instructions

September 23, 2024

Autores: Weifeng Lin, Xinyu Wei, Renrui Zhang, Le Zhuo, Shitian Zhao, Siyuan Huang, Junlin Xie, Yu Qiao, Peng Gao, Hongsheng Li

cs.AI

Resumen

Este documento presenta un asistente visual de imagen a imagen versátil, PixWizard, diseñado para la generación, manipulación y traducción de imágenes basado en instrucciones en lenguaje libre. Con este fin, abordamos una variedad de tareas de visión en un marco unificado de generación de imagen-texto-imagen y creamos un Conjunto de Datos de Ajuste de Instrucciones Píxel a Píxel Omni. Al construir plantillas detalladas de instrucciones en lenguaje natural, incluimos de manera exhaustiva un amplio conjunto de diversas tareas de visión como generación de texto a imagen, restauración de imagen, anclaje de imagen, predicción de imagen densa, edición de imagen, generación controlable, rellenado/reducción de imagen, y más. Además, adoptamos Transformadores de Difusión (DiT) como nuestro modelo base y ampliamos sus capacidades con un mecanismo flexible de cualquier resolución, permitiendo que el modelo procese dinámicamente imágenes según la relación de aspecto de la entrada, alineándose estrechamente con los procesos perceptuales humanos. El modelo también incorpora orientación consciente de la estructura y de la semántica para facilitar la fusión efectiva de información de la imagen de entrada. Nuestros experimentos demuestran que PixWizard no solo muestra impresionantes capacidades generativas y de comprensión para imágenes con diversas resoluciones, sino que también exhibe prometedoras capacidades de generalización con tareas no vistas e instrucciones humanas. El código y los recursos relacionados están disponibles en https://github.com/AFeng-x/PixWizard

English

This paper presents a versatile image-to-image visual assistant, PixWizard, designed for image generation, manipulation, and translation based on free-from language instructions. To this end, we tackle a variety of vision tasks into a unified image-text-to-image generation framework and curate an Omni Pixel-to-Pixel Instruction-Tuning Dataset. By constructing detailed instruction templates in natural language, we comprehensively include a large set of diverse vision tasks such as text-to-image generation, image restoration, image grounding, dense image prediction, image editing, controllable generation, inpainting/outpainting, and more. Furthermore, we adopt Diffusion Transformers (DiT) as our foundation model and extend its capabilities with a flexible any resolution mechanism, enabling the model to dynamically process images based on the aspect ratio of the input, closely aligning with human perceptual processes. The model also incorporates structure-aware and semantic-aware guidance to facilitate effective fusion of information from the input image. Our experiments demonstrate that PixWizard not only shows impressive generative and understanding abilities for images with diverse resolutions but also exhibits promising generalization capabilities with unseen tasks and human instructions. The code and related resources are available at https://github.com/AFeng-x/PixWizard