PixWizard: Veelzijdige Beeld-naar-Beeld Visuele Assistent met Open-Taalinstructies

PixWizard: Versatile Image-to-Image Visual Assistant with Open-Language Instructions

September 23, 2024

Auteurs: Weifeng Lin, Xinyu Wei, Renrui Zhang, Le Zhuo, Shitian Zhao, Siyuan Huang, Junlin Xie, Yu Qiao, Peng Gao, Hongsheng Li

cs.AI

Samenvatting

Dit artikel presenteert een veelzijdige beeld-naar-beeld visuele assistent, PixWizard, ontworpen voor beeldgeneratie, manipulatie en vertaling op basis van vrije taalinstructies. Hiertoe pakken we een verscheidenheid aan visuele taken aan in een verenigd beeld-tekst-naar-beeldgeneratiekader en stellen we een Omni Pixel-naar-Pixel Instructie-Afstemmingsdataset samen. Door gedetailleerde instructiesjablonen in natuurlijke taal te construeren, nemen we uitgebreid een grote verscheidenheid aan visuele taken op, zoals tekst-naar-beeldgeneratie, beeldherstel, beeldverankering, dichte beeldvoorspelling, beeldbewerking, controleerbare generatie, in- en uitvullen, en meer. Bovendien nemen we Diffusion Transformers (DiT) aan als ons basismodel en breiden we de mogelijkheden ervan uit met een flexibel mechanisme voor elke resolutie, waardoor het model beelden dynamisch kan verwerken op basis van de beeldverhouding van de invoer, nauw aansluitend bij menselijke perceptuele processen. Het model omvat ook structuur- en semantisch-bewuste begeleiding om effectieve fusie van informatie van het invoerbeeld te vergemakkelijken. Onze experimenten tonen aan dat PixWizard niet alleen indrukwekkende generatieve en begripsvermogens vertoont voor beelden met diverse resoluties, maar ook veelbelovende generalisatievermogens vertoont met ongeziene taken en menselijke instructies. De code en gerelateerde bronnen zijn beschikbaar op https://github.com/AFeng-x/PixWizard

English

This paper presents a versatile image-to-image visual assistant, PixWizard, designed for image generation, manipulation, and translation based on free-from language instructions. To this end, we tackle a variety of vision tasks into a unified image-text-to-image generation framework and curate an Omni Pixel-to-Pixel Instruction-Tuning Dataset. By constructing detailed instruction templates in natural language, we comprehensively include a large set of diverse vision tasks such as text-to-image generation, image restoration, image grounding, dense image prediction, image editing, controllable generation, inpainting/outpainting, and more. Furthermore, we adopt Diffusion Transformers (DiT) as our foundation model and extend its capabilities with a flexible any resolution mechanism, enabling the model to dynamically process images based on the aspect ratio of the input, closely aligning with human perceptual processes. The model also incorporates structure-aware and semantic-aware guidance to facilitate effective fusion of information from the input image. Our experiments demonstrate that PixWizard not only shows impressive generative and understanding abilities for images with diverse resolutions but also exhibits promising generalization capabilities with unseen tasks and human instructions. The code and related resources are available at https://github.com/AFeng-x/PixWizard