Taiyi-Diffusion-XL: Avançando na Geração de Imagens a partir de Texto Bilíngue com Suporte de Grandes Modelos de Visão e Linguagem

Taiyi-Diffusion-XL: Advancing Bilingual Text-to-Image Generation with Large Vision-Language Model Support

January 26, 2024

Autores: Xiaojun Wu, Dixiang Zhang, Ruyi Gan, Junyu Lu, Ziwei Wu, Renliang Sun, Jiaxing Zhang, Pingjian Zhang, Yan Song

cs.AI

Resumo

Os avanços recentes em modelos de texto para imagem têm aprimorado significativamente as capacidades de geração de imagens, mas ainda persiste uma lacuna notável de modelos de código aberto com suporte a idiomas bilíngues ou chinês. Para atender a essa necessidade, apresentamos o Taiyi-Diffusion-XL, um novo modelo bilíngue de texto para imagem em chinês e inglês, desenvolvido ao estender as capacidades do CLIP e do Stable-Diffusion-XL por meio de um processo de pré-treinamento contínuo bilíngue. Essa abordagem inclui a expansão eficiente do vocabulário ao integrar os caracteres chineses mais utilizados no tokenizer e nas camadas de embedding do CLIP, juntamente com uma expansão da codificação de posição absoluta. Além disso, enriquecemos os prompts de texto com um grande modelo de visão e linguagem, resultando em legendas de imagens melhores e com maior qualidade visual. Esses aprimoramentos são subsequentemente aplicados a modelos de texto para imagem de downstream. Nossos resultados empíricos indicam que o modelo CLIP desenvolvido se destaca na recuperação bilíngue de imagem-texto. Além disso, as capacidades de geração de imagens bilíngues do Taiyi-Diffusion-XL superam os modelos anteriores. Esta pesquisa leva ao desenvolvimento e à disponibilização em código aberto do modelo Taiyi-Diffusion-XL, representando um avanço notável no campo da geração de imagens, particularmente para aplicações em língua chinesa. Esta contribuição é um passo à frente para atender à necessidade de suporte a idiomas mais diversos na pesquisa multimodal. O modelo e a demonstração estão disponíveis publicamente em https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-XL-3.5B/{este https URL}, promovendo mais pesquisas e colaborações nesse domínio.

English

Recent advancements in text-to-image models have significantly enhanced image generation capabilities, yet a notable gap of open-source models persists in bilingual or Chinese language support. To address this need, we present Taiyi-Diffusion-XL, a new Chinese and English bilingual text-to-image model which is developed by extending the capabilities of CLIP and Stable-Diffusion-XL through a process of bilingual continuous pre-training. This approach includes the efficient expansion of vocabulary by integrating the most frequently used Chinese characters into CLIP's tokenizer and embedding layers, coupled with an absolute position encoding expansion. Additionally, we enrich text prompts by large vision-language model, leading to better images captions and possess higher visual quality. These enhancements are subsequently applied to downstream text-to-image models. Our empirical results indicate that the developed CLIP model excels in bilingual image-text retrieval.Furthermore, the bilingual image generation capabilities of Taiyi-Diffusion-XL surpass previous models. This research leads to the development and open-sourcing of the Taiyi-Diffusion-XL model, representing a notable advancement in the field of image generation, particularly for Chinese language applications. This contribution is a step forward in addressing the need for more diverse language support in multimodal research. The model and demonstration are made publicly available at https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-XL-3.5B/{this https URL}, fostering further research and collaboration in this domain.