Taiyi-Diffusion-XL: Avanzando en la Generación Bilingüe de Imágenes a partir de Texto con Soporte de Modelos de Gran Escala Visión-Lenguaje

Taiyi-Diffusion-XL: Advancing Bilingual Text-to-Image Generation with Large Vision-Language Model Support

January 26, 2024

Autores: Xiaojun Wu, Dixiang Zhang, Ruyi Gan, Junyu Lu, Ziwei Wu, Renliang Sun, Jiaxing Zhang, Pingjian Zhang, Yan Song

cs.AI

Resumen

Los recientes avances en los modelos de texto a imagen han mejorado significativamente las capacidades de generación de imágenes, pero persiste una notable brecha en los modelos de código abierto con soporte para idiomas bilingües o chino. Para abordar esta necesidad, presentamos Taiyi-Diffusion-XL, un nuevo modelo bilingüe chino-inglés de texto a imagen, desarrollado mediante la extensión de las capacidades de CLIP y Stable-Diffusion-XL a través de un proceso de preentrenamiento continuo bilingüe. Este enfoque incluye la expansión eficiente del vocabulario mediante la integración de los caracteres chinos más utilizados en el tokenizador y las capas de embedding de CLIP, junto con una expansión de la codificación de posición absoluta. Además, enriquecemos las indicaciones de texto mediante un modelo de visión y lenguaje a gran escala, lo que resulta en mejores descripciones de imágenes y una mayor calidad visual. Estas mejoras se aplican posteriormente a los modelos de texto a imagen descendentes. Nuestros resultados empíricos indican que el modelo CLIP desarrollado sobresale en la recuperación bilingüe de imágenes y texto. Además, las capacidades de generación de imágenes bilingües de Taiyi-Diffusion-XL superan a los modelos anteriores. Esta investigación conduce al desarrollo y la publicación en código abierto del modelo Taiyi-Diffusion-XL, representando un avance notable en el campo de la generación de imágenes, particularmente para aplicaciones en idioma chino. Esta contribución es un paso adelante para abordar la necesidad de un soporte más diverso de idiomas en la investigación multimodal. El modelo y la demostración están disponibles públicamente en https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-XL-3.5B/{este enlace}, fomentando una mayor investigación y colaboración en este dominio.

English

Recent advancements in text-to-image models have significantly enhanced image generation capabilities, yet a notable gap of open-source models persists in bilingual or Chinese language support. To address this need, we present Taiyi-Diffusion-XL, a new Chinese and English bilingual text-to-image model which is developed by extending the capabilities of CLIP and Stable-Diffusion-XL through a process of bilingual continuous pre-training. This approach includes the efficient expansion of vocabulary by integrating the most frequently used Chinese characters into CLIP's tokenizer and embedding layers, coupled with an absolute position encoding expansion. Additionally, we enrich text prompts by large vision-language model, leading to better images captions and possess higher visual quality. These enhancements are subsequently applied to downstream text-to-image models. Our empirical results indicate that the developed CLIP model excels in bilingual image-text retrieval.Furthermore, the bilingual image generation capabilities of Taiyi-Diffusion-XL surpass previous models. This research leads to the development and open-sourcing of the Taiyi-Diffusion-XL model, representing a notable advancement in the field of image generation, particularly for Chinese language applications. This contribution is a step forward in addressing the need for more diverse language support in multimodal research. The model and demonstration are made publicly available at https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-XL-3.5B/{this https URL}, fostering further research and collaboration in this domain.