Taiyi-Diffusion-XL : Faire progresser la génération d'images à partir de texte bilingue grâce au support de grands modèles vision-langage

Taiyi-Diffusion-XL: Advancing Bilingual Text-to-Image Generation with Large Vision-Language Model Support

January 26, 2024

Auteurs: Xiaojun Wu, Dixiang Zhang, Ruyi Gan, Junyu Lu, Ziwei Wu, Renliang Sun, Jiaxing Zhang, Pingjian Zhang, Yan Song

cs.AI

Résumé

Les récents progrès des modèles de génération d'images à partir de texte ont considérablement amélioré les capacités de génération d'images. Cependant, un écart notable persiste dans les modèles open-source en ce qui concerne le support bilingue ou en langue chinoise. Pour répondre à ce besoin, nous présentons Taiyi-Diffusion-XL, un nouveau modèle bilingue chinois-anglais de génération d'images à partir de texte, développé en étendant les capacités de CLIP et Stable-Diffusion-XL grâce à un processus de pré-entraînement continu bilingue. Cette approche inclut l'extension efficace du vocabulaire en intégrant les caractères chinois les plus fréquemment utilisés dans le tokenizer et les couches d'embedding de CLIP, ainsi qu'une expansion du codage de position absolue. De plus, nous enrichissons les prompts textuels grâce à un grand modèle de vision et langage, conduisant à de meilleures descriptions d'images et à une qualité visuelle supérieure. Ces améliorations sont ensuite appliquées aux modèles de génération d'images à partir de texte en aval. Nos résultats empiriques indiquent que le modèle CLIP développé excelle dans la recherche bilingue d'images et de texte. Par ailleurs, les capacités de génération d'images bilingues de Taiyi-Diffusion-XL surpassent celles des modèles précédents. Cette recherche aboutit au développement et à la mise en open-source du modèle Taiyi-Diffusion-XL, représentant une avancée notable dans le domaine de la génération d'images, en particulier pour les applications en langue chinoise. Cette contribution constitue un pas en avant pour répondre au besoin d'un support linguistique plus diversifié dans la recherche multimodale. Le modèle et sa démonstration sont rendus publics à l'adresse https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-XL-3.5B/{cette URL}, favorisant ainsi la recherche et la collaboration dans ce domaine.

English

Recent advancements in text-to-image models have significantly enhanced image generation capabilities, yet a notable gap of open-source models persists in bilingual or Chinese language support. To address this need, we present Taiyi-Diffusion-XL, a new Chinese and English bilingual text-to-image model which is developed by extending the capabilities of CLIP and Stable-Diffusion-XL through a process of bilingual continuous pre-training. This approach includes the efficient expansion of vocabulary by integrating the most frequently used Chinese characters into CLIP's tokenizer and embedding layers, coupled with an absolute position encoding expansion. Additionally, we enrich text prompts by large vision-language model, leading to better images captions and possess higher visual quality. These enhancements are subsequently applied to downstream text-to-image models. Our empirical results indicate that the developed CLIP model excels in bilingual image-text retrieval.Furthermore, the bilingual image generation capabilities of Taiyi-Diffusion-XL surpass previous models. This research leads to the development and open-sourcing of the Taiyi-Diffusion-XL model, representing a notable advancement in the field of image generation, particularly for Chinese language applications. This contribution is a step forward in addressing the need for more diverse language support in multimodal research. The model and demonstration are made publicly available at https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-XL-3.5B/{this https URL}, fostering further research and collaboration in this domain.