Taiyi-Diffusion-XL: Vooruitgang in tweetalige tekst-naar-beeldgeneratie met ondersteuning van grootschalige visueel-taalmodelen

Taiyi-Diffusion-XL: Advancing Bilingual Text-to-Image Generation with Large Vision-Language Model Support

January 26, 2024

Auteurs: Xiaojun Wu, Dixiang Zhang, Ruyi Gan, Junyu Lu, Ziwei Wu, Renliang Sun, Jiaxing Zhang, Pingjian Zhang, Yan Song

cs.AI

Samenvatting

Recente vooruitgang in tekst-naar-beeldmodellen heeft de beeldgeneratiecapaciteiten aanzienlijk verbeterd, maar er blijft een opvallend gebrek aan open-source modellen met ondersteuning voor tweetalige of Chinese taal. Om in deze behoefte te voorzien, presenteren we Taiyi-Diffusion-XL, een nieuw Chinees-Engels tweetalig tekst-naar-beeldmodel dat is ontwikkeld door de mogelijkheden van CLIP en Stable-Diffusion-XL uit te breiden via een proces van tweetalige continue voorafgaande training. Deze aanpak omvat de efficiënte uitbreiding van de woordenschat door de meest gebruikte Chinese karakters te integreren in de tokenizer en embeddinglagen van CLIP, in combinatie met een uitbreiding van de absolute positiecodering. Daarnaast verrijken we tekstprompts met behulp van een groot visueel-taalmodel, wat leidt tot betere beeldbeschrijvingen en een hogere visuele kwaliteit. Deze verbeteringen worden vervolgens toegepast op downstream tekst-naar-beeldmodellen. Onze empirische resultaten geven aan dat het ontwikkelde CLIP-model uitblinkt in tweetalige beeld-tekstretrieval. Bovendien overtreffen de tweetalige beeldgeneratiecapaciteiten van Taiyi-Diffusion-XL eerdere modellen. Dit onderzoek leidt tot de ontwikkeling en open-source beschikbaarstelling van het Taiyi-Diffusion-XL-model, wat een opmerkelijke vooruitgang betekent op het gebied van beeldgeneratie, met name voor Chinese taaltoepassingen. Deze bijdrage is een stap voorwaarts in het aanpakken van de behoefte aan meer diverse taalondersteuning in multimodaal onderzoek. Het model en de demonstratie zijn publiekelijk beschikbaar gemaakt op https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-XL-3.5B/{deze https URL}, wat verder onderzoek en samenwerking in dit domein bevordert.

English

Recent advancements in text-to-image models have significantly enhanced image generation capabilities, yet a notable gap of open-source models persists in bilingual or Chinese language support. To address this need, we present Taiyi-Diffusion-XL, a new Chinese and English bilingual text-to-image model which is developed by extending the capabilities of CLIP and Stable-Diffusion-XL through a process of bilingual continuous pre-training. This approach includes the efficient expansion of vocabulary by integrating the most frequently used Chinese characters into CLIP's tokenizer and embedding layers, coupled with an absolute position encoding expansion. Additionally, we enrich text prompts by large vision-language model, leading to better images captions and possess higher visual quality. These enhancements are subsequently applied to downstream text-to-image models. Our empirical results indicate that the developed CLIP model excels in bilingual image-text retrieval.Furthermore, the bilingual image generation capabilities of Taiyi-Diffusion-XL surpass previous models. This research leads to the development and open-sourcing of the Taiyi-Diffusion-XL model, representing a notable advancement in the field of image generation, particularly for Chinese language applications. This contribution is a step forward in addressing the need for more diverse language support in multimodal research. The model and demonstration are made publicly available at https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-XL-3.5B/{this https URL}, fostering further research and collaboration in this domain.