Taiyi-Diffusion-XL: Avanzamento nella Generazione Bilingue di Immagini da Testo con il Supporto di Modelli Linguistico-Visuali di Grande Scala

Abstract

I recenti progressi nei modelli di testo-immagine hanno notevolmente migliorato le capacità di generazione di immagini, ma persiste un divario significativo nei modelli open-source per il supporto bilingue o della lingua cinese. Per affrontare questa esigenza, presentiamo Taiyi-Diffusion-XL, un nuovo modello bilingue cinese-inglese di testo-immagine, sviluppato estendendo le capacità di CLIP e Stable-Diffusion-XL attraverso un processo di pre-addestramento continuo bilingue. Questo approccio include l'espansione efficiente del vocabolario integrando i caratteri cinesi più frequentemente utilizzati nel tokenizer e nei livelli di embedding di CLIP, abbinata a un'espansione della codifica assoluta delle posizioni. Inoltre, arricchiamo i prompt di testo utilizzando un grande modello di visione e linguaggio, portando a didascalie di immagini migliori e a una qualità visiva superiore. Questi miglioramenti vengono successivamente applicati ai modelli di testo-immagine downstream. I nostri risultati empirici indicano che il modello CLIP sviluppato eccelle nel recupero bilingue di immagini e testo. Inoltre, le capacità di generazione di immagini bilingue di Taiyi-Diffusion-XL superano quelle dei modelli precedenti. Questa ricerca porta allo sviluppo e alla pubblicazione open-source del modello Taiyi-Diffusion-XL, rappresentando un progresso significativo nel campo della generazione di immagini, in particolare per le applicazioni in lingua cinese. Questo contributo rappresenta un passo avanti nel soddisfare la necessità di un supporto linguistico più diversificato nella ricerca multimodale. Il modello e la dimostrazione sono resi pubblicamente disponibili all'indirizzo https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-XL-3.5B/{questo https URL}, promuovendo ulteriori ricerche e collaborazioni in questo dominio.

English

Recent advancements in text-to-image models have significantly enhanced image generation capabilities, yet a notable gap of open-source models persists in bilingual or Chinese language support. To address this need, we present Taiyi-Diffusion-XL, a new Chinese and English bilingual text-to-image model which is developed by extending the capabilities of CLIP and Stable-Diffusion-XL through a process of bilingual continuous pre-training. This approach includes the efficient expansion of vocabulary by integrating the most frequently used Chinese characters into CLIP's tokenizer and embedding layers, coupled with an absolute position encoding expansion. Additionally, we enrich text prompts by large vision-language model, leading to better images captions and possess higher visual quality. These enhancements are subsequently applied to downstream text-to-image models. Our empirical results indicate that the developed CLIP model excels in bilingual image-text retrieval.Furthermore, the bilingual image generation capabilities of Taiyi-Diffusion-XL surpass previous models. This research leads to the development and open-sourcing of the Taiyi-Diffusion-XL model, representing a notable advancement in the field of image generation, particularly for Chinese language applications. This contribution is a step forward in addressing the need for more diverse language support in multimodal research. The model and demonstration are made publicly available at https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-XL-3.5B/{this https URL}, fostering further research and collaboration in this domain.