Taiyi-Diffusion-XL: Fortschrittliche zweisprachige Text-zu-Bild-Generierung mit Unterstützung großer Vision-Sprache-Modelle

Taiyi-Diffusion-XL: Advancing Bilingual Text-to-Image Generation with Large Vision-Language Model Support

January 26, 2024

Autoren: Xiaojun Wu, Dixiang Zhang, Ruyi Gan, Junyu Lu, Ziwei Wu, Renliang Sun, Jiaxing Zhang, Pingjian Zhang, Yan Song

cs.AI

Zusammenfassung

Jüngste Fortschritte in Text-zu-Bild-Modellen haben die Bildgenerierungsfähigkeiten erheblich verbessert, doch besteht weiterhin eine bemerkenswerte Lücke bei Open-Source-Modellen in Bezug auf bilinguale oder chinesische Sprachunterstützung. Um diesen Bedarf zu decken, präsentieren wir Taiyi-Diffusion-XL, ein neues chinesisch-englisches bilinguales Text-zu-Bild-Modell, das durch die Erweiterung der Fähigkeiten von CLIP und Stable-Diffusion-XL mittels eines Prozesses des bilingualen kontinuierlichen Vortrainings entwickelt wurde. Dieser Ansatz umfasst die effiziente Erweiterung des Vokabulars durch die Integration der am häufigsten verwendeten chinesischen Zeichen in den Tokenizer und die Embedding-Schichten von CLIP, gekoppelt mit einer Erweiterung der absoluten Positionskodierung. Zusätzlich bereichern wir Textprompts durch ein großes Vision-Sprache-Modell, was zu besseren Bildbeschreibungen und einer höheren visuellen Qualität führt. Diese Verbesserungen werden anschließend auf nachgelagerte Text-zu-Bild-Modelle angewendet. Unsere empirischen Ergebnisse zeigen, dass das entwickelte CLIP-Modell in der bilingualen Bild-Text-Retrieval überragt. Darüber hinaus übertreffen die bilingualen Bildgenerierungsfähigkeiten von Taiyi-Diffusion-XL frühere Modelle. Diese Forschung führt zur Entwicklung und Open-Source-Bereitstellung des Taiyi-Diffusion-XL-Modells, was einen bemerkenswerten Fortschritt im Bereich der Bildgenerierung, insbesondere für chinesische Sprachanwendungen, darstellt. Dieser Beitrag ist ein Schritt nach vorn, um den Bedarf an vielfältigerer Sprachunterstützung in der multimodalen Forschung zu adressieren. Das Modell und die Demonstration sind öffentlich verfügbar unter https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-XL-3.5B/{diese https URL}, was weitere Forschung und Zusammenarbeit in diesem Bereich fördert.

English

Recent advancements in text-to-image models have significantly enhanced image generation capabilities, yet a notable gap of open-source models persists in bilingual or Chinese language support. To address this need, we present Taiyi-Diffusion-XL, a new Chinese and English bilingual text-to-image model which is developed by extending the capabilities of CLIP and Stable-Diffusion-XL through a process of bilingual continuous pre-training. This approach includes the efficient expansion of vocabulary by integrating the most frequently used Chinese characters into CLIP's tokenizer and embedding layers, coupled with an absolute position encoding expansion. Additionally, we enrich text prompts by large vision-language model, leading to better images captions and possess higher visual quality. These enhancements are subsequently applied to downstream text-to-image models. Our empirical results indicate that the developed CLIP model excels in bilingual image-text retrieval.Furthermore, the bilingual image generation capabilities of Taiyi-Diffusion-XL surpass previous models. This research leads to the development and open-sourcing of the Taiyi-Diffusion-XL model, representing a notable advancement in the field of image generation, particularly for Chinese language applications. This contribution is a step forward in addressing the need for more diverse language support in multimodal research. The model and demonstration are made publicly available at https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-XL-3.5B/{this https URL}, fostering further research and collaboration in this domain.