Taiyi-Diffusion-XL: Развитие двуязычной генерации изображений из текста с поддержкой крупной модели взаимодействия зрения и языка

Taiyi-Diffusion-XL: Advancing Bilingual Text-to-Image Generation with Large Vision-Language Model Support

January 26, 2024

Авторы: Xiaojun Wu, Dixiang Zhang, Ruyi Gan, Junyu Lu, Ziwei Wu, Renliang Sun, Jiaxing Zhang, Pingjian Zhang, Yan Song

cs.AI

Аннотация

Последние достижения в области моделей "текст-изображение" значительно улучшили возможности генерации изображений, однако сохраняется заметный пробел в поддержке двуязычных или китайских языков в открытых моделях. Для решения этой проблемы мы представляем Taiyi-Diffusion-XL — новую двуязычную модель "текст-изображение" для китайского и английского языков, разработанную путем расширения возможностей CLIP и Stable-Diffusion-XL через процесс двуязычного непрерывного предварительного обучения. Этот подход включает эффективное расширение словаря за счет интеграции наиболее часто используемых китайских символов в токенизатор и слои эмбеддингов CLIP, а также расширение абсолютного позиционного кодирования. Кроме того, мы обогащаем текстовые подсказки с помощью крупной модели "визуальный язык", что приводит к улучшению описаний изображений и повышению их визуального качества. Эти улучшения затем применяются в моделях "текст-изображение" на последующих этапах. Наши эмпирические результаты показывают, что разработанная модель CLIP превосходит другие в двуязычном поиске изображений по тексту. Более того, возможности двуязычной генерации изображений Taiyi-Diffusion-XL превосходят предыдущие модели. Это исследование привело к разработке и открытому распространению модели Taiyi-Diffusion-XL, что представляет собой значительный прогресс в области генерации изображений, особенно для приложений на китайском языке. Этот вклад является шагом вперед в удовлетворении потребности в поддержке большего разнообразия языков в мультимодальных исследованиях. Модель и демонстрация доступны публично по адресу https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-XL-3.5B/{этот URL}, способствуя дальнейшим исследованиям и сотрудничеству в этой области.

English

Recent advancements in text-to-image models have significantly enhanced image generation capabilities, yet a notable gap of open-source models persists in bilingual or Chinese language support. To address this need, we present Taiyi-Diffusion-XL, a new Chinese and English bilingual text-to-image model which is developed by extending the capabilities of CLIP and Stable-Diffusion-XL through a process of bilingual continuous pre-training. This approach includes the efficient expansion of vocabulary by integrating the most frequently used Chinese characters into CLIP's tokenizer and embedding layers, coupled with an absolute position encoding expansion. Additionally, we enrich text prompts by large vision-language model, leading to better images captions and possess higher visual quality. These enhancements are subsequently applied to downstream text-to-image models. Our empirical results indicate that the developed CLIP model excels in bilingual image-text retrieval.Furthermore, the bilingual image generation capabilities of Taiyi-Diffusion-XL surpass previous models. This research leads to the development and open-sourcing of the Taiyi-Diffusion-XL model, representing a notable advancement in the field of image generation, particularly for Chinese language applications. This contribution is a step forward in addressing the need for more diverse language support in multimodal research. The model and demonstration are made publicly available at https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-XL-3.5B/{this https URL}, fostering further research and collaboration in this domain.