Taiyi-Diffusion-XL: 대규모 시각-언어 모델 지원을 통한 이중 언어 텍스트-이미지 생성 기술의 발전

초록

최근 텍스트-이미지 모델의 발전으로 이미지 생성 능력이 크게 향상되었지만, 여전히 중국어를 포함한 다국어 지원을 제공하는 오픈소스 모델의 공백이 두드러집니다. 이러한 필요를 해결하기 위해, 우리는 CLIP과 Stable-Diffusion-XL의 기능을 확장하여 개발한 새로운 중국어-영어 이중언어 텍스트-이미지 모델인 Taiyi-Diffusion-XL을 소개합니다. 이 접근 방식은 CLIP의 토크나이저와 임베딩 레이어에 가장 빈번히 사용되는 한자 문자를 통합하여 어휘를 효율적으로 확장하고, 절대 위치 인코딩 확장을 결합합니다. 또한, 대규모 시각-언어 모델을 통해 텍스트 프롬프트를 풍부하게 하여 더 나은 이미지 캡션과 더 높은 시각적 품질을 확보합니다. 이러한 개선 사항은 이후 다운스트림 텍스트-이미지 모델에 적용됩니다. 우리의 실험 결과는 개발된 CLIP 모델이 이중언어 이미지-텍스트 검색에서 탁월한 성능을 보인다는 것을 나타냅니다. 더 나아가, Taiyi-Diffusion-XL의 이중언어 이미지 생성 능력은 이전 모델들을 능가합니다. 이 연구는 특히 중국어 애플리케이션을 위한 이미지 생성 분야에서 주목할 만한 발전을 이룬 Taiyi-Diffusion-XL 모델의 개발과 오픈소스화로 이어졌습니다. 이 기여는 다중모달 연구에서 더 다양한 언어 지원의 필요를 해결하기 위한 한 걸음입니다. 이 모델과 데모는 https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-XL-3.5B/{이 URL}에서 공개되어, 이 분야의 추가 연구와 협력을 촉진합니다.

English

Recent advancements in text-to-image models have significantly enhanced image generation capabilities, yet a notable gap of open-source models persists in bilingual or Chinese language support. To address this need, we present Taiyi-Diffusion-XL, a new Chinese and English bilingual text-to-image model which is developed by extending the capabilities of CLIP and Stable-Diffusion-XL through a process of bilingual continuous pre-training. This approach includes the efficient expansion of vocabulary by integrating the most frequently used Chinese characters into CLIP's tokenizer and embedding layers, coupled with an absolute position encoding expansion. Additionally, we enrich text prompts by large vision-language model, leading to better images captions and possess higher visual quality. These enhancements are subsequently applied to downstream text-to-image models. Our empirical results indicate that the developed CLIP model excels in bilingual image-text retrieval.Furthermore, the bilingual image generation capabilities of Taiyi-Diffusion-XL surpass previous models. This research leads to the development and open-sourcing of the Taiyi-Diffusion-XL model, representing a notable advancement in the field of image generation, particularly for Chinese language applications. This contribution is a step forward in addressing the need for more diverse language support in multimodal research. The model and demonstration are made publicly available at https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-XL-3.5B/{this https URL}, fostering further research and collaboration in this domain.

Taiyi-Diffusion-XL: 대규모 시각-언어 모델 지원을 통한 이중 언어 텍스트-이미지 생성 기술의 발전

Taiyi-Diffusion-XL: Advancing Bilingual Text-to-Image Generation with Large Vision-Language Model Support

초록

Support