Hunyuan-DiT : Un Transformateur de Diffusion Multi-Résolution Puissant avec une Compréhension Fine-Grainée du Chinois

Hunyuan-DiT: A Powerful Multi-Resolution Diffusion Transformer with Fine-Grained Chinese Understanding

May 14, 2024

Auteurs: Zhimin Li, Jianwei Zhang, Qin Lin, Jiangfeng Xiong, Yanxin Long, Xinchi Deng, Yingfang Zhang, Xingchao Liu, Minbin Huang, Zedong Xiao, Dayou Chen, Jiajun He, Jiahao Li, Wenyue Li, Chen Zhang, Rongwei Quan, Jianxiang Lu, Jiabin Huang, Xiaoyan Yuan, Xiaoxiao Zheng, Yixuan Li, Jihong Zhang, Chao Zhang, Meng Chen, Jie Liu, Zheng Fang, Weiyan Wang, Jinbao Xue, Yangyu Tao, Jianchen Zhu, Kai Liu, Sihuan Lin, Yifu Sun, Yun Li, Dongdong Wang, Mingtao Chen, Zhichao Hu, Xiao Xiao, Yan Chen, Yuhong Liu, Wei Liu, Di Wang, Yong Yang, Jie Jiang, Qinglin Lu

cs.AI

Résumé

Nous présentons Hunyuan-DiT, un transformeur de diffusion texte-image doté d'une compréhension fine à la fois de l'anglais et du chinois. Pour construire Hunyuan-DiT, nous avons soigneusement conçu la structure du transformeur, l'encodeur de texte et l'encodage positionnel. Nous avons également développé de A à Z un pipeline de données complet pour mettre à jour et évaluer les données en vue de l'optimisation itérative du modèle. Pour une compréhension fine du langage, nous avons entraîné un modèle de langage multimodal de grande envergure (Multimodal Large Language Model) afin d'affiner les légendes des images. Enfin, Hunyuan-DiT est capable de mener un dialogue multimodal à plusieurs tours avec les utilisateurs, générant et affinant les images en fonction du contexte. Grâce à notre protocole d'évaluation humaine holistique impliquant plus de 50 évaluateurs professionnels, Hunyuan-DiT établit un nouvel état de l'art dans la génération d'images à partir de texte en chinois par rapport aux autres modèles open-source. Le code et les modèles pré-entraînés sont disponibles publiquement sur github.com/Tencent/HunyuanDiT.

English

We present Hunyuan-DiT, a text-to-image diffusion transformer with fine-grained understanding of both English and Chinese. To construct Hunyuan-DiT, we carefully design the transformer structure, text encoder, and positional encoding. We also build from scratch a whole data pipeline to update and evaluate data for iterative model optimization. For fine-grained language understanding, we train a Multimodal Large Language Model to refine the captions of the images. Finally, Hunyuan-DiT can perform multi-turn multimodal dialogue with users, generating and refining images according to the context. Through our holistic human evaluation protocol with more than 50 professional human evaluators, Hunyuan-DiT sets a new state-of-the-art in Chinese-to-image generation compared with other open-source models. Code and pretrained models are publicly available at github.com/Tencent/HunyuanDiT