Hunyuan-DiT: Een krachtige multi-resolutie diffusie-transformer met fijnmazig begrip van het Chinees
Hunyuan-DiT: A Powerful Multi-Resolution Diffusion Transformer with Fine-Grained Chinese Understanding
May 14, 2024
Auteurs: Zhimin Li, Jianwei Zhang, Qin Lin, Jiangfeng Xiong, Yanxin Long, Xinchi Deng, Yingfang Zhang, Xingchao Liu, Minbin Huang, Zedong Xiao, Dayou Chen, Jiajun He, Jiahao Li, Wenyue Li, Chen Zhang, Rongwei Quan, Jianxiang Lu, Jiabin Huang, Xiaoyan Yuan, Xiaoxiao Zheng, Yixuan Li, Jihong Zhang, Chao Zhang, Meng Chen, Jie Liu, Zheng Fang, Weiyan Wang, Jinbao Xue, Yangyu Tao, Jianchen Zhu, Kai Liu, Sihuan Lin, Yifu Sun, Yun Li, Dongdong Wang, Mingtao Chen, Zhichao Hu, Xiao Xiao, Yan Chen, Yuhong Liu, Wei Liu, Di Wang, Yong Yang, Jie Jiang, Qinglin Lu
cs.AI
Samenvatting
We presenteren Hunyuan-DiT, een tekst-naar-beeld diffusie-transformer met een gedetailleerd begrip van zowel Engels als Chinees. Om Hunyuan-DiT te construeren, hebben we zorgvuldig de transformerstructuur, de tekstencoder en de positionele codering ontworpen. We hebben ook een complete datapijplijn vanaf de grond opgebouwd om gegevens bij te werken en te evalueren voor iteratieve modeloptimalisatie. Voor gedetailleerd taalbegrip hebben we een Multimodaal Groot Taalmodel getraind om de bijschriften van de afbeeldingen te verfijnen. Uiteindelijk kan Hunyuan-DiT multiturn multimodale dialogen voeren met gebruikers, waarbij afbeeldingen worden gegenereerd en verfijnd volgens de context. Via ons holistische humanevaluatieprotocol met meer dan 50 professionele humanevaluators, vestigt Hunyuan-DiT een nieuwe state-of-the-art in Chinees-naar-beeldgeneratie in vergelijking met andere open-source modellen. Code en vooraf getrainde modellen zijn publiekelijk beschikbaar op github.com/Tencent/HunyuanDiT.
English
We present Hunyuan-DiT, a text-to-image diffusion transformer with
fine-grained understanding of both English and Chinese. To construct
Hunyuan-DiT, we carefully design the transformer structure, text encoder, and
positional encoding. We also build from scratch a whole data pipeline to update
and evaluate data for iterative model optimization. For fine-grained language
understanding, we train a Multimodal Large Language Model to refine the
captions of the images. Finally, Hunyuan-DiT can perform multi-turn multimodal
dialogue with users, generating and refining images according to the context.
Through our holistic human evaluation protocol with more than 50 professional
human evaluators, Hunyuan-DiT sets a new state-of-the-art in Chinese-to-image
generation compared with other open-source models. Code and pretrained models
are publicly available at github.com/Tencent/HunyuanDiT