ILLUME : Illuminer vos LLM pour Voir, Dessiner et s'Auto-Améliorer

ILLUME: Illuminating Your LLMs to See, Draw, and Self-Enhance

December 9, 2024

Auteurs: Chunwei Wang, Guansong Lu, Junwei Yang, Runhui Huang, Jianhua Han, Lu Hou, Wei Zhang, Hang Xu

cs.AI

Résumé

Dans cet article, nous présentons ILLUME, un modèle de langue large multimodal unifié (MLLM) qui intègre de manière transparente des capacités de compréhension et de génération multimodales au sein d'un seul grand modèle de langue grâce à une formulation unifiée de prédiction du jeton suivant. Pour répondre à la grande taille de l'ensemble de données généralement requise pour l'alignement image-texte, nous proposons d'améliorer l'efficacité des données grâce à la conception d'un tokeniseur de vision qui intègre des informations sémantiques et une procédure d'entraînement progressive à plusieurs étapes. Cette approche réduit la taille de l'ensemble de données à seulement 15M pour la préformation - plus de quatre fois moins que ce qui est généralement nécessaire - tout en atteignant des performances compétitives, voire supérieures, par rapport aux MLLMs unifiés existants, tels que Janus. De plus, pour promouvoir l'amélioration synergique entre les capacités de compréhension et de génération, peu explorée dans les travaux précédents, nous introduisons un nouveau schéma d'alignement multimodal auto-améliorant. Ce schéma supervise le MLLM pour évaluer lui-même la cohérence entre les descriptions textuelles et les images auto-générées, facilitant la capacité du modèle à interpréter les images de manière plus précise et à éviter les prédictions irréalistes et incorrectes causées par un désalignement dans la génération d'images. Sur la base d'expériences approfondies, notre ILLUME proposé se distingue et rivalise avec les MLLMs unifiés de pointe et les modèles spécialisés sur divers benchmarks pour la compréhension, la génération et la modification multimodales.

English

In this paper, we introduce ILLUME, a unified multimodal large language model (MLLM) that seamlessly integrates multimodal understanding and generation capabilities within a single large language model through a unified next-token prediction formulation. To address the large dataset size typically required for image-text alignment, we propose to enhance data efficiency through the design of a vision tokenizer that incorporates semantic information and a progressive multi-stage training procedure. This approach reduces the dataset size to just 15M for pretraining -- over four times fewer than what is typically needed -- while achieving competitive or even superior performance with existing unified MLLMs, such as Janus. Additionally, to promote synergistic enhancement between understanding and generation capabilities, which is under-explored in previous works, we introduce a novel self-enhancing multimodal alignment scheme. This scheme supervises the MLLM to self-assess the consistency between text descriptions and self-generated images, facilitating the model to interpret images more accurately and avoid unrealistic and incorrect predictions caused by misalignment in image generation. Based on extensive experiments, our proposed ILLUME stands out and competes with state-of-the-art unified MLLMs and specialized models across various benchmarks for multimodal understanding, generation, and editing.