DeepSpeed-VisualChat : Dialogue entrelacé multi-tours et multi-images via une attention causale multimodale

DeepSpeed-VisualChat: Multi-Round Multi-Image Interleave Chat via Multi-Modal Causal Attention

September 25, 2023

Auteurs: Zhewei Yao, Xiaoxia Wu, Conglong Li, Minjia Zhang, Heyang Qi, Olatunji Ruwase, Ammar Ahmad Awan, Samyam Rajbhandari, Yuxiong He

cs.AI

Résumé

La plupart des modèles multi-modaux existants, entravés par leur incapacité à gérer habilement les entrées entrelacées d'images et de texte dans des dialogues multi-images et multi-tours, font face à des contraintes substantielles en matière d'allocation de ressources pour l'entraînement et d'accessibilité des données, ce qui impacte leur adaptabilité et leur évolutivité dans divers domaines d'interaction. Pour remédier à cela, nous présentons le framework DeepSpeed-VisualChat, conçu pour optimiser les modèles de langage de grande taille (LLMs) en intégrant des capacités multi-modales, avec un accent particulier sur l'amélioration de la compétence des modèles de vision et de langage de grande taille dans la gestion des entrées entrelacées. Notre framework se distingue par (1) son support open-source pour les dialogues multi-tours et multi-images, (2) l'introduction d'un mécanisme innovant d'attention causale multi-modale, et (3) l'utilisation de techniques de mélange de données sur des ensembles de données existants pour assurer des interactions fluides dans les conversations multi-tours et multi-images. Par rapport aux frameworks existants, DeepSpeed-VisualChat démontre une évolutivité supérieure jusqu'à des modèles de langage de 70 milliards de paramètres, représentant une avancée significative dans les modèles de langage multi-modaux et posant une base solide pour les explorations futures.

English

Most of the existing multi-modal models, hindered by their incapacity to adeptly manage interleaved image-and-text inputs in multi-image, multi-round dialogues, face substantial constraints in resource allocation for training and data accessibility, impacting their adaptability and scalability across varied interaction realms. To address this, we present the DeepSpeed-VisualChat framework, designed to optimize Large Language Models (LLMs) by incorporating multi-modal capabilities, with a focus on enhancing the proficiency of Large Vision and Language Models in handling interleaved inputs. Our framework is notable for (1) its open-source support for multi-round and multi-image dialogues, (2) introducing an innovative multi-modal causal attention mechanism, and (3) utilizing data blending techniques on existing datasets to assure seamless interactions in multi-round, multi-image conversations. Compared to existing frameworks, DeepSpeed-VisualChat shows superior scalability up to 70B parameter language model size, representing a significant advancement in multi-modal language models and setting a solid foundation for future explorations.