DeepSpeed-VisualChat: Multi-Ronde Multi-Beeld Interleave Chat via Multi-Modale Causale Aandacht

DeepSpeed-VisualChat: Multi-Round Multi-Image Interleave Chat via Multi-Modal Causal Attention

September 25, 2023

Auteurs: Zhewei Yao, Xiaoxia Wu, Conglong Li, Minjia Zhang, Heyang Qi, Olatunji Ruwase, Ammar Ahmad Awan, Samyam Rajbhandari, Yuxiong He

cs.AI

Samenvatting

De meeste bestaande multimodale modellen, gehinderd door hun onvermogen om geïntercaleerde afbeelding- en tekstinvoer in dialogen met meerdere afbeeldingen en meerdere rondes vaardig te verwerken, worden geconfronteerd met aanzienlijke beperkingen in de toewijzing van middelen voor training en toegankelijkheid van gegevens, wat hun aanpassingsvermogen en schaalbaarheid over verschillende interactiedomeinen beïnvloedt. Om dit aan te pakken, presenteren we het DeepSpeed-VisualChat framework, ontworpen om Large Language Models (LLM's) te optimaliseren door multimodale mogelijkheden te integreren, met de focus op het verbeteren van de vaardigheid van Large Vision en Language Models in het verwerken van geïntercaleerde invoer. Ons framework is opmerkelijk vanwege (1) de open-source ondersteuning voor dialogen met meerdere rondes en meerdere afbeeldingen, (2) de introductie van een innovatief multimodaal causaal aandachtmechanisme, en (3) het gebruik van datablendingtechnieken op bestaande datasets om naadloze interacties in conversaties met meerdere rondes en meerdere afbeeldingen te garanderen. In vergelijking met bestaande frameworks toont DeepSpeed-VisualChat superieure schaalbaarheid tot een taalmodelgrootte van 70B parameters, wat een significante vooruitgang vertegenwoordigt in multimodale taalmodellen en een solide basis legt voor toekomstige verkenningen.

English

Most of the existing multi-modal models, hindered by their incapacity to adeptly manage interleaved image-and-text inputs in multi-image, multi-round dialogues, face substantial constraints in resource allocation for training and data accessibility, impacting their adaptability and scalability across varied interaction realms. To address this, we present the DeepSpeed-VisualChat framework, designed to optimize Large Language Models (LLMs) by incorporating multi-modal capabilities, with a focus on enhancing the proficiency of Large Vision and Language Models in handling interleaved inputs. Our framework is notable for (1) its open-source support for multi-round and multi-image dialogues, (2) introducing an innovative multi-modal causal attention mechanism, and (3) utilizing data blending techniques on existing datasets to assure seamless interactions in multi-round, multi-image conversations. Compared to existing frameworks, DeepSpeed-VisualChat shows superior scalability up to 70B parameter language model size, representing a significant advancement in multi-modal language models and setting a solid foundation for future explorations.