Mixture-of-Transformers: Een Sparse en Schaalbare Architectuur voor Multi-Modale Foundation Modellen

Samenvatting

De ontwikkeling van grote taalmmodellen (LLM's) is uitgebreid naar multimodale systemen die tekst, afbeeldingen en spraak binnen een uniform raamwerk kunnen verwerken. Het trainen van deze modellen vereist aanzienlijk grotere datasets en rekenkundige middelen in vergelijking met uitsluitend op tekst gebaseerde LLM's. Om de schaalbaarheidsuitdagingen aan te pakken, introduceren we Mixture-of-Transformers (MoT), een sparse multimodale transformer-architectuur die de rekenkosten voor voorafgaande training aanzienlijk reduceert. MoT ontkoppelt de niet-embedding parameters van het model per modaliteit – waaronder feedforward-netwerken, aandachtmatrices en laagnormalisatie – waardoor modale-specifieke verwerking mogelijk wordt met globale zelf-aandacht over de volledige invoerreeks. We evalueren MoT in meerdere instellingen en modelschalen. In de Chameleon 7B-instelling (autoregressieve tekst- en afbeeldingsgeneratie) evenaart MoT de prestaties van de dichte baseline met slechts 55,8% van de FLOPs. Wanneer uitgebreid naar spraak, bereikt MoT spraakprestaties vergelijkbaar met de dichte baseline met slechts 37,2% van de FLOPs. In de Transfusie-instelling, waar tekst en afbeeldingen met verschillende doelen worden getraind, evenaart een 7B MoT-model de prestaties van de afbeeldingsmodaliteit van de dichte baseline met een derde van de FLOPs, en presteert een 760M MoT-model beter dan een 1,4B dichte baseline op belangrijke afbeeldingsgeneratiemetrics. Systeemprofilering benadrukt verder de praktische voordelen van MoT, waarbij de afbeeldingskwaliteit van de dichte baseline wordt bereikt in 47,2% van de wall-clock tijd en de tekstkwaliteit in 75,6% van de wall-clock tijd (gemeten op AWS p4de.24xlarge instances met NVIDIA A100 GPU's).

English

The development of large language models (LLMs) has expanded to multi-modal systems capable of processing text, images, and speech within a unified framework. Training these models demands significantly larger datasets and computational resources compared to text-only LLMs. To address the scaling challenges, we introduce Mixture-of-Transformers (MoT), a sparse multi-modal transformer architecture that significantly reduces pretraining computational costs. MoT decouples non-embedding parameters of the model by modality -- including feed-forward networks, attention matrices, and layer normalization -- enabling modality-specific processing with global self-attention over the full input sequence. We evaluate MoT across multiple settings and model scales. In the Chameleon 7B setting (autoregressive text-and-image generation), MoT matches the dense baseline's performance using only 55.8\% of the FLOPs. When extended to include speech, MoT reaches speech performance comparable to the dense baseline with only 37.2\% of the FLOPs. In the Transfusion setting, where text and image are trained with different objectives, a 7B MoT model matches the image modality performance of the dense baseline with one third of the FLOPs, and a 760M MoT model outperforms a 1.4B dense baseline across key image generation metrics. System profiling further highlights MoT's practical benefits, achieving dense baseline image quality in 47.2\% of the wall-clock time and text quality in 75.6\% of the wall-clock time (measured on AWS p4de.24xlarge instances with NVIDIA A100 GPUs).

Mixture-of-Transformers: Een Sparse en Schaalbare Architectuur voor Multi-Modale Foundation Modellen

Mixture-of-Transformers: A Sparse and Scalable Architecture for Multi-Modal Foundation Models

Samenvatting

Support