Mixture-of-Transformers: Eine spärliche und skalierbare Architektur für Multi-Modale Foundation-Modelle

papers.abstract

Die Entwicklung großer Sprachmodelle (LLMs) hat sich auf multimodale Systeme ausgeweitet, die in der Lage sind, Text, Bilder und Sprache innerhalb eines einheitlichen Frameworks zu verarbeiten. Das Training dieser Modelle erfordert deutlich größere Datensätze und Rechenressourcen im Vergleich zu textbasierten LLMs. Um die Skalierungsherausforderungen zu bewältigen, führen wir Mixture-of-Transformers (MoT) ein, eine sparsame multimodale Transformer-Architektur, die die Vorabtrainingskosten erheblich reduziert. MoT entkoppelt die nicht-embeddingspezifischen Parameter des Modells nach Modalitäten – einschließlich Feed-Forward-Netzwerken, Aufmerksamkeitsmatrizen und Layer-Normalisierung – und ermöglicht so eine modalitätsspezifische Verarbeitung mit globaler Selbstaufmerksamkeit über die gesamte Eingabesequenz. Wir evaluieren MoT in verschiedenen Konfigurationen und Modellgrößen. Im Chameleon-7B-Setting (autoregressive Text- und Bildgenerierung) erreicht MoT die Leistung des dichten Basismodells mit nur 55,8 % der FLOPs. Bei der Erweiterung um Sprache erreicht MoT eine Sprachleistung, die mit dem dichten Basismodell vergleichbar ist, jedoch mit nur 37,2 % der FLOPs. Im Transfusion-Setting, bei dem Text und Bild mit unterschiedlichen Zielen trainiert werden, erreicht ein 7B-MoT-Modell die Bildmodalitätsleistung des dichten Basismodells mit einem Drittel der FLOPs, und ein 760M-MoT-Modell übertrifft ein 1,4B-dichtes Basismodell in wichtigen Bildgenerationsmetriken. Systemprofiling unterstreicht weiterhin die praktischen Vorteile von MoT, indem es die Bildqualität des dichten Basismodells in 47,2 % der Echtzeit und die Textqualität in 75,6 % der Echtzeit erreicht (gemessen auf AWS p4de.24xlarge-Instanzen mit NVIDIA A100 GPUs).

English

The development of large language models (LLMs) has expanded to multi-modal systems capable of processing text, images, and speech within a unified framework. Training these models demands significantly larger datasets and computational resources compared to text-only LLMs. To address the scaling challenges, we introduce Mixture-of-Transformers (MoT), a sparse multi-modal transformer architecture that significantly reduces pretraining computational costs. MoT decouples non-embedding parameters of the model by modality -- including feed-forward networks, attention matrices, and layer normalization -- enabling modality-specific processing with global self-attention over the full input sequence. We evaluate MoT across multiple settings and model scales. In the Chameleon 7B setting (autoregressive text-and-image generation), MoT matches the dense baseline's performance using only 55.8\% of the FLOPs. When extended to include speech, MoT reaches speech performance comparable to the dense baseline with only 37.2\% of the FLOPs. In the Transfusion setting, where text and image are trained with different objectives, a 7B MoT model matches the image modality performance of the dense baseline with one third of the FLOPs, and a 760M MoT model outperforms a 1.4B dense baseline across key image generation metrics. System profiling further highlights MoT's practical benefits, achieving dense baseline image quality in 47.2\% of the wall-clock time and text quality in 75.6\% of the wall-clock time (measured on AWS p4de.24xlarge instances with NVIDIA A100 GPUs).

Mixture-of-Transformers: Eine spärliche und skalierbare Architektur für Multi-Modale Foundation-Modelle

Mixture-of-Transformers: A Sparse and Scalable Architecture for Multi-Modal Foundation Models

papers.abstract

Support