Phantom der Latenten für Große Sprach- und Bildmodelle

Zusammenfassung

Der Erfolg der visuellen Anleitungsoptimierung hat die Entwicklung großer Sprach- und Bildmodelle (LLVMs) beschleunigt. Gemäß den Skalierungsgesetzen für anleitungsoptimierte große Sprachmodelle (LLMs) haben LLVMs ihre Größen weiter erhöht und erreichen nun 26 Mrd., 34 Mrd. und sogar 80 Mrd. Parameter. Während diese Zunahme der Modellgröße signifikante Leistungssteigerungen gebracht hat, erfordert sie deutlich mehr Hardware-Ressourcen sowohl für das Training als auch für die Inferenz. Folglich besteht ein starker Bedarf an effizienten LLVMs, die die Leistung größerer Modelle erzielen, aber kleiner sind. Um diesen Bedarf zu decken, präsentieren wir eine neue effiziente LLVM-Familie mit Modellgrößen von 0,5 Mrd., 1,8 Mrd., 3,8 Mrd. und 7 Mrd. Parametern, Phantom, die die Lernfähigkeiten innerhalb begrenzter Strukturen signifikant verbessert. Durch vorübergehende Erhöhung der latenten versteckten Dimension während der Mehrkopf-Selbst-Aufmerksamkeit (MHSA) bereiten wir LLVMs darauf vor, viel mehr Wissensinhalte in Bezug auf Vision und Sprache im Latenten zu betrachten und zu verstehen, ohne die physischen Modellgrößen wesentlich zu erhöhen. Um ihren Vorteil zu maximieren, führen wir die Phantom-Optimierung (PO) ein, die sowohl die autoregressive überwachte Feinabstimmung (SFT) als auch ein Konzept ähnlich der direkten Präferenzoptimierung (DPO) verwendet, um korrekte Antworten effektiv zu verfolgen und falsche und mehrdeutige Antworten zu eliminieren. Phantom übertrifft zahlreiche größere LLVMs aus Open- und Closed-Source-Quellen und positioniert sich als führende Lösung im Bereich effizienter LLVMs.

English

The success of visual instruction tuning has accelerated the development of large language and vision models (LLVMs). Following the scaling laws of instruction-tuned large language models (LLMs), LLVMs either have further increased their sizes, reaching 26B, 34B, and even 80B parameters. While this increase in model size has yielded significant performance gains, it demands substantially more hardware resources for both training and inference. Consequently, there naturally exists a strong need for efficient LLVMs that achieve the performance of larger models while being smaller in size. To achieve this need, we present a new efficient LLVM family with model sizes of 0.5B, 1.8B, 3.8B, and 7B parameters, Phantom, which significantly enhances learning capabilities within limited structures. By temporarily increasing the latent hidden dimension during multi-head self-attention (MHSA), we make LLVMs prepare to look and understand much more vision-language knowledge on the latent, without substantially increasing physical model sizes. To maximize its advantage, we introduce Phantom Optimization (PO) using both autoregressive supervised fine-tuning (SFT) and direct preference optimization (DPO)-like concept, which effectively follows correct answers while eliminating incorrect and ambiguous ones. Phantom outperforms numerous larger open- and closed-source LLVMs, positioning itself as a leading solution in the landscape of efficient LLVMs.

Phantom der Latenten für Große Sprach- und Bildmodelle

Phantom of Latent for Large Language and Vision Models

Zusammenfassung

Support