Phantom de Latent pour les Grands Modèles de Langage et de Vision

Phantom of Latent for Large Language and Vision Models

September 23, 2024

Auteurs: Byung-Kwan Lee, Sangyun Chung, Chae Won Kim, Beomchan Park, Yong Man Ro

cs.AI

Résumé

Le succès de l'ajustement des instructions visuelles a accéléré le développement de grands modèles de langage et de vision (LLVM). Suivant les lois d'échelle des grands modèles de langage ajustés aux instructions (LLMs), les LLVM ont encore augmenté leur taille, atteignant 26 milliards, 34 milliards, voire 80 milliards de paramètres. Alors que cette augmentation de la taille du modèle a entraîné des gains de performance significatifs, elle exige beaucoup plus de ressources matérielles pour l'entraînement et l'inférence. Par conséquent, il existe naturellement un fort besoin de LLVM efficaces qui atteignent les performances de modèles plus grands tout en étant plus petits en taille. Pour répondre à ce besoin, nous présentons une nouvelle famille efficace de LLVM avec des tailles de modèle de 0,5 milliard, 1,8 milliard, 3,8 milliards et 7 milliards de paramètres, Phantom, qui améliore significativement les capacités d'apprentissage au sein de structures limitées. En augmentant temporairement la dimension cachée latente lors de l'auto-attention multi-têtes (MHSA), nous permettons aux LLVM de se préparer à explorer et comprendre beaucoup plus de connaissances vision-langage sur le latent, sans augmenter de manière substantielle les tailles de modèle physiques. Pour maximiser son avantage, nous introduisons l'Optimisation Phantom (PO) en utilisant à la fois un réglage fin supervisé autoregressif (SFT) et un concept similaire à l'optimisation des préférences directes (DPO), qui suit efficacement les réponses correctes tout en éliminant les réponses incorrectes et ambiguës. Phantom surpasse de nombreux LLVMs plus grands en open source et en source fermée, se positionnant comme une solution de premier plan dans le paysage des LLVM efficaces.

English

The success of visual instruction tuning has accelerated the development of large language and vision models (LLVMs). Following the scaling laws of instruction-tuned large language models (LLMs), LLVMs either have further increased their sizes, reaching 26B, 34B, and even 80B parameters. While this increase in model size has yielded significant performance gains, it demands substantially more hardware resources for both training and inference. Consequently, there naturally exists a strong need for efficient LLVMs that achieve the performance of larger models while being smaller in size. To achieve this need, we present a new efficient LLVM family with model sizes of 0.5B, 1.8B, 3.8B, and 7B parameters, Phantom, which significantly enhances learning capabilities within limited structures. By temporarily increasing the latent hidden dimension during multi-head self-attention (MHSA), we make LLVMs prepare to look and understand much more vision-language knowledge on the latent, without substantially increasing physical model sizes. To maximize its advantage, we introduce Phantom Optimization (PO) using both autoregressive supervised fine-tuning (SFT) and direct preference optimization (DPO)-like concept, which effectively follows correct answers while eliminating incorrect and ambiguous ones. Phantom outperforms numerous larger open- and closed-source LLVMs, positioning itself as a leading solution in the landscape of efficient LLVMs.