大規模言語およびビジョンモデルの潜在空間のファントム

Phantom of Latent for Large Language and Vision Models

September 23, 2024

著者: Byung-Kwan Lee, Sangyun Chung, Chae Won Kim, Beomchan Park, Yong Man Ro

cs.AI

要旨

視覚指示チューニングの成功は、大規模言語およびビジョンモデル（LLVMs）の開発を加速させました。大規模言語モデル（LLMs）の指示に従うスケーリング則に従い、LLVMsはさらにサイズを拡大し、26B、34B、さらには80Bのパラメータに達しました。モデルサイズの増加は、大幅な性能向上をもたらしていますが、トレーニングと推論の両方においてかなりのハードウェアリソースを要求します。その結果、より小さなサイズでありながら大きなモデルの性能を達成する効率的なLLVMsへの強い需要が自然に存在しています。このニーズを満たすために、我々は、0.5B、1.8B、3.8B、および7Bのパラメータを持つ新しい効率的なLLVMファミリー、Phantomを提案します。Phantomは、限られた構造内で学習能力を大幅に向上させるもので、マルチヘッドセルフアテンション（MHSA）中に潜在的な隠れ次元を一時的に増やすことで、LLVMsが物理的モデルサイズを大幅に増やさずに、潜在的により多くのビジョン言語知識を見ることや理解する準備をします。その利点を最大限に活用するために、我々は、自己回帰教師付き微調整（SFT）およびダイレクトプリファレンス最適化（DPO）のような概念を使用したPhantom最適化（PO）を導入し、効果的に正しい回答に従いながら、不正確であったり曖昧な回答を排除します。Phantomは、多数のより大きなオープンソースおよびクローズドソースのLLVMsを凌駕し、効率的なLLVMsの領域において主要なソリューションとして位置付けられます。

English

The success of visual instruction tuning has accelerated the development of large language and vision models (LLVMs). Following the scaling laws of instruction-tuned large language models (LLMs), LLVMs either have further increased their sizes, reaching 26B, 34B, and even 80B parameters. While this increase in model size has yielded significant performance gains, it demands substantially more hardware resources for both training and inference. Consequently, there naturally exists a strong need for efficient LLVMs that achieve the performance of larger models while being smaller in size. To achieve this need, we present a new efficient LLVM family with model sizes of 0.5B, 1.8B, 3.8B, and 7B parameters, Phantom, which significantly enhances learning capabilities within limited structures. By temporarily increasing the latent hidden dimension during multi-head self-attention (MHSA), we make LLVMs prepare to look and understand much more vision-language knowledge on the latent, without substantially increasing physical model sizes. To maximize its advantage, we introduce Phantom Optimization (PO) using both autoregressive supervised fine-tuning (SFT) and direct preference optimization (DPO)-like concept, which effectively follows correct answers while eliminating incorrect and ambiguous ones. Phantom outperforms numerous larger open- and closed-source LLVMs, positioning itself as a leading solution in the landscape of efficient LLVMs.