Fantasma Latente per Modelli Linguistici e Visivi di Grandi Dimensioni

Phantom of Latent for Large Language and Vision Models

September 23, 2024

Autori: Byung-Kwan Lee, Sangyun Chung, Chae Won Kim, Beomchan Park, Yong Man Ro

cs.AI

Abstract

Il successo dell'ottimizzazione dell'istruzione visiva ha accelerato lo sviluppo di grandi modelli linguistici e visivi (LLVM). Seguendo le leggi di ridimensionamento dei grandi modelli linguistici ottimizzati per l'istruzione (LLM), gli LLVM hanno ulteriormente aumentato le loro dimensioni, raggiungendo 26 miliardi, 34 miliardi e persino 80 miliardi di parametri. Sebbene questo aumento delle dimensioni del modello abbia portato a significativi miglioramenti delle prestazioni, richiede notevolmente più risorse hardware sia per l'addestramento che per l'inferenza. Di conseguenza, esiste naturalmente una forte necessità di LLVM efficienti che raggiungano le prestazioni dei modelli più grandi pur essendo di dimensioni più contenute. Per soddisfare questa esigenza, presentiamo una nuova famiglia efficiente di LLVM con dimensioni del modello di 0,5 miliardi, 1,8 miliardi, 3,8 miliardi e 7 miliardi di parametri, Phantom, che potenzia significativamente le capacità di apprendimento all'interno di strutture limitate. Aumentando temporaneamente la dimensione nascosta latente durante l'autoattenzione multi-testa (MHSA), facciamo sì che gli LLVM siano in grado di esaminare e comprendere molto più conoscenza visivo-linguistica sul latente, senza aumentare sostanzialmente le dimensioni fisiche del modello. Per massimizzare il suo vantaggio, introduciamo l'ottimizzazione Phantom (PO) utilizzando sia il fine-tuning supervisionato autoregressivo (SFT) che un concetto simile all'ottimizzazione delle preferenze dirette (DPO), che segue efficacemente le risposte corrette eliminando quelle sbagliate e ambigue. Phantom supera numerosi LLVM più grandi open e closed-source, posizionandosi come una soluzione leader nel panorama degli LLVM efficienti.

English

The success of visual instruction tuning has accelerated the development of large language and vision models (LLVMs). Following the scaling laws of instruction-tuned large language models (LLMs), LLVMs either have further increased their sizes, reaching 26B, 34B, and even 80B parameters. While this increase in model size has yielded significant performance gains, it demands substantially more hardware resources for both training and inference. Consequently, there naturally exists a strong need for efficient LLVMs that achieve the performance of larger models while being smaller in size. To achieve this need, we present a new efficient LLVM family with model sizes of 0.5B, 1.8B, 3.8B, and 7B parameters, Phantom, which significantly enhances learning capabilities within limited structures. By temporarily increasing the latent hidden dimension during multi-head self-attention (MHSA), we make LLVMs prepare to look and understand much more vision-language knowledge on the latent, without substantially increasing physical model sizes. To maximize its advantage, we introduce Phantom Optimization (PO) using both autoregressive supervised fine-tuning (SFT) and direct preference optimization (DPO)-like concept, which effectively follows correct answers while eliminating incorrect and ambiguous ones. Phantom outperforms numerous larger open- and closed-source LLVMs, positioning itself as a leading solution in the landscape of efficient LLVMs.