Spook van Latente voor Grote Taal- en Visiemodellen

Phantom of Latent for Large Language and Vision Models

September 23, 2024

Auteurs: Byung-Kwan Lee, Sangyun Chung, Chae Won Kim, Beomchan Park, Yong Man Ro

cs.AI

Samenvatting

Het succes van visuele instructieafstemming heeft de ontwikkeling van grote taal- en visiemodellen (LLVM's) versneld. In navolging van de schalingswetten van instructie-afgestemde grote taalmodellen (LLM's) hebben LLVM's hun omvang verder vergroot, met parameters van 26B, 34B en zelfs 80B. Hoewel deze toename in modelgrootte aanzienlijke prestatieverbeteringen heeft opgeleverd, vereist het aanzienlijk meer hardwarebronnen voor zowel training als inferentie. Bijgevolg bestaat er natuurlijk een sterke behoefte aan efficiënte LLVM's die de prestaties van grotere modellen behalen terwijl ze kleiner van omvang zijn. Om aan deze behoefte te voldoen, presenteren we een nieuwe efficiënte LLVM-familie met modelgroottes van 0,5B, 1,8B, 3,8B en 7B parameters, genaamd Phantom, die aanzienlijk de leermogelijkheden binnen beperkte structuren verbetert. Door tijdelijk de latente verborgen dimensie te vergroten tijdens multi-head zelfaandacht (MHSA), bereiden we LLVM's voor om veel meer visie-taal kennis op de latente manier te bekijken en begrijpen, zonder de fysieke modelgroottes aanzienlijk te vergroten. Om het voordeel te maximaliseren, introduceren we Phantom Optimalisatie (PO) door zowel autoregressieve begeleide fijnafstemming (SFT) als directe voorkeurs optimalisatie (DPO)-achtig concept te gebruiken, wat effectief correcte antwoorden volgt terwijl onjuiste en dubbelzinnige antwoorden worden geëlimineerd. Phantom presteert beter dan talrijke grotere open- en gesloten-bron LLVM's en positioneert zichzelf als een toonaangevende oplossing in het landschap van efficiënte LLVM's.

English

The success of visual instruction tuning has accelerated the development of large language and vision models (LLVMs). Following the scaling laws of instruction-tuned large language models (LLMs), LLVMs either have further increased their sizes, reaching 26B, 34B, and even 80B parameters. While this increase in model size has yielded significant performance gains, it demands substantially more hardware resources for both training and inference. Consequently, there naturally exists a strong need for efficient LLVMs that achieve the performance of larger models while being smaller in size. To achieve this need, we present a new efficient LLVM family with model sizes of 0.5B, 1.8B, 3.8B, and 7B parameters, Phantom, which significantly enhances learning capabilities within limited structures. By temporarily increasing the latent hidden dimension during multi-head self-attention (MHSA), we make LLVMs prepare to look and understand much more vision-language knowledge on the latent, without substantially increasing physical model sizes. To maximize its advantage, we introduce Phantom Optimization (PO) using both autoregressive supervised fine-tuning (SFT) and direct preference optimization (DPO)-like concept, which effectively follows correct answers while eliminating incorrect and ambiguous ones. Phantom outperforms numerous larger open- and closed-source LLVMs, positioning itself as a leading solution in the landscape of efficient LLVMs.