Fantasma Latente para Modelos de Lenguaje y Visión a Gran Escala

Phantom of Latent for Large Language and Vision Models

September 23, 2024

Autores: Byung-Kwan Lee, Sangyun Chung, Chae Won Kim, Beomchan Park, Yong Man Ro

cs.AI

Resumen

El éxito del ajuste de instrucciones visuales ha acelerado el desarrollo de grandes modelos de lenguaje y visión (LLVMs). Siguiendo las leyes de escala de los grandes modelos de lenguaje ajustados a instrucciones (LLMs), los LLVMs han aumentado aún más sus tamaños, alcanzando 26B, 34B e incluso 80B parámetros. Si bien este aumento en el tamaño del modelo ha generado ganancias significativas en rendimiento, exige considerablemente más recursos de hardware tanto para el entrenamiento como para la inferencia. En consecuencia, existe naturalmente una fuerte necesidad de LLVMs eficientes que logren el rendimiento de modelos más grandes siendo más pequeños en tamaño. Para satisfacer esta necesidad, presentamos una nueva familia eficiente de LLVMs con tamaños de modelo de 0.5B, 1.8B, 3.8B y 7B parámetros, Phantom, que mejora significativamente las capacidades de aprendizaje dentro de estructuras limitadas. Al aumentar temporalmente la dimensión oculta latente durante la autoatención de múltiples cabezas (MHSA), hacemos que los LLVMs se preparen para analizar y comprender mucho más conocimiento de visión-lenguaje en lo latente, sin aumentar sustancialmente los tamaños físicos de los modelos. Para maximizar su ventaja, introducimos la Optimización Phantom (PO) utilizando tanto el ajuste fino supervisado autoregresivo (SFT) como un concepto similar a la optimización de preferencias directas (DPO), que sigue efectivamente respuestas correctas mientras elimina las incorrectas y ambiguas. Phantom supera a numerosos LLVMs más grandes de código abierto y cerrado, posicionándose como una solución líder en el panorama de los LLVMs eficientes.

English

The success of visual instruction tuning has accelerated the development of large language and vision models (LLVMs). Following the scaling laws of instruction-tuned large language models (LLMs), LLVMs either have further increased their sizes, reaching 26B, 34B, and even 80B parameters. While this increase in model size has yielded significant performance gains, it demands substantially more hardware resources for both training and inference. Consequently, there naturally exists a strong need for efficient LLVMs that achieve the performance of larger models while being smaller in size. To achieve this need, we present a new efficient LLVM family with model sizes of 0.5B, 1.8B, 3.8B, and 7B parameters, Phantom, which significantly enhances learning capabilities within limited structures. By temporarily increasing the latent hidden dimension during multi-head self-attention (MHSA), we make LLVMs prepare to look and understand much more vision-language knowledge on the latent, without substantially increasing physical model sizes. To maximize its advantage, we introduce Phantom Optimization (PO) using both autoregressive supervised fine-tuning (SFT) and direct preference optimization (DPO)-like concept, which effectively follows correct answers while eliminating incorrect and ambiguous ones. Phantom outperforms numerous larger open- and closed-source LLVMs, positioning itself as a leading solution in the landscape of efficient LLVMs.