TroL: Attraversamento degli Strati per Modelli Linguistici e Visivi di Grandi Dimensioni

TroL: Traversal of Layers for Large Language and Vision Models

June 18, 2024

Autori: Byung-Kwan Lee, Sangyun Chung, Chae Won Kim, Beomchan Park, Yong Man Ro

cs.AI

Abstract

I modelli linguistici e visivi di grandi dimensioni (LLVM) sono stati guidati dal potere di generalizzazione dei grandi modelli linguistici (LLM) e dall'avvento della messa a punto visiva tramite istruzioni. Oltre a scalare direttamente queste dimensioni, tali modelli consentono agli LLVM di dimostrare prestazioni potenti nel linguaggio visivo (VL) coprendo una vasta gamma di compiti attraverso istruzioni in linguaggio naturale. Tuttavia, gli LLVM open-source esistenti che si comportano in modo paragonabile agli LLVM closed-source come GPT-4V sono spesso considerati troppo grandi (ad esempio, 26B, 34B e 110B parametri), con un numero maggiore di strati. Questi modelli di grandi dimensioni richiedono risorse costose e di fascia alta sia per l'addestramento che per l'inferenza. Per affrontare questo problema, presentiamo una nuova famiglia efficiente di LLVM con dimensioni di modello LLM di 1.8B, 3.8B e 7B, denominata Traversal of Layers (TroL), che consente il riutilizzo degli strati in modo token-wise. Questa tecnica di attraversamento degli strati simula l'effetto di guardare indietro e ripercorrere il flusso di risposta, aumentando il numero di strati di propagazione in avanti senza aggiungere fisicamente più strati. Dimostriamo che TroL utilizza un approccio semplice di attraversamento degli strati, ma supera in modo efficiente gli LLVM open-source con dimensioni di modello maggiori e rivaleggia con le prestazioni degli LLVM closed-source di dimensioni sostanziali.

English

Large language and vision models (LLVMs) have been driven by the generalization power of large language models (LLMs) and the advent of visual instruction tuning. Along with scaling them up directly, these models enable LLVMs to showcase powerful vision language (VL) performances by covering diverse tasks via natural language instructions. However, existing open-source LLVMs that perform comparably to closed-source LLVMs such as GPT-4V are often considered too large (e.g., 26B, 34B, and 110B parameters), having a larger number of layers. These large models demand costly, high-end resources for both training and inference. To address this issue, we present a new efficient LLVM family with 1.8B, 3.8B, and 7B LLM model sizes, Traversal of Layers (TroL), which enables the reuse of layers in a token-wise manner. This layer traversing technique simulates the effect of looking back and retracing the answering stream while increasing the number of forward propagation layers without physically adding more layers. We demonstrate that TroL employs a simple layer traversing approach yet efficiently outperforms the open-source LLVMs with larger model sizes and rivals the performances of the closed-source LLVMs with substantial sizes.