TroL : Parcours des couches pour les grands modèles de langage et de vision

TroL: Traversal of Layers for Large Language and Vision Models

June 18, 2024

Auteurs: Byung-Kwan Lee, Sangyun Chung, Chae Won Kim, Beomchan Park, Yong Man Ro

cs.AI

Résumé

Les grands modèles de langage et de vision (LLVMs) ont été propulsés par la puissance de généralisation des grands modèles de langage (LLMs) et l'émergence du réglage par instructions visuelles. En plus de leur mise à l'échelle directe, ces modèles permettent aux LLVMs de démontrer des performances puissantes en langage visuel (VL) en couvrant des tâches variées via des instructions en langage naturel. Cependant, les LLVMs open-source existants, qui rivalisent avec les LLVMs propriétaires comme GPT-4V, sont souvent considérés comme trop volumineux (par exemple, 26B, 34B et 110B paramètres), avec un nombre élevé de couches. Ces grands modèles nécessitent des ressources coûteuses et haut de gamme pour l'entraînement et l'inférence. Pour résoudre ce problème, nous présentons une nouvelle famille de LLVMs efficaces avec des tailles de modèle LLM de 1,8B, 3,8B et 7B, appelée Traversal of Layers (TroL), qui permet la réutilisation des couches de manière token par token. Cette technique de traversée de couches simule l'effet de revenir en arrière et de retracer le flux de réponse tout en augmentant le nombre de couches de propagation avant sans ajouter physiquement plus de couches. Nous démontrons que TroL utilise une approche simple de traversée de couches, mais surpasse efficacement les LLVMs open-source de plus grande taille et rivalise avec les performances des LLVMs propriétaires de taille substantielle.

English

Large language and vision models (LLVMs) have been driven by the generalization power of large language models (LLMs) and the advent of visual instruction tuning. Along with scaling them up directly, these models enable LLVMs to showcase powerful vision language (VL) performances by covering diverse tasks via natural language instructions. However, existing open-source LLVMs that perform comparably to closed-source LLVMs such as GPT-4V are often considered too large (e.g., 26B, 34B, and 110B parameters), having a larger number of layers. These large models demand costly, high-end resources for both training and inference. To address this issue, we present a new efficient LLVM family with 1.8B, 3.8B, and 7B LLM model sizes, Traversal of Layers (TroL), which enables the reuse of layers in a token-wise manner. This layer traversing technique simulates the effect of looking back and retracing the answering stream while increasing the number of forward propagation layers without physically adding more layers. We demonstrate that TroL employs a simple layer traversing approach yet efficiently outperforms the open-source LLVMs with larger model sizes and rivals the performances of the closed-source LLVMs with substantial sizes.