TroL: 대규모 언어 및 비전 모델을 위한 계층 순회

초록

대규모 언어 및 비전 모델(LLVM)은 대규모 언어 모델(LLM)의 일반화 능력과 시각적 명령 튜닝의 등장에 의해 주도되어 왔습니다. 이러한 모델을 직접적으로 확장하는 것과 함께, 자연어 명령을 통해 다양한 작업을 다루며 강력한 시각 언어(VL) 성능을 보여줄 수 있게 되었습니다. 그러나 GPT-4V와 같은 폐쇄형 LLVM에 필적하는 성능을 보이는 기존의 오픈소스 LLVM은 종종 너무 큰 규모(예: 26B, 34B, 110B 파라미터)와 더 많은 층을 가지고 있어, 훈련 및 추론에 고가의 고성능 자원을 요구합니다. 이러한 문제를 해결하기 위해, 우리는 1.8B, 3.8B, 7B 규모의 LLM을 가진 새로운 효율적인 LLVM 패밀리인 Traversal of Layers(TroL)를 제안합니다. 이는 토큰 단위로 층을 재사용할 수 있게 하는 기술로, 추가적인 물리적 층을 늘리지 않으면서도 순전파 층의 수를 증가시키며 답변 스트림을 되돌아보고 재추적하는 효과를 시뮬레이션합니다. 우리는 TroL이 단순한 층 순회 접근법을 사용하면서도 더 큰 규모의 오픈소스 LLVM을 능가하고, 상당한 규모의 폐쇄형 LLVM과도 경쟁할 수 있는 성능을 보임을 입증합니다.

English

Large language and vision models (LLVMs) have been driven by the generalization power of large language models (LLMs) and the advent of visual instruction tuning. Along with scaling them up directly, these models enable LLVMs to showcase powerful vision language (VL) performances by covering diverse tasks via natural language instructions. However, existing open-source LLVMs that perform comparably to closed-source LLVMs such as GPT-4V are often considered too large (e.g., 26B, 34B, and 110B parameters), having a larger number of layers. These large models demand costly, high-end resources for both training and inference. To address this issue, we present a new efficient LLVM family with 1.8B, 3.8B, and 7B LLM model sizes, Traversal of Layers (TroL), which enables the reuse of layers in a token-wise manner. This layer traversing technique simulates the effect of looking back and retracing the answering stream while increasing the number of forward propagation layers without physically adding more layers. We demonstrate that TroL employs a simple layer traversing approach yet efficiently outperforms the open-source LLVMs with larger model sizes and rivals the performances of the closed-source LLVMs with substantial sizes.

TroL: 대규모 언어 및 비전 모델을 위한 계층 순회

TroL: Traversal of Layers for Large Language and Vision Models

초록

Support