VLsI: 大規模から小規模のビジョン言語モデルにおける層間相互作用の言語化

VLsI: Verbalized Layers-to-Interactions from Large to Small Vision Language Models

December 2, 2024

著者: Byung-Kwan Lee, Ryo Hachiuma, Yu-Chiang Frank Wang, Yong Man Ro, Yueh-Hua Wu

cs.AI

要旨

最近、GPT-4Vなどのクローズドソースのビジョン言語モデル（VLMs）から高品質な視覚指示チューニングサンプルが急増し、さまざまなモデルサイズでオープンソースのVLMsのリリースが加速しました。ただし、大きなモデルを使用してパフォーマンスを向上させるためにVLMsをスケーリングすることは、特にモバイルプラットフォームやロボットなどのリソースに制約のあるデバイスに展開する際に、著しい計算上の課題をもたらします。この課題に対処するために、私たちはVLsI：Verbalized Layers-to-Interactionsを提案します。これは、2Bおよび7Bのモデルサイズでの新しいVLMファミリーであり、効率を優先しつつ精度を損なうことなく設計されています。VLsIは、ユニークな層別の蒸留プロセスを活用し、各層から自然言語空間への特徴のマッピングを可能にする中間の「バーバライザー」を導入することで、小さなVLMsが大きなVLMsの推論プロセスと柔軟に整合できるようにしています。このアプローチは、出力の模倣によく見られるトレーニングの不安定性を緩和し、典型的な最終層のチューニングを超えて、小さなVLMsの層別の進行を大きなVLMsと整合させることによって、トレーニングの安定性を向上させます。私たちは、VLsIを10の困難なビジョン言語ベンチマークで検証し、モデルのスケーリング、統合、またはアーキテクチャの変更を必要とせずに、GPT-4Vよりも顕著なパフォーマンス向上（2Bでは11.0％、7Bでは17.4％）を達成しました。

English

The recent surge in high-quality visual instruction tuning samples from closed-source vision-language models (VLMs) such as GPT-4V has accelerated the release of open-source VLMs across various model sizes. However, scaling VLMs to improve performance using larger models brings significant computational challenges, especially for deployment on resource-constrained devices like mobile platforms and robots. To address this, we propose VLsI: Verbalized Layers-to-Interactions, a new VLM family in 2B and 7B model sizes, which prioritizes efficiency without compromising accuracy. VLsI leverages a unique, layer-wise distillation process, introducing intermediate "verbalizers" that map features from each layer to natural language space, allowing smaller VLMs to flexibly align with the reasoning processes of larger VLMs. This approach mitigates the training instability often encountered in output imitation and goes beyond typical final-layer tuning by aligning the small VLMs' layer-wise progression with that of the large ones. We validate VLsI across ten challenging vision-language benchmarks, achieving notable performance gains (11.0% for 2B and 17.4% for 7B) over GPT-4V without the need for model scaling, merging, or architectural changes.