UltraViT: 大規模視覚言語モデルのためのレイテンシ最適化オンデバイス視覚エンコーダ

要旨

大規模視覚言語モデル（LVLMs）は、その膨大な計算フットプリントに制約され、リソース制約のあるエッジデバイスへの展開が困難となっている。LVLMsを圧縮する取り組みは主に視覚トークンの削減や小規模言語モデルに集中しており、視覚エンコーダは概して見落とされ、通常はモノリシックで計算負荷の高い特徴抽出器として展開されている。さらに、デバイス上のレイテンシに直接最適化されたLVLMs向け視覚エンコーダを設計する試みはこれまで存在しない。本稿では、デバイス上の性能向けに明示的に設計・最適化されたLVLMs用視覚エンコーダ、UltraViTを提案する。具体的には、実際のデバイス上のレイテンシを考慮し、マクロブロックレベルで異種空間混合器を戦略的に統合・適応させるピラミッド型アーキテクチャを体系的に設計する。さらに、UltraViTを事前学習するために、新規な2段階生成事前学習戦略を提案する。すなわち、密な蒸留による豊かな空間特徴の育成と、それに続く容量混合型凍結LLMからの直接的な生成教師あり学習である。標準的な対照学習や自己教師あり学習と比較して、本事前学習は、その後のLVLM訓練における生成的多モーダルアライメントに必要な高レベル意味基盤をUltraViTに獲得させる上で、はるかに効果的であることを示す。広範な実験により、デバイス上のレイテンシを考慮した設計と、これに合わせた訓練戦略の組み合わせが、効率的なLVLMエンコーディングにおいて新たな最先端を確立し、既存のエンコーダ中心のベースラインを大幅に上回ると同時に、デバイス上で約1.7倍の速度で動作することを実証する。

English

Large Vision-Language Models (LVLMs) remain bottlenecked by massive computational footprints, precluding their deployment on resource-constrained edge devices. While efforts to compress LVLMs focus heavily on vision token reduction or smaller language models, the vision encoder is largely overlooked, typically deployed as a monolithic, computationally heavy feature extractor. Moreover, there is no previous effort that designs a vision encoder for LVLMs directly optimized for on-device latency. In this paper, we present UltraViT, a vision encoder for LVLMs, explicitly designed and optimized for on-device performance. Specifically, by taking into account real on-device latencies, we systematically design a pyramidal architecture that strategically integrates and adapts heterogeneous spatial mixers at the macro-block level. Furthermore, to pre-train UltraViT, we propose a novel two-stage generative pre-training strategy: cultivating rich spatial features via dense distillation, followed by direct generative supervision from a capacity-mixed frozen LLM. Compared to standard contrastive and SSL, we show that our pre-training is much more effective for achieving high-level semantic grounding for UltraViT needed for the subsequent generative multimodal alignment of LVLM training. Extensive experiments demonstrate that our on-device latency-informed design combined with our tailored training strategy establishes a new state-of-the-art for efficient LVLM encoding, significantly outperforming existing encoder-centric baselines while operating on-device at nearly 1.7xthe speed.