UltraViT: 대규모 비전-언어 모델을 위한 지연 시간 최적화 온디바이스 비전 인코더

초록

대규모 시각-언어 모델(LVLM)은 막대한 계산 요구량으로 인해 여전히 병목 현상을 겪고 있으며, 이로 인해 자원이 제한된 엣지 디바이스에 배포하는 것이 어렵다. LVLM을 압축하려는 노력은 주로 시각 토큰 축소나 더 작은 언어 모델에 집중되어 있는 반면, 시각 인코더는 대부분 간과되어 전형적으로 단일 구조의 계산 집약적 특징 추출기로 배포된다. 더욱이, 온디바이스 지연 시간에 직접 최적화된 LVLM용 시각 인코더를 설계한 이전 연구는 전무하다. 본 논문에서는 온디바이스 성능을 위해 명시적으로 설계 및 최적화된 LVLM용 시각 인코더인 UltraViT를 제시한다. 구체적으로, 실제 온디바이스 지연 시간을 고려하여 매크로 블록 수준에서 이종 공간 혼합기를 전략적으로 통합 및 적응시키는 피라미드 구조를 체계적으로 설계한다. 또한, UltraViT를 사전 학습하기 위해 새로운 2단계 생성적 사전 학습 전략을 제안한다: 밀집 증류를 통해 풍부한 공간 특징을 배양한 후, 용량 혼합 동결 대규모 언어 모델(LLM)로부터 직접적인 생성적 감독을 받는 방식이다. 표준 대조 학습 및 자기 주도 학습(SSL)과 비교하여, 본 제안 사전 학습 방법이 이후 LVLM 훈련의 생성적 다중 모드 정렬에 필요한 UltraViT의 고수준 의미적 기반을 달성하는 데 훨씬 더 효과적임을 보여준다. 광범위한 실험을 통해 온디바이스 지연 시간을 고려한 설계와 맞춤형 훈련 전략이 효율적인 LVLM 인코딩에서 새로운 최첨단을 수립하며, 기존 인코더 중심 기준선을 크게 능가하면서도 온디바이스에서 거의 1.7배 빠른 속도로 동작함을 입증한다.

English

Large Vision-Language Models (LVLMs) remain bottlenecked by massive computational footprints, precluding their deployment on resource-constrained edge devices. While efforts to compress LVLMs focus heavily on vision token reduction or smaller language models, the vision encoder is largely overlooked, typically deployed as a monolithic, computationally heavy feature extractor. Moreover, there is no previous effort that designs a vision encoder for LVLMs directly optimized for on-device latency. In this paper, we present UltraViT, a vision encoder for LVLMs, explicitly designed and optimized for on-device performance. Specifically, by taking into account real on-device latencies, we systematically design a pyramidal architecture that strategically integrates and adapts heterogeneous spatial mixers at the macro-block level. Furthermore, to pre-train UltraViT, we propose a novel two-stage generative pre-training strategy: cultivating rich spatial features via dense distillation, followed by direct generative supervision from a capacity-mixed frozen LLM. Compared to standard contrastive and SSL, we show that our pre-training is much more effective for achieving high-level semantic grounding for UltraViT needed for the subsequent generative multimodal alignment of LVLM training. Extensive experiments demonstrate that our on-device latency-informed design combined with our tailored training strategy establishes a new state-of-the-art for efficient LVLM encoding, significantly outperforming existing encoder-centric baselines while operating on-device at nearly 1.7xthe speed.