PaLI-3 視覚言語モデル：より小型、高速、強力

要旨

本論文では、PaLI-3を紹介する。これは、より小型で高速かつ強力な視覚言語モデル（VLM）であり、10倍の規模を持つ類似モデルと比較しても優れた性能を示す。この高い性能を実現する過程で、分類目的で事前学習されたVision Transformer（ViT）モデルと、対照的（SigLIP）に事前学習されたモデルを比較した。その結果、標準的な画像分類ベンチマークではやや性能が劣るものの、SigLIPベースのPaLIは、特にローカライゼーションや視覚に基づくテキスト理解を含む様々なマルチモーダルベンチマークで優れた性能を発揮することがわかった。SigLIP画像エンコーダを20億パラメータまでスケールアップし、多言語クロスモーダル検索において新たな最先端を達成した。わずか50億パラメータのPaLI-3が、複雑なVLMの基本的な構成要素に関する研究を再燃させ、新たな世代のスケールアップモデルを促進することを期待している。

English

This paper presents PaLI-3, a smaller, faster, and stronger vision language model (VLM) that compares favorably to similar models that are 10x larger. As part of arriving at this strong performance, we compare Vision Transformer (ViT) models pretrained using classification objectives to contrastively (SigLIP) pretrained ones. We find that, while slightly underperforming on standard image classification benchmarks, SigLIP-based PaLI shows superior performance across various multimodal benchmarks, especially on localization and visually-situated text understanding. We scale the SigLIP image encoder up to 2 billion parameters, and achieves a new state-of-the-art on multilingual cross-modal retrieval. We hope that PaLI-3, at only 5B parameters, rekindles research on fundamental pieces of complex VLMs, and could fuel a new generation of scaled-up models.

PaLI-3 視覚言語モデル：より小型、高速、強力

PaLI-3 Vision Language Models: Smaller, Faster, Stronger

要旨

Support