PaLI-3 : Modèles de vision et langage plus petits, plus rapides, plus performants

PaLI-3 Vision Language Models: Smaller, Faster, Stronger

October 13, 2023

Auteurs: Xi Chen, Xiao Wang, Lucas Beyer, Alexander Kolesnikov, Jialin Wu, Paul Voigtlaender, Basil Mustafa, Sebastian Goodman, Ibrahim Alabdulmohsin, Piotr Padlewski, Daniel Salz, Xi Xiong, Daniel Vlasic, Filip Pavetic, Keran Rong, Tianli Yu, Daniel Keysers, Xiaohua Zhai, Radu Soricut

cs.AI

Résumé

Cet article présente PaLI-3, un modèle de langage visuel (VLM) plus petit, plus rapide et plus performant, qui rivalise favorablement avec des modèles similaires 10 fois plus grands. Pour parvenir à cette performance élevée, nous comparons des modèles Vision Transformer (ViT) pré-entraînés à l'aide d'objectifs de classification à ceux pré-entraînés de manière contrastive (SigLIP). Nous constatons que, bien que légèrement moins performant sur les benchmarks standards de classification d'images, PaLI basé sur SigLIP montre une performance supérieure sur divers benchmarks multimodaux, en particulier sur la localisation et la compréhension de texte visuellement situé. Nous augmentons l'encodeur d'images SigLIP jusqu'à 2 milliards de paramètres, atteignant un nouvel état de l'art en matière de recherche multilingue intermodale. Nous espérons que PaLI-3, avec seulement 5 milliards de paramètres, ravivera la recherche sur les éléments fondamentaux des VLM complexes et pourrait alimenter une nouvelle génération de modèles à grande échelle.

English

This paper presents PaLI-3, a smaller, faster, and stronger vision language model (VLM) that compares favorably to similar models that are 10x larger. As part of arriving at this strong performance, we compare Vision Transformer (ViT) models pretrained using classification objectives to contrastively (SigLIP) pretrained ones. We find that, while slightly underperforming on standard image classification benchmarks, SigLIP-based PaLI shows superior performance across various multimodal benchmarks, especially on localization and visually-situated text understanding. We scale the SigLIP image encoder up to 2 billion parameters, and achieves a new state-of-the-art on multilingual cross-modal retrieval. We hope that PaLI-3, at only 5B parameters, rekindles research on fundamental pieces of complex VLMs, and could fuel a new generation of scaled-up models.