PaLI-3 Vision-Language-Modelle: Kleiner, Schneller, Stärker

PaLI-3 Vision Language Models: Smaller, Faster, Stronger

October 13, 2023

Autoren: Xi Chen, Xiao Wang, Lucas Beyer, Alexander Kolesnikov, Jialin Wu, Paul Voigtlaender, Basil Mustafa, Sebastian Goodman, Ibrahim Alabdulmohsin, Piotr Padlewski, Daniel Salz, Xi Xiong, Daniel Vlasic, Filip Pavetic, Keran Rong, Tianli Yu, Daniel Keysers, Xiaohua Zhai, Radu Soricut

cs.AI

Zusammenfassung

Dieses Paper stellt PaLI-3 vor, ein kleineres, schnelleres und leistungsstärkeres Vision-Language-Modell (VLM), das sich positiv gegenüber ähnlichen Modellen, die 10-mal größer sind, behauptet. Um diese starke Leistung zu erreichen, vergleichen wir Vision Transformer (ViT)-Modelle, die mit Klassifikationszielen vortrainiert wurden, mit solchen, die kontrastiv (SigLIP) vortrainiert wurden. Wir stellen fest, dass SigLIP-basiertes PaLI, obwohl es bei Standard-Benchmarks für Bildklassifikation leicht unterdurchschnittlich abschneidet, überlegene Leistung über verschiedene multimodale Benchmarks hinweg zeigt, insbesondere bei der Lokalisierung und dem visuell-situierten Textverständnis. Wir skalieren den SigLIP-Bildencoder auf bis zu 2 Milliarden Parameter und erreichen einen neuen State-of-the-Art bei der mehrsprachigen cross-modalen Retrieval. Wir hoffen, dass PaLI-3 mit nur 5 Milliarden Parametern die Forschung zu grundlegenden Komponenten komplexer VLMs neu belebt und eine neue Generation von hochskalierten Modellen antreiben könnte.

English

This paper presents PaLI-3, a smaller, faster, and stronger vision language model (VLM) that compares favorably to similar models that are 10x larger. As part of arriving at this strong performance, we compare Vision Transformer (ViT) models pretrained using classification objectives to contrastively (SigLIP) pretrained ones. We find that, while slightly underperforming on standard image classification benchmarks, SigLIP-based PaLI shows superior performance across various multimodal benchmarks, especially on localization and visually-situated text understanding. We scale the SigLIP image encoder up to 2 billion parameters, and achieves a new state-of-the-art on multilingual cross-modal retrieval. We hope that PaLI-3, at only 5B parameters, rekindles research on fundamental pieces of complex VLMs, and could fuel a new generation of scaled-up models.