PaLI-3 Vision Taalmodellen: Kleiner, Sneller, Sterker

PaLI-3 Vision Language Models: Smaller, Faster, Stronger

October 13, 2023

Auteurs: Xi Chen, Xiao Wang, Lucas Beyer, Alexander Kolesnikov, Jialin Wu, Paul Voigtlaender, Basil Mustafa, Sebastian Goodman, Ibrahim Alabdulmohsin, Piotr Padlewski, Daniel Salz, Xi Xiong, Daniel Vlasic, Filip Pavetic, Keran Rong, Tianli Yu, Daniel Keysers, Xiaohua Zhai, Radu Soricut

cs.AI

Samenvatting

Dit artikel presenteert PaLI-3, een kleiner, sneller en krachtiger vision-language model (VLM) dat gunstig afsteekt tegen vergelijkbare modellen die 10x groter zijn. Als onderdeel van het bereiken van deze sterke prestaties vergelijken we Vision Transformer (ViT)-modellen die zijn voorgetraind met classificatiedoelen met modellen die contrastief (SigLIP) zijn voorgetraind. We constateren dat, hoewel SigLIP-gebaseerde PaLI iets minder presteert op standaard beeldclassificatiebenchmarks, het superieure prestaties laat zien op verschillende multimodale benchmarks, met name op lokalisatie en visueel gesitueerd tekstbegrip. We schalen de SigLIP-beeldencoder op tot 2 miljard parameters en behalen een nieuwe state-of-the-art op het gebied van meertalige cross-modale retrievals. We hopen dat PaLI-3, met slechts 5B parameters, onderzoek naar fundamentele onderdelen van complexe VLMs nieuw leven inblaast en een nieuwe generatie opgeschaalde modellen kan aanjagen.

English

This paper presents PaLI-3, a smaller, faster, and stronger vision language model (VLM) that compares favorably to similar models that are 10x larger. As part of arriving at this strong performance, we compare Vision Transformer (ViT) models pretrained using classification objectives to contrastively (SigLIP) pretrained ones. We find that, while slightly underperforming on standard image classification benchmarks, SigLIP-based PaLI shows superior performance across various multimodal benchmarks, especially on localization and visually-situated text understanding. We scale the SigLIP image encoder up to 2 billion parameters, and achieves a new state-of-the-art on multilingual cross-modal retrieval. We hope that PaLI-3, at only 5B parameters, rekindles research on fundamental pieces of complex VLMs, and could fuel a new generation of scaled-up models.