PaLI-3 Modelli Visione-Linguaggio: Più Piccoli, Più Veloci, Più Potenti

PaLI-3 Vision Language Models: Smaller, Faster, Stronger

October 13, 2023

Autori: Xi Chen, Xiao Wang, Lucas Beyer, Alexander Kolesnikov, Jialin Wu, Paul Voigtlaender, Basil Mustafa, Sebastian Goodman, Ibrahim Alabdulmohsin, Piotr Padlewski, Daniel Salz, Xi Xiong, Daniel Vlasic, Filip Pavetic, Keran Rong, Tianli Yu, Daniel Keysers, Xiaohua Zhai, Radu Soricut

cs.AI

Abstract

Questo articolo presenta PaLI-3, un modello vision-language (VLM) più piccolo, veloce e potente che si confronta favorevolmente con modelli simili 10 volte più grandi. Come parte del processo per raggiungere questa prestazione elevata, confrontiamo modelli Vision Transformer (ViT) pre-addestrati utilizzando obiettivi di classificazione con quelli pre-addestrati in modo contrastivo (SigLIP). Scopriamo che, pur ottenendo prestazioni leggermente inferiori sui benchmark standard di classificazione delle immagini, PaLI basato su SigLIP mostra prestazioni superiori su vari benchmark multimodali, in particolare sulla localizzazione e sulla comprensione del testo situato visivamente. Scaliamo l'encoder di immagini SigLIP fino a 2 miliardi di parametri e raggiungiamo un nuovo stato dell'arte nel recupero cross-modale multilingue. Speriamo che PaLI-3, con soli 5 miliardi di parametri, ravvivi la ricerca sui componenti fondamentali dei VLM complessi e possa alimentare una nuova generazione di modelli su larga scala.

English

This paper presents PaLI-3, a smaller, faster, and stronger vision language model (VLM) that compares favorably to similar models that are 10x larger. As part of arriving at this strong performance, we compare Vision Transformer (ViT) models pretrained using classification objectives to contrastively (SigLIP) pretrained ones. We find that, while slightly underperforming on standard image classification benchmarks, SigLIP-based PaLI shows superior performance across various multimodal benchmarks, especially on localization and visually-situated text understanding. We scale the SigLIP image encoder up to 2 billion parameters, and achieves a new state-of-the-art on multilingual cross-modal retrieval. We hope that PaLI-3, at only 5B parameters, rekindles research on fundamental pieces of complex VLMs, and could fuel a new generation of scaled-up models.