Modelos de Lenguaje y Visión PaLI-3: Más Pequeños, Más Rápidos, Más Potentes

PaLI-3 Vision Language Models: Smaller, Faster, Stronger

October 13, 2023

Autores: Xi Chen, Xiao Wang, Lucas Beyer, Alexander Kolesnikov, Jialin Wu, Paul Voigtlaender, Basil Mustafa, Sebastian Goodman, Ibrahim Alabdulmohsin, Piotr Padlewski, Daniel Salz, Xi Xiong, Daniel Vlasic, Filip Pavetic, Keran Rong, Tianli Yu, Daniel Keysers, Xiaohua Zhai, Radu Soricut

cs.AI

Resumen

Este artículo presenta PaLI-3, un modelo de lenguaje visual (VLM) más pequeño, rápido y potente que se compara favorablemente con modelos similares 10 veces más grandes. Como parte del proceso para alcanzar este alto rendimiento, comparamos modelos de Vision Transformer (ViT) preentrenados con objetivos de clasificación frente a aquellos preentrenados de manera contrastiva (SigLIP). Descubrimos que, aunque ligeramente inferior en benchmarks estándar de clasificación de imágenes, PaLI basado en SigLIP muestra un rendimiento superior en varios benchmarks multimodales, especialmente en localización y comprensión de texto situado visualmente. Escalamos el codificador de imágenes SigLIP hasta 2 mil millones de parámetros y logramos un nuevo estado del arte en recuperación cross-modal multilingüe. Esperamos que PaLI-3, con solo 5 mil millones de parámetros, reavive la investigación sobre los componentes fundamentales de los VLM complejos y pueda impulsar una nueva generación de modelos escalados.

English

This paper presents PaLI-3, a smaller, faster, and stronger vision language model (VLM) that compares favorably to similar models that are 10x larger. As part of arriving at this strong performance, we compare Vision Transformer (ViT) models pretrained using classification objectives to contrastively (SigLIP) pretrained ones. We find that, while slightly underperforming on standard image classification benchmarks, SigLIP-based PaLI shows superior performance across various multimodal benchmarks, especially on localization and visually-situated text understanding. We scale the SigLIP image encoder up to 2 billion parameters, and achieves a new state-of-the-art on multilingual cross-modal retrieval. We hope that PaLI-3, at only 5B parameters, rekindles research on fundamental pieces of complex VLMs, and could fuel a new generation of scaled-up models.