PaLI-3: Модели обработки визуальной информации и языка — меньше, быстрее, мощнее

PaLI-3 Vision Language Models: Smaller, Faster, Stronger

October 13, 2023

Авторы: Xi Chen, Xiao Wang, Lucas Beyer, Alexander Kolesnikov, Jialin Wu, Paul Voigtlaender, Basil Mustafa, Sebastian Goodman, Ibrahim Alabdulmohsin, Piotr Padlewski, Daniel Salz, Xi Xiong, Daniel Vlasic, Filip Pavetic, Keran Rong, Tianli Yu, Daniel Keysers, Xiaohua Zhai, Radu Soricut

cs.AI

Аннотация

В данной статье представлена модель PaLI-3 — более компактная, быстрая и мощная модель обработки визуальной информации и языка (VLM), которая демонстрирует конкурентоспособные результаты по сравнению с аналогичными моделями, в 10 раз превосходящими её по размеру. Для достижения таких высоких показателей мы сравниваем модели Vision Transformer (ViT), предобученные с использованием классификационных задач, с моделями, предобученными контрастным методом (SigLIP). Мы обнаружили, что, хотя SigLIP-версия PaLI немного уступает на стандартных бенчмарках классификации изображений, она показывает превосходные результаты на различных мультимодальных тестах, особенно в задачах локализации и понимания текста в визуальном контексте. Мы масштабировали кодировщик изображений SigLIP до 2 миллиардов параметров и достигли нового рекорда в задаче мультиязычного кросс-модального поиска. Мы надеемся, что PaLI-3, имея всего 5 миллиардов параметров, вдохновит исследования фундаментальных компонентов сложных VLM и станет основой для нового поколения масштабируемых моделей.

English

This paper presents PaLI-3, a smaller, faster, and stronger vision language model (VLM) that compares favorably to similar models that are 10x larger. As part of arriving at this strong performance, we compare Vision Transformer (ViT) models pretrained using classification objectives to contrastively (SigLIP) pretrained ones. We find that, while slightly underperforming on standard image classification benchmarks, SigLIP-based PaLI shows superior performance across various multimodal benchmarks, especially on localization and visually-situated text understanding. We scale the SigLIP image encoder up to 2 billion parameters, and achieves a new state-of-the-art on multilingual cross-modal retrieval. We hope that PaLI-3, at only 5B parameters, rekindles research on fundamental pieces of complex VLMs, and could fuel a new generation of scaled-up models.