PaliGemma: Een veelzijdige 3B VLM voor overdracht
PaliGemma: A versatile 3B VLM for transfer
July 10, 2024
Auteurs: Lucas Beyer, Andreas Steiner, André Susano Pinto, Alexander Kolesnikov, Xiao Wang, Daniel Salz, Maxim Neumann, Ibrahim Alabdulmohsin, Michael Tschannen, Emanuele Bugliarello, Thomas Unterthiner, Daniel Keysers, Skanda Koppula, Fangyu Liu, Adam Grycner, Alexey Gritsenko, Neil Houlsby, Manoj Kumar, Keran Rong, Julian Eisenschlos, Rishabh Kabra, Matthias Bauer, Matko Bošnjak, Xi Chen, Matthias Minderer, Paul Voigtlaender, Ioana Bica, Ivana Balazevic, Joan Puigcerver, Pinelopi Papalampidi, Olivier Henaff, Xi Xiong, Radu Soricut, Jeremiah Harmsen, Xiaohua Zhai
cs.AI
Samenvatting
PaliGemma is een open Vision-Language Model (VLM) dat gebaseerd is op de SigLIP-So400m vision encoder en het Gemma-2B taalmodel. Het is getraind om een veelzijdig en breed geïnformeerd basismodel te zijn dat effectief is om over te dragen. Het behaalt sterke prestaties op een breed scala aan open-wereldtaken. We evalueren PaliGemma op bijna 40 diverse taken, waaronder standaard VLM-benchmarks, maar ook meer gespecialiseerde taken zoals remote sensing en segmentatie.
English
PaliGemma is an open Vision-Language Model (VLM) that is based on the
SigLIP-So400m vision encoder and the Gemma-2B language model. It is trained to
be a versatile and broadly knowledgeable base model that is effective to
transfer. It achieves strong performance on a wide variety of open-world tasks.
We evaluate PaliGemma on almost 40 diverse tasks including standard VLM
benchmarks, but also more specialized tasks such as remote-sensing and
segmentation.