PaLI-X: Zur Skalierung eines mehrsprachigen Vision- und Sprachmodells
PaLI-X: On Scaling up a Multilingual Vision and Language Model
May 29, 2023
Autoren: Xi Chen, Josip Djolonga, Piotr Padlewski, Basil Mustafa, Soravit Changpinyo, Jialin Wu, Carlos Riquelme Ruiz, Sebastian Goodman, Xiao Wang, Yi Tay, Siamak Shakeri, Mostafa Dehghani, Daniel Salz, Mario Lucic, Michael Tschannen, Arsha Nagrani, Hexiang Hu, Mandar Joshi, Bo Pang, Ceslee Montgomery, Paulina Pietrzyk, Marvin Ritter, AJ Piergiovanni, Matthias Minderer, Filip Pavetic, Austin Waters, Gang Li, Ibrahim Alabdulmohsin, Lucas Beyer, Julien Amelot, Kenton Lee, Andreas Peter Steiner, Yang Li, Daniel Keysers, Anurag Arnab, Yuanzhong Xu, Keran Rong, Alexander Kolesnikov, Mojtaba Seyedhosseini, Anelia Angelova, Xiaohua Zhai, Neil Houlsby, Radu Soricut
cs.AI
Zusammenfassung
Wir präsentieren das Trainingsrezept und die Ergebnisse der Skalierung von PaLI-X, einem multilingualen Modell für Vision und Sprache, sowohl in Bezug auf die Größe der Komponenten als auch auf die Breite der Trainingsaufgabenmischung. Unser Modell erreicht neue Leistungsniveaus bei einer Vielzahl von unterschiedlichen und komplexen Aufgaben, darunter mehrere bildbasierte Beschreibungs- und Frage-Antwort-Aufgaben, bildbasiertes Dokumentenverständnis und Few-Shot-Lernen (im Kontext), sowie Objekterkennung, Video-Frage-Antworten und Videobeschreibungen. PaLI-X setzt neue Maßstäbe auf den meisten betrachteten Benchmarks für Vision und Sprache (mehr als 25). Schließlich beobachten wir aufkommende Fähigkeiten, wie komplexes Zählen und multilinguale Objekterkennung, Aufgaben, die nicht explizit in der Trainingsmischung enthalten sind.
English
We present the training recipe and results of scaling up PaLI-X, a
multilingual vision and language model, both in terms of size of the components
and the breadth of its training task mixture. Our model achieves new levels of
performance on a wide-range of varied and complex tasks, including multiple
image-based captioning and question-answering tasks, image-based document
understanding and few-shot (in-context) learning, as well as object detection,
video question answering, and video captioning. PaLI-X advances the
state-of-the-art on most vision-and-language benchmarks considered (25+ of
them). Finally, we observe emerging capabilities, such as complex counting and
multilingual object detection, tasks that are not explicitly in the training
mix.