Das All-Seeing-Projekt: Auf dem Weg zur panoptischen visuellen Erkennung und zum Verständnis der offenen Welt

The All-Seeing Project: Towards Panoptic Visual Recognition and Understanding of the Open World

August 3, 2023

Autoren: Weiyun Wang, Min Shi, Qingyun Li, Wenhai Wang, Zhenhang Huang, Linjie Xing, Zhe Chen, Hao Li, Xizhou Zhu, Zhiguo Cao, Yushi Chen, Tong Lu, Jifeng Dai, Yu Qiao

cs.AI

Zusammenfassung

Wir präsentieren das All-Seeing (AS) Projekt: eine groß angelegte Daten- und Modellinitiative zur Erkennung und zum Verständnis aller Dinge in der offenen Welt. Mithilfe einer skalierbaren Daten-Engine, die menschliches Feedback und effiziente Modelle in den Prozess einbindet, erstellen wir einen neuen Datensatz (AS-1B) mit über 1 Milliarden annotierten Regionen, die mit semantischen Tags, Frage-Antwort-Paaren und detaillierten Beschreibungen versehen sind. Dieser Datensatz deckt ein breites Spektrum von 3,5 Millionen gängigen und seltenen Konzepten der realen Welt ab und umfasst 132,2 Milliarden Tokens, die die Konzepte und ihre Attribute beschreiben. Basierend auf diesem neuen Datensatz entwickeln wir das All-Seeing Modell (ASM), ein einheitliches Framework für panoptische visuelle Erkennung und Verständnis. Das Modell wird mit offenen Sprachprompts und Ortsangaben trainiert, was es ermöglicht, eine bemerkenswerte Zero-Shot-Leistung bei verschiedenen Vision- und Sprachaufgaben zu erzielen, einschließlich Region-Text-Retrieval, Regionenerkennung, Beschreibung und Frage-Antwort-Systemen. Wir hoffen, dass dieses Projekt als Grundlage für die Forschung zur visuell-sprachlichen künstlichen allgemeinen Intelligenz dienen kann. Die Modelle und der Datensatz werden unter https://github.com/OpenGVLab/All-Seeing veröffentlicht, und eine Demo ist unter https://huggingface.co/spaces/OpenGVLab/all-seeing verfügbar.

English

We present the All-Seeing (AS) project: a large-scale data and model for recognizing and understanding everything in the open world. Using a scalable data engine that incorporates human feedback and efficient models in the loop, we create a new dataset (AS-1B) with over 1 billion regions annotated with semantic tags, question-answering pairs, and detailed captions. It covers a wide range of 3.5 million common and rare concepts in the real world, and has 132.2 billion tokens that describe the concepts and their attributes. Leveraging this new dataset, we develop the All-Seeing model (ASM), a unified framework for panoptic visual recognition and understanding. The model is trained with open-ended language prompts and locations, which allows it to generalize to various vision and language tasks with remarkable zero-shot performance, including region-text retrieval, region recognition, captioning, and question-answering. We hope that this project can serve as a foundation for vision-language artificial general intelligence research. Models and the dataset shall be released at https://github.com/OpenGVLab/All-Seeing, and demo can be seen at https://huggingface.co/spaces/OpenGVLab/all-seeing.