Het All-Seeing Project: Op weg naar panoptische visuele herkenning en begrip van de open wereld

The All-Seeing Project: Towards Panoptic Visual Recognition and Understanding of the Open World

August 3, 2023

Auteurs: Weiyun Wang, Min Shi, Qingyun Li, Wenhai Wang, Zhenhang Huang, Linjie Xing, Zhe Chen, Hao Li, Xizhou Zhu, Zhiguo Cao, Yushi Chen, Tong Lu, Jifeng Dai, Yu Qiao

cs.AI

Samenvatting

We presenteren het All-Seeing (AS) project: een grootschalige dataset en model voor het herkennen en begrijpen van alles in de open wereld. Met behulp van een schaalbare data-engine die menselijke feedback en efficiënte modellen in de loop integreert, creëren we een nieuwe dataset (AS-1B) met meer dan 1 miljard regio's die zijn geannoteerd met semantische tags, vraag-antwoordparen en gedetailleerde beschrijvingen. Het bestrijkt een breed scala aan 3,5 miljoen veelvoorkomende en zeldzame concepten in de echte wereld, en bevat 132,2 miljard tokens die de concepten en hun attributen beschrijven. Gebruikmakend van deze nieuwe dataset ontwikkelen we het All-Seeing model (ASM), een uniform raamwerk voor panoptische visuele herkenning en begrip. Het model wordt getraind met open-einde taalprompts en locaties, waardoor het kan generaliseren naar diverse visie- en taal taken met opmerkelijke zero-shot prestaties, waaronder regio-tekst retrieval, regioherkenning, beschrijvingen en vraag-antwoordtaken. We hopen dat dit project kan dienen als basis voor onderzoek naar vision-language kunstmatige algemene intelligentie. Modellen en de dataset zullen worden vrijgegeven op https://github.com/OpenGVLab/All-Seeing, en een demo is te zien op https://huggingface.co/spaces/OpenGVLab/all-seeing.

English

We present the All-Seeing (AS) project: a large-scale data and model for recognizing and understanding everything in the open world. Using a scalable data engine that incorporates human feedback and efficient models in the loop, we create a new dataset (AS-1B) with over 1 billion regions annotated with semantic tags, question-answering pairs, and detailed captions. It covers a wide range of 3.5 million common and rare concepts in the real world, and has 132.2 billion tokens that describe the concepts and their attributes. Leveraging this new dataset, we develop the All-Seeing model (ASM), a unified framework for panoptic visual recognition and understanding. The model is trained with open-ended language prompts and locations, which allows it to generalize to various vision and language tasks with remarkable zero-shot performance, including region-text retrieval, region recognition, captioning, and question-answering. We hope that this project can serve as a foundation for vision-language artificial general intelligence research. Models and the dataset shall be released at https://github.com/OpenGVLab/All-Seeing, and demo can be seen at https://huggingface.co/spaces/OpenGVLab/all-seeing.