Le projet All-Seeing : Vers une reconnaissance visuelle panoptique et une compréhension du monde ouvert

The All-Seeing Project: Towards Panoptic Visual Recognition and Understanding of the Open World

August 3, 2023

Auteurs: Weiyun Wang, Min Shi, Qingyun Li, Wenhai Wang, Zhenhang Huang, Linjie Xing, Zhe Chen, Hao Li, Xizhou Zhu, Zhiguo Cao, Yushi Chen, Tong Lu, Jifeng Dai, Yu Qiao

cs.AI

Résumé

Nous présentons le projet All-Seeing (AS) : une base de données et un modèle à grande échelle pour la reconnaissance et la compréhension de tout élément dans le monde ouvert. En utilisant un moteur de données évolutif qui intègre des retours humains et des modèles efficaces en boucle, nous créons un nouveau jeu de données (AS-1B) contenant plus d'un milliard de régions annotées avec des étiquettes sémantiques, des paires question-réponse et des descriptions détaillées. Il couvre un large éventail de 3,5 millions de concepts communs et rares dans le monde réel, et contient 132,2 milliards de tokens décrivant les concepts et leurs attributs. En exploitant ce nouveau jeu de données, nous développons le modèle All-Seeing (ASM), un cadre unifié pour la reconnaissance et la compréhension visuelle panoptique. Le modèle est entraîné avec des invites linguistiques ouvertes et des localisations, ce qui lui permet de généraliser à diverses tâches de vision et de langage avec une performance remarquable en zero-shot, incluant la recherche texte-région, la reconnaissance de régions, la génération de descriptions et la réponse à des questions. Nous espérons que ce projet pourra servir de fondement à la recherche sur l'intelligence artificielle générale en vision et langage. Les modèles et le jeu de données seront publiés sur https://github.com/OpenGVLab/All-Seeing, et une démonstration est disponible sur https://huggingface.co/spaces/OpenGVLab/all-seeing.

English

We present the All-Seeing (AS) project: a large-scale data and model for recognizing and understanding everything in the open world. Using a scalable data engine that incorporates human feedback and efficient models in the loop, we create a new dataset (AS-1B) with over 1 billion regions annotated with semantic tags, question-answering pairs, and detailed captions. It covers a wide range of 3.5 million common and rare concepts in the real world, and has 132.2 billion tokens that describe the concepts and their attributes. Leveraging this new dataset, we develop the All-Seeing model (ASM), a unified framework for panoptic visual recognition and understanding. The model is trained with open-ended language prompts and locations, which allows it to generalize to various vision and language tasks with remarkable zero-shot performance, including region-text retrieval, region recognition, captioning, and question-answering. We hope that this project can serve as a foundation for vision-language artificial general intelligence research. Models and the dataset shall be released at https://github.com/OpenGVLab/All-Seeing, and demo can be seen at https://huggingface.co/spaces/OpenGVLab/all-seeing.