O Projeto All-Seeing: Rumo ao Reconhecimento Visual Panóptico e à Compreensão do Mundo Aberto

The All-Seeing Project: Towards Panoptic Visual Recognition and Understanding of the Open World

August 3, 2023

Autores: Weiyun Wang, Min Shi, Qingyun Li, Wenhai Wang, Zhenhang Huang, Linjie Xing, Zhe Chen, Hao Li, Xizhou Zhu, Zhiguo Cao, Yushi Chen, Tong Lu, Jifeng Dai, Yu Qiao

cs.AI

Resumo

Apresentamos o projeto All-Seeing (AS): um modelo e conjunto de dados em larga escala para reconhecer e compreender tudo no mundo aberto. Utilizando um mecanismo de dados escalável que incorpora feedback humano e modelos eficientes em loop, criamos um novo conjunto de dados (AS-1B) com mais de 1 bilhão de regiões anotadas com tags semânticas, pares de perguntas e respostas, e legendas detalhadas. Ele abrange uma ampla gama de 3,5 milhões de conceitos comuns e raros do mundo real, e possui 132,2 bilhões de tokens que descrevem os conceitos e seus atributos. Aproveitando esse novo conjunto de dados, desenvolvemos o modelo All-Seeing (ASM), uma estrutura unificada para reconhecimento e compreensão visual panóptica. O modelo é treinado com prompts de linguagem abertos e localizações, o que permite que ele generalize para várias tarefas de visão e linguagem com desempenho zero-shot notável, incluindo recuperação de texto-região, reconhecimento de regiões, legendagem e perguntas e respostas. Esperamos que este projeto possa servir como base para pesquisas em inteligência artificial geral de visão e linguagem. Os modelos e o conjunto de dados serão liberados em https://github.com/OpenGVLab/All-Seeing, e uma demonstração pode ser vista em https://huggingface.co/spaces/OpenGVLab/all-seeing.

English

We present the All-Seeing (AS) project: a large-scale data and model for recognizing and understanding everything in the open world. Using a scalable data engine that incorporates human feedback and efficient models in the loop, we create a new dataset (AS-1B) with over 1 billion regions annotated with semantic tags, question-answering pairs, and detailed captions. It covers a wide range of 3.5 million common and rare concepts in the real world, and has 132.2 billion tokens that describe the concepts and their attributes. Leveraging this new dataset, we develop the All-Seeing model (ASM), a unified framework for panoptic visual recognition and understanding. The model is trained with open-ended language prompts and locations, which allows it to generalize to various vision and language tasks with remarkable zero-shot performance, including region-text retrieval, region recognition, captioning, and question-answering. We hope that this project can serve as a foundation for vision-language artificial general intelligence research. Models and the dataset shall be released at https://github.com/OpenGVLab/All-Seeing, and demo can be seen at https://huggingface.co/spaces/OpenGVLab/all-seeing.