El Proyecto All-Seeing: Hacia el Reconocimiento Visual Panóptico y la Comprensión del Mundo Abierto

The All-Seeing Project: Towards Panoptic Visual Recognition and Understanding of the Open World

August 3, 2023

Autores: Weiyun Wang, Min Shi, Qingyun Li, Wenhai Wang, Zhenhang Huang, Linjie Xing, Zhe Chen, Hao Li, Xizhou Zhu, Zhiguo Cao, Yushi Chen, Tong Lu, Jifeng Dai, Yu Qiao

cs.AI

Resumen

Presentamos el proyecto All-Seeing (AS): un conjunto de datos y un modelo a gran escala para reconocer y comprender todo en el mundo abierto. Utilizando un motor de datos escalable que incorpora retroalimentación humana y modelos eficientes en el ciclo, creamos un nuevo conjunto de datos (AS-1B) con más de mil millones de regiones anotadas con etiquetas semánticas, pares de preguntas y respuestas, y descripciones detalladas. Este conjunto abarca una amplia gama de 3.5 millones de conceptos comunes y raros en el mundo real, y contiene 132.2 mil millones de tokens que describen los conceptos y sus atributos. Aprovechando este nuevo conjunto de datos, desarrollamos el modelo All-Seeing (ASM), un marco unificado para el reconocimiento y comprensión visual panóptica. El modelo se entrena con indicaciones de lenguaje abierto y ubicaciones, lo que le permite generalizar a diversas tareas de visión y lenguaje con un rendimiento notable en escenarios de zero-shot, incluyendo la recuperación de texto-región, reconocimiento de regiones, generación de descripciones y preguntas y respuestas. Esperamos que este proyecto pueda servir como base para la investigación en inteligencia artificial general de visión y lenguaje. Los modelos y el conjunto de datos se publicarán en https://github.com/OpenGVLab/All-Seeing, y se puede ver una demostración en https://huggingface.co/spaces/OpenGVLab/all-seeing.

English

We present the All-Seeing (AS) project: a large-scale data and model for recognizing and understanding everything in the open world. Using a scalable data engine that incorporates human feedback and efficient models in the loop, we create a new dataset (AS-1B) with over 1 billion regions annotated with semantic tags, question-answering pairs, and detailed captions. It covers a wide range of 3.5 million common and rare concepts in the real world, and has 132.2 billion tokens that describe the concepts and their attributes. Leveraging this new dataset, we develop the All-Seeing model (ASM), a unified framework for panoptic visual recognition and understanding. The model is trained with open-ended language prompts and locations, which allows it to generalize to various vision and language tasks with remarkable zero-shot performance, including region-text retrieval, region recognition, captioning, and question-answering. We hope that this project can serve as a foundation for vision-language artificial general intelligence research. Models and the dataset shall be released at https://github.com/OpenGVLab/All-Seeing, and demo can be seen at https://huggingface.co/spaces/OpenGVLab/all-seeing.