Il Progetto All-Seeing: Verso il Riconoscimento e la Comprensione Panottica del Mondo Aperto

The All-Seeing Project: Towards Panoptic Visual Recognition and Understanding of the Open World

August 3, 2023

Autori: Weiyun Wang, Min Shi, Qingyun Li, Wenhai Wang, Zhenhang Huang, Linjie Xing, Zhe Chen, Hao Li, Xizhou Zhu, Zhiguo Cao, Yushi Chen, Tong Lu, Jifeng Dai, Yu Qiao

cs.AI

Abstract

Presentiamo il progetto All-Seeing (AS): un insieme di dati su larga scala e un modello per il riconoscimento e la comprensione di tutto ciò che esiste nel mondo aperto. Utilizzando un motore di dati scalabile che incorpora feedback umano e modelli efficienti in un ciclo iterativo, abbiamo creato un nuovo dataset (AS-1B) con oltre 1 miliardo di regioni annotate con tag semantici, coppie di domande e risposte, e descrizioni dettagliate. Questo dataset copre un'ampia gamma di 3,5 milioni di concetti comuni e rari nel mondo reale, e contiene 132,2 miliardi di token che descrivono i concetti e i loro attributi. Sfruttando questo nuovo dataset, abbiamo sviluppato il modello All-Seeing (ASM), un framework unificato per il riconoscimento e la comprensione visiva panottica. Il modello è addestrato con prompt linguistici aperti e posizioni, il che gli consente di generalizzare a vari compiti di visione e linguaggio con prestazioni zero-shot notevoli, tra cui il recupero testo-regione, il riconoscimento di regioni, la generazione di descrizioni e il question-answering. Speriamo che questo progetto possa servire come base per la ricerca sull'intelligenza artificiale generale visione-linguaggio. I modelli e il dataset saranno rilasciati su https://github.com/OpenGVLab/All-Seeing, e una demo è disponibile su https://huggingface.co/spaces/OpenGVLab/all-seeing.

English

We present the All-Seeing (AS) project: a large-scale data and model for recognizing and understanding everything in the open world. Using a scalable data engine that incorporates human feedback and efficient models in the loop, we create a new dataset (AS-1B) with over 1 billion regions annotated with semantic tags, question-answering pairs, and detailed captions. It covers a wide range of 3.5 million common and rare concepts in the real world, and has 132.2 billion tokens that describe the concepts and their attributes. Leveraging this new dataset, we develop the All-Seeing model (ASM), a unified framework for panoptic visual recognition and understanding. The model is trained with open-ended language prompts and locations, which allows it to generalize to various vision and language tasks with remarkable zero-shot performance, including region-text retrieval, region recognition, captioning, and question-answering. We hope that this project can serve as a foundation for vision-language artificial general intelligence research. Models and the dataset shall be released at https://github.com/OpenGVLab/All-Seeing, and demo can be seen at https://huggingface.co/spaces/OpenGVLab/all-seeing.