オールシーイングプロジェクト：開放世界のパノプティック視覚認識と理解に向けて

要旨

私たちは「All-Seeing（AS）」プロジェクトを紹介します。これは、オープンワールドにおけるあらゆるものを認識し理解するための大規模なデータとモデルです。人間のフィードバックと効率的なモデルをループに組み込んだスケーラブルなデータエンジンを使用して、10億以上の領域にセマンティックタグ、質問応答ペア、詳細なキャプションを付けた新しいデータセット（AS-1B）を作成しました。このデータセットは、現実世界の350万の一般的な概念から希少な概念まで幅広くカバーし、これらの概念とその属性を説明する1322億のトークンを含んでいます。この新しいデータセットを活用して、パノプティックな視覚的認識と理解のための統一フレームワークである「All-Seeingモデル（ASM）」を開発しました。このモデルは、オープンエンドの言語プロンプトと位置情報で訓練されており、領域-テキスト検索、領域認識、キャプション生成、質問応答など、さまざまな視覚と言語タスクに優れたゼロショット性能で汎化することができます。このプロジェクトが、視覚-言語人工汎用知能研究の基盤となることを期待しています。モデルとデータセットはhttps://github.com/OpenGVLab/All-Seeingで公開され、デモはhttps://huggingface.co/spaces/OpenGVLab/all-seeingでご覧いただけます。

English

We present the All-Seeing (AS) project: a large-scale data and model for recognizing and understanding everything in the open world. Using a scalable data engine that incorporates human feedback and efficient models in the loop, we create a new dataset (AS-1B) with over 1 billion regions annotated with semantic tags, question-answering pairs, and detailed captions. It covers a wide range of 3.5 million common and rare concepts in the real world, and has 132.2 billion tokens that describe the concepts and their attributes. Leveraging this new dataset, we develop the All-Seeing model (ASM), a unified framework for panoptic visual recognition and understanding. The model is trained with open-ended language prompts and locations, which allows it to generalize to various vision and language tasks with remarkable zero-shot performance, including region-text retrieval, region recognition, captioning, and question-answering. We hope that this project can serve as a foundation for vision-language artificial general intelligence research. Models and the dataset shall be released at https://github.com/OpenGVLab/All-Seeing, and demo can be seen at https://huggingface.co/spaces/OpenGVLab/all-seeing.

オールシーイングプロジェクト：開放世界のパノプティック視覚認識と理解に向けて

The All-Seeing Project: Towards Panoptic Visual Recognition and Understanding of the Open World

要旨

Support