ChatRex: 共同認識と理解のためのマルチモーダルLLMの取りまとめ

ChatRex: Taming Multimodal LLM for Joint Perception and Understanding

November 27, 2024

著者: Qing Jiang, Gen luo, Yuqin Yang, Yuda Xiong, Yihao Chen, Zhaoyang Zeng, Tianhe Ren, Lei Zhang

cs.AI

要旨

知覚と理解はコンピュータビジョンの二大要素です。マルチモーダル大規模言語モデル（MLLM）は驚異的な視覚理解能力を示していますが、正確な知覚能力が不足しているという議論もあります。例えば、最先端モデルQwen2-VLはCOCOデータセットでわずか43.9の再現率しか達成しておらず、知覚と理解の組み合わせを必要とする多くのタスクが制限されています。本研究では、この知覚のギャップをモデル設計とデータ開発の観点から埋めることを目指します。まず、デカップルされた知覚設計を持つMLLMであるChatRexを紹介します。LLMが直接ボックス座標を予測する代わりに、普遍的な提案ネットワークからの出力ボックスをLLMに供給し、検出結果を表すために対応するボックスインデックスを出力させることで、回帰タスクを検索ベースのタスクに変え、LLMがより熟練して処理するようにします。データの観点からは、完全自動化されたデータエンジンを構築し、知覚と理解の共同トレーニングをサポートする複数の粒度を持つRexverse-2Mデータセットを構築します。標準の2段階トレーニングの後、ChatRexは強力な知覚能力を示し、マルチモーダル理解パフォーマンスを維持します。これら2つの能力の組み合わせは同時に多くの魅力的なアプリケーションを開放し、MLLMにおける知覚と理解の補完的な役割を示しています。コードはhttps://github.com/IDEA-Research/ChatRex で入手可能です。

English

Perception and understanding are two pillars of computer vision. While multimodal large language models (MLLM) have demonstrated remarkable visual understanding capabilities, they arguably lack accurate perception abilities, e.g. the stage-of-the-art model Qwen2-VL only achieves a 43.9 recall rate on the COCO dataset, limiting many tasks requiring the combination of perception and understanding. In this work, we aim to bridge this perception gap from both model designing and data development perspectives. We first introduce ChatRex, an MLLM with a decoupled perception design. Instead of having the LLM directly predict box coordinates, we feed the output boxes from a universal proposal network into the LLM, allowing it to output the corresponding box indices to represent its detection results, turning the regression task into a retrieval-based task that LLM handles more proficiently. From the data perspective, we build a fully automated data engine and construct the Rexverse-2M dataset which possesses multiple granularities to support the joint training of perception and understanding. After standard two-stage training, ChatRex demonstrates strong perception capabilities while preserving multimodal understanding performance. The combination of these two capabilities simultaneously unlocks many attractive applications, demonstrating the complementary roles of both perception and understanding in MLLM. Code is available at https://github.com/IDEA-Research/ChatRex.