ChatRex: Приручение мультимодальной LLM для совместного восприятия и понимания

ChatRex: Taming Multimodal LLM for Joint Perception and Understanding

November 27, 2024

Авторы: Qing Jiang, Gen luo, Yuqin Yang, Yuda Xiong, Yihao Chen, Zhaoyang Zeng, Tianhe Ren, Lei Zhang

cs.AI

Аннотация

Восприятие и понимание являются двумя основами компьютерного зрения. В то время как мультимодельные модели обработки больших языковых данных (MLLM) продемонстрировали выдающиеся возможности визуального понимания, можно утверждать, что у них отсутствуют точные способности восприятия, например, модель новейшего поколения Qwen2-VL достигает только 43,9% вероятности обнаружения на наборе данных COCO, что ограничивает множество задач, требующих сочетания восприятия и понимания. В данной работе мы стремимся устранить этот разрыв в восприятии с точек зрения как проектирования модели, так и разработки данных. Сначала мы представляем ChatRex, MLLM с разделенным дизайном восприятия. Вместо того чтобы позволить LLM прямо предсказывать координаты рамок, мы подаем выходные рамки из универсальной сети предложений в LLM, позволяя ему выдавать соответствующие индексы рамок для представления результатов обнаружения, превращая задачу регрессии в задачу на основе поиска, с которой LLM справляется более опытно. С точки зрения данных мы создаем полностью автоматизированный движок данных и создаем набор данных Rexverse-2M, который обладает несколькими уровнями детализации для поддержки совместного обучения восприятия и понимания. После стандартного двухэтапного обучения ChatRex демонстрирует сильные способности в восприятии, сохраняя при этом производительность мультимодального понимания. Сочетание этих двух способностей одновременно открывает множество привлекательных приложений, демонстрируя дополняющие роли восприятия и понимания в MLLM. Код доступен по адресу https://github.com/IDEA-Research/ChatRex.

English

Perception and understanding are two pillars of computer vision. While multimodal large language models (MLLM) have demonstrated remarkable visual understanding capabilities, they arguably lack accurate perception abilities, e.g. the stage-of-the-art model Qwen2-VL only achieves a 43.9 recall rate on the COCO dataset, limiting many tasks requiring the combination of perception and understanding. In this work, we aim to bridge this perception gap from both model designing and data development perspectives. We first introduce ChatRex, an MLLM with a decoupled perception design. Instead of having the LLM directly predict box coordinates, we feed the output boxes from a universal proposal network into the LLM, allowing it to output the corresponding box indices to represent its detection results, turning the regression task into a retrieval-based task that LLM handles more proficiently. From the data perspective, we build a fully automated data engine and construct the Rexverse-2M dataset which possesses multiple granularities to support the joint training of perception and understanding. After standard two-stage training, ChatRex demonstrates strong perception capabilities while preserving multimodal understanding performance. The combination of these two capabilities simultaneously unlocks many attractive applications, demonstrating the complementary roles of both perception and understanding in MLLM. Code is available at https://github.com/IDEA-Research/ChatRex.