ChatRex: Domando LLM Multimodal para Percepción y Comprensión Conjunta

ChatRex: Taming Multimodal LLM for Joint Perception and Understanding

November 27, 2024

Autores: Qing Jiang, Gen luo, Yuqin Yang, Yuda Xiong, Yihao Chen, Zhaoyang Zeng, Tianhe Ren, Lei Zhang

cs.AI

Resumen

La percepción y la comprensión son dos pilares de la visión por computadora. Si bien los modelos de lenguaje multimodales grandes (MLLM) han demostrado notables capacidades de comprensión visual, carecen, en opinión de algunos, de habilidades de percepción precisas, por ejemplo, el modelo de vanguardia Qwen2-VL solo logra una tasa de recuperación del 43.9 en el conjunto de datos COCO, lo que limita muchas tareas que requieren la combinación de percepción y comprensión. En este trabajo, nuestro objetivo es cerrar esta brecha de percepción desde las perspectivas del diseño del modelo y el desarrollo de datos. En primer lugar, presentamos ChatRex, un MLLM con un diseño de percepción desacoplado. En lugar de que el MLL prediga directamente las coordenadas de las cajas, alimentamos las cajas de salida de una red de propuestas universal en el MLL, lo que le permite producir los índices de caja correspondientes para representar sus resultados de detección, convirtiendo la tarea de regresión en una tarea basada en recuperación que el MLL maneja de manera más competente. Desde la perspectiva de los datos, construimos un motor de datos completamente automatizado y creamos el conjunto de datos Rexverse-2M que posee múltiples granularidades para respaldar el entrenamiento conjunto de percepción y comprensión. Después del entrenamiento estándar de dos etapas, ChatRex demuestra sólidas capacidades de percepción mientras conserva el rendimiento de comprensión multimodal. La combinación de estas dos capacidades desbloquea simultáneamente muchas aplicaciones atractivas, demostrando los roles complementarios de la percepción y la comprensión en los MLLM. El código está disponible en https://github.com/IDEA-Research/ChatRex.

English

Perception and understanding are two pillars of computer vision. While multimodal large language models (MLLM) have demonstrated remarkable visual understanding capabilities, they arguably lack accurate perception abilities, e.g. the stage-of-the-art model Qwen2-VL only achieves a 43.9 recall rate on the COCO dataset, limiting many tasks requiring the combination of perception and understanding. In this work, we aim to bridge this perception gap from both model designing and data development perspectives. We first introduce ChatRex, an MLLM with a decoupled perception design. Instead of having the LLM directly predict box coordinates, we feed the output boxes from a universal proposal network into the LLM, allowing it to output the corresponding box indices to represent its detection results, turning the regression task into a retrieval-based task that LLM handles more proficiently. From the data perspective, we build a fully automated data engine and construct the Rexverse-2M dataset which possesses multiple granularities to support the joint training of perception and understanding. After standard two-stage training, ChatRex demonstrates strong perception capabilities while preserving multimodal understanding performance. The combination of these two capabilities simultaneously unlocks many attractive applications, demonstrating the complementary roles of both perception and understanding in MLLM. Code is available at https://github.com/IDEA-Research/ChatRex.