Détecter n'importe quoi via la prédiction du point suivant

papers.abstract

La détection d'objets a longtemps été dominée par des modèles traditionnels basés sur la régression de coordonnées, tels que YOLO, DETR et Grounding DINO. Bien que des efforts récents aient tenté d'exploiter les MLLM (Modèles de Langage Multimodaux) pour relever ce défi, ils se heurtent à des problèmes tels qu'un faible taux de rappel, des prédictions dupliquées, un désalignement des coordonnées, etc. Dans ce travail, nous comblons cette lacune et proposons Rex-Omni, un MLLM à l'échelle de 3 milliards de paramètres, qui atteint des performances de pointe en matière de perception d'objets. Sur des benchmarks comme COCO et LVIS, Rex-Omni obtient des performances comparables ou supérieures à celles des modèles basés sur la régression (par exemple, DINO, Grounding DINO) dans un cadre zero-shot. Cela est rendu possible grâce à trois conceptions clés : 1) Formulation de la tâche : nous utilisons des tokens spéciaux pour représenter des coordonnées quantifiées de 0 à 999, réduisant ainsi la difficulté d'apprentissage du modèle et améliorant l'efficacité des tokens pour la prédiction des coordonnées ; 2) Moteurs de données : nous construisons plusieurs moteurs de données pour générer des données de localisation, de référencement et de pointage de haute qualité, fournissant une supervision sémantiquement riche pour l'entraînement ; 3) Pipelines d'entraînement : nous employons un processus d'entraînement en deux étapes, combinant un fine-tuning supervisé sur 22 millions de données avec un post-entraînement par renforcement basé sur GRPO. Ce post-entraînement par renforcement exploite des récompenses géométriquement conscientes pour combler efficacement l'écart entre la prédiction de coordonnées discrètes et continues, améliorer la précision des boîtes et atténuer les comportements indésirables tels que les prédictions dupliquées, qui découlent de la nature guidée par l'enseignant de la phase initiale de fine-tuning supervisé. Au-delà de la détection conventionnelle, la compréhension linguistique inhérente de Rex-Omni permet des capacités polyvalentes telles que le référencement d'objets, le pointage, l'invite visuelle, la localisation d'interface graphique, le référencement spatial, la reconnaissance optique de caractères (OCR) et le pointage clé, toutes systématiquement évaluées sur des benchmarks dédiés. Nous croyons que Rex-Omni ouvre la voie à des systèmes de perception visuelle plus polyvalents et conscients du langage.

English

Object detection has long been dominated by traditional coordinate regression-based models, such as YOLO, DETR, and Grounding DINO. Although recent efforts have attempted to leverage MLLMs to tackle this task, they face challenges like low recall rate, duplicate predictions, coordinate misalignment, etc. In this work, we bridge this gap and propose Rex-Omni, a 3B-scale MLLM that achieves state-of-the-art object perception performance. On benchmarks like COCO and LVIS, Rex-Omni attains performance comparable to or exceeding regression-based models (e.g., DINO, Grounding DINO) in a zero-shot setting. This is enabled by three key designs: 1) Task Formulation: we use special tokens to represent quantized coordinates from 0 to 999, reducing the model's learning difficulty and improving token efficiency for coordinate prediction; 2) Data Engines: we construct multiple data engines to generate high-quality grounding, referring, and pointing data, providing semantically rich supervision for training; \3) Training Pipelines: we employ a two-stage training process, combining supervised fine-tuning on 22 million data with GRPO-based reinforcement post-training. This RL post-training leverages geometry-aware rewards to effectively bridge the discrete-to-continuous coordinate prediction gap, improve box accuracy, and mitigate undesirable behaviors like duplicate predictions that stem from the teacher-guided nature of the initial SFT stage. Beyond conventional detection, Rex-Omni's inherent language understanding enables versatile capabilities such as object referring, pointing, visual prompting, GUI grounding, spatial referring, OCR and key-pointing, all systematically evaluated on dedicated benchmarks. We believe that Rex-Omni paves the way for more versatile and language-aware visual perception systems.

Détecter n'importe quoi via la prédiction du point suivant

Detect Anything via Next Point Prediction

papers.abstract

Support