Detecteer Alles via Volgende Punt Voorspelling

Samenvatting

Object detection is al lang gedomineerd door traditionele modellen gebaseerd op coördinaatregressie, zoals YOLO, DETR en Grounding DINO. Hoewel recente inspanningen hebben geprobeerd MLLM's in te zetten voor deze taak, worden ze geconfronteerd met uitdagingen zoals een lage recall rate, dubbele voorspellingen, coördinaatuitlijning, enz. In dit werk overbruggen we deze kloof en introduceren we Rex-Omni, een MLLM op 3B-schaal die state-of-the-art objectperceptieprestaties behaalt. Op benchmarks zoals COCO en LVIS bereikt Rex-Omni prestaties die vergelijkbaar zijn met of beter dan regressiegebaseerde modellen (bijv. DINO, Grounding DINO) in een zero-shot setting. Dit wordt mogelijk gemaakt door drie belangrijke ontwerpen: 1) Taakformulering: we gebruiken speciale tokens om gekwantiseerde coördinaten van 0 tot 999 weer te geven, waardoor de leercomplexiteit van het model wordt verminderd en de tokenefficiëntie voor coördinaatvoorspelling wordt verbeterd; 2) Data Engines: we construeren meerdere data engines om hoogwaardige grounding-, referring- en pointing data te genereren, wat semantisch rijke supervisie biedt voor de training; 3) Trainingspijplijnen: we gebruiken een tweefasig trainingsproces, waarbij supervised fine-tuning op 22 miljoen data wordt gecombineerd met GRPO-gebaseerde reinforcement post-training. Deze RL post-training maakt gebruik van geometrie-afhankelijke beloningen om effectief de kloof tussen discrete en continue coördinaatvoorspelling te overbruggen, de nauwkeurigheid van de bounding boxes te verbeteren en ongewenst gedrag zoals dubbele voorspellingen te verminderen, die voortkomen uit de door de leraar geleide aard van de initiële SFT-fase. Naast conventionele detectie maakt de inherente taalbegrip van Rex-Omni veelzijdige mogelijkheden mogelijk, zoals object referring, pointing, visuele prompting, GUI grounding, ruimtelijke referring, OCR en key-pointing, die allemaal systematisch worden geëvalueerd op toegewijde benchmarks. Wij geloven dat Rex-Omni de weg vrijmaakt voor meer veelzijdige en taalbewuste visuele perceptiesystemen.

English

Object detection has long been dominated by traditional coordinate regression-based models, such as YOLO, DETR, and Grounding DINO. Although recent efforts have attempted to leverage MLLMs to tackle this task, they face challenges like low recall rate, duplicate predictions, coordinate misalignment, etc. In this work, we bridge this gap and propose Rex-Omni, a 3B-scale MLLM that achieves state-of-the-art object perception performance. On benchmarks like COCO and LVIS, Rex-Omni attains performance comparable to or exceeding regression-based models (e.g., DINO, Grounding DINO) in a zero-shot setting. This is enabled by three key designs: 1) Task Formulation: we use special tokens to represent quantized coordinates from 0 to 999, reducing the model's learning difficulty and improving token efficiency for coordinate prediction; 2) Data Engines: we construct multiple data engines to generate high-quality grounding, referring, and pointing data, providing semantically rich supervision for training; \3) Training Pipelines: we employ a two-stage training process, combining supervised fine-tuning on 22 million data with GRPO-based reinforcement post-training. This RL post-training leverages geometry-aware rewards to effectively bridge the discrete-to-continuous coordinate prediction gap, improve box accuracy, and mitigate undesirable behaviors like duplicate predictions that stem from the teacher-guided nature of the initial SFT stage. Beyond conventional detection, Rex-Omni's inherent language understanding enables versatile capabilities such as object referring, pointing, visual prompting, GUI grounding, spatial referring, OCR and key-pointing, all systematically evaluated on dedicated benchmarks. We believe that Rex-Omni paves the way for more versatile and language-aware visual perception systems.

Detecteer Alles via Volgende Punt Voorspelling

Detect Anything via Next Point Prediction

Samenvatting

Support