Rileva Qualsiasi Cosa tramite la Predizione del Prossimo Punto

Abstract

La rilevazione di oggetti è stata a lungo dominata da modelli tradizionali basati sulla regressione di coordinate, come YOLO, DETR e Grounding DINO. Sebbene recenti sforzi abbiano tentato di sfruttare i MLLM (Modelli Linguistici Multimodali) per affrontare questo compito, si scontrano con sfide come un basso tasso di richiamo, previsioni duplicate, disallineamento delle coordinate, ecc. In questo lavoro, colmiamo questo divario e proponiamo Rex-Omni, un MLLM su scala 3B che raggiunge prestazioni all'avanguardia nella percezione degli oggetti. Su benchmark come COCO e LVIS, Rex-Omni ottiene prestazioni paragonabili o superiori ai modelli basati sulla regressione (ad esempio, DINO, Grounding DINO) in un contesto zero-shot. Questo è reso possibile da tre design chiave: 1) Formulazione del Task: utilizziamo token speciali per rappresentare coordinate quantizzate da 0 a 999, riducendo la difficoltà di apprendimento del modello e migliorando l'efficienza dei token per la previsione delle coordinate; 2) Motori di Dati: costruiamo più motori di dati per generare dati di grounding, riferimenti e puntamento di alta qualità, fornendo una supervisione semanticamente ricca per l'addestramento; 3) Pipeline di Addestramento: adottiamo un processo di addestramento in due fasi, combinando il fine-tuning supervisionato su 22 milioni di dati con un post-addestramento basato su GRPO (Geometric Reward Post-Optimization). Questo post-addestramento RL sfrutta ricompense basate sulla geometria per colmare efficacemente il divario tra la previsione di coordinate discrete e continue, migliorare l'accuratezza delle bounding box e mitigare comportamenti indesiderati come previsioni duplicate che derivano dalla natura guidata dall'insegnante della fase iniziale di SFT. Oltre alla rilevazione convenzionale, la comprensione linguistica intrinseca di Rex-Omni abilita capacità versatili come il riferimento a oggetti, il puntamento, il prompting visivo, il grounding di GUI, il riferimento spaziale, l'OCR e il key-pointing, tutti valutati sistematicamente su benchmark dedicati. Crediamo che Rex-Omni apra la strada a sistemi di percezione visiva più versatili e consapevoli del linguaggio.

English

Object detection has long been dominated by traditional coordinate regression-based models, such as YOLO, DETR, and Grounding DINO. Although recent efforts have attempted to leverage MLLMs to tackle this task, they face challenges like low recall rate, duplicate predictions, coordinate misalignment, etc. In this work, we bridge this gap and propose Rex-Omni, a 3B-scale MLLM that achieves state-of-the-art object perception performance. On benchmarks like COCO and LVIS, Rex-Omni attains performance comparable to or exceeding regression-based models (e.g., DINO, Grounding DINO) in a zero-shot setting. This is enabled by three key designs: 1) Task Formulation: we use special tokens to represent quantized coordinates from 0 to 999, reducing the model's learning difficulty and improving token efficiency for coordinate prediction; 2) Data Engines: we construct multiple data engines to generate high-quality grounding, referring, and pointing data, providing semantically rich supervision for training; \3) Training Pipelines: we employ a two-stage training process, combining supervised fine-tuning on 22 million data with GRPO-based reinforcement post-training. This RL post-training leverages geometry-aware rewards to effectively bridge the discrete-to-continuous coordinate prediction gap, improve box accuracy, and mitigate undesirable behaviors like duplicate predictions that stem from the teacher-guided nature of the initial SFT stage. Beyond conventional detection, Rex-Omni's inherent language understanding enables versatile capabilities such as object referring, pointing, visual prompting, GUI grounding, spatial referring, OCR and key-pointing, all systematically evaluated on dedicated benchmarks. We believe that Rex-Omni paves the way for more versatile and language-aware visual perception systems.

Rileva Qualsiasi Cosa tramite la Predizione del Prossimo Punto

Detect Anything via Next Point Prediction

Abstract

Support