Detectar Cualquier Cosa mediante Predicción del Siguiente Punto

Resumen

La detección de objetos ha estado dominada durante mucho tiempo por modelos tradicionales basados en regresión de coordenadas, como YOLO, DETR y Grounding DINO. Aunque esfuerzos recientes han intentado aprovechar los MLLM (Modelos de Lenguaje Multimodal) para abordar esta tarea, enfrentan desafíos como baja tasa de recuperación, predicciones duplicadas, desalineación de coordenadas, etc. En este trabajo, cerramos esta brecha y proponemos Rex-Omni, un MLLM de 3 mil millones de parámetros que logra un rendimiento de percepción de objetos de vanguardia. En benchmarks como COCO y LVIS, Rex-Omni alcanza un rendimiento comparable o superior a los modelos basados en regresión (por ejemplo, DINO, Grounding DINO) en un entorno de zero-shot. Esto es posible gracias a tres diseños clave: 1) Formulación de la tarea: utilizamos tokens especiales para representar coordenadas cuantizadas de 0 a 999, reduciendo la dificultad de aprendizaje del modelo y mejorando la eficiencia de tokens para la predicción de coordenadas; 2) Motores de datos: construimos múltiples motores de datos para generar datos de alta calidad para anclaje, referencia y señalización, proporcionando supervisión semánticamente rica para el entrenamiento; 3) Pipelines de entrenamiento: empleamos un proceso de entrenamiento en dos etapas, combinando ajuste fino supervisado en 22 millones de datos con un post-entrenamiento de refuerzo basado en GRPO. Este post-entrenamiento de RL aprovecha recompensas conscientes de la geometría para cerrar efectivamente la brecha entre la predicción de coordenadas discreta y continua, mejorar la precisión de las cajas y mitigar comportamientos no deseados como predicciones duplicadas que surgen de la naturaleza guiada por el profesor en la etapa inicial de SFT. Más allá de la detección convencional, la comprensión del lenguaje inherente de Rex-Omni permite capacidades versátiles como referencia de objetos, señalización, indicación visual, anclaje de GUI, referencia espacial, OCR y señalización de puntos clave, todas evaluadas sistemáticamente en benchmarks dedicados. Creemos que Rex-Omni allana el camino para sistemas de percepción visual más versátiles y conscientes del lenguaje.

English

Object detection has long been dominated by traditional coordinate regression-based models, such as YOLO, DETR, and Grounding DINO. Although recent efforts have attempted to leverage MLLMs to tackle this task, they face challenges like low recall rate, duplicate predictions, coordinate misalignment, etc. In this work, we bridge this gap and propose Rex-Omni, a 3B-scale MLLM that achieves state-of-the-art object perception performance. On benchmarks like COCO and LVIS, Rex-Omni attains performance comparable to or exceeding regression-based models (e.g., DINO, Grounding DINO) in a zero-shot setting. This is enabled by three key designs: 1) Task Formulation: we use special tokens to represent quantized coordinates from 0 to 999, reducing the model's learning difficulty and improving token efficiency for coordinate prediction; 2) Data Engines: we construct multiple data engines to generate high-quality grounding, referring, and pointing data, providing semantically rich supervision for training; \3) Training Pipelines: we employ a two-stage training process, combining supervised fine-tuning on 22 million data with GRPO-based reinforcement post-training. This RL post-training leverages geometry-aware rewards to effectively bridge the discrete-to-continuous coordinate prediction gap, improve box accuracy, and mitigate undesirable behaviors like duplicate predictions that stem from the teacher-guided nature of the initial SFT stage. Beyond conventional detection, Rex-Omni's inherent language understanding enables versatile capabilities such as object referring, pointing, visual prompting, GUI grounding, spatial referring, OCR and key-pointing, all systematically evaluated on dedicated benchmarks. We believe that Rex-Omni paves the way for more versatile and language-aware visual perception systems.

Detectar Cualquier Cosa mediante Predicción del Siguiente Punto

Detect Anything via Next Point Prediction

Resumen

Support