Обнаружение чего угодно через предсказание следующей точки

Аннотация

Обнаружение объектов долгое время доминировалось традиционными моделями, основанными на регрессии координат, такими как YOLO, DETR и Grounding DINO. Хотя недавние попытки были направлены на использование MLLM для решения этой задачи, они сталкиваются с такими проблемами, как низкий уровень полноты, дублирующие предсказания, несоответствие координат и т.д. В данной работе мы устраняем этот разрыв и предлагаем Rex-Omni, MLLM масштаба 3B, который достигает передовых показателей в восприятии объектов. На бенчмарках, таких как COCO и LVIS, Rex-Omni демонстрирует производительность, сопоставимую или превосходящую модели, основанные на регрессии (например, DINO, Grounding DINO), в условиях zero-shot. Это стало возможным благодаря трем ключевым разработкам: 1) Формулировка задачи: мы используем специальные токены для представления квантованных координат от 0 до 999, что снижает сложность обучения модели и повышает эффективность токенов для предсказания координат; 2) Генераторы данных: мы создаем несколько генераторов данных для получения высококачественных данных по локализации, ссылкам и указанию, что обеспечивает семантически богатый контроль за обучением; 3) Процедуры обучения: мы применяем двухэтапный процесс обучения, сочетая контролируемую тонкую настройку на 22 миллионах данных с пост-обучением на основе GRPO. Это пост-обучение с подкреплением использует геометрически осознанные награды для эффективного устранения разрыва между дискретным и непрерывным предсказанием координат, повышения точности рамок и устранения нежелательных поведений, таких как дублирующие предсказания, которые возникают из-за учительского характера начального этапа SFT. Помимо традиционного обнаружения, встроенное языковое понимание Rex-Omni обеспечивает универсальные возможности, такие как ссылки на объекты, указание, визуальные подсказки, локализация GUI, пространственные ссылки, OCR и ключевое указание, все из которых систематически оцениваются на специализированных бенчмарках. Мы считаем, что Rex-Omni прокладывает путь к более универсальным и языково-ориентированным системам визуального восприятия.

English

Object detection has long been dominated by traditional coordinate regression-based models, such as YOLO, DETR, and Grounding DINO. Although recent efforts have attempted to leverage MLLMs to tackle this task, they face challenges like low recall rate, duplicate predictions, coordinate misalignment, etc. In this work, we bridge this gap and propose Rex-Omni, a 3B-scale MLLM that achieves state-of-the-art object perception performance. On benchmarks like COCO and LVIS, Rex-Omni attains performance comparable to or exceeding regression-based models (e.g., DINO, Grounding DINO) in a zero-shot setting. This is enabled by three key designs: 1) Task Formulation: we use special tokens to represent quantized coordinates from 0 to 999, reducing the model's learning difficulty and improving token efficiency for coordinate prediction; 2) Data Engines: we construct multiple data engines to generate high-quality grounding, referring, and pointing data, providing semantically rich supervision for training; \3) Training Pipelines: we employ a two-stage training process, combining supervised fine-tuning on 22 million data with GRPO-based reinforcement post-training. This RL post-training leverages geometry-aware rewards to effectively bridge the discrete-to-continuous coordinate prediction gap, improve box accuracy, and mitigate undesirable behaviors like duplicate predictions that stem from the teacher-guided nature of the initial SFT stage. Beyond conventional detection, Rex-Omni's inherent language understanding enables versatile capabilities such as object referring, pointing, visual prompting, GUI grounding, spatial referring, OCR and key-pointing, all systematically evaluated on dedicated benchmarks. We believe that Rex-Omni paves the way for more versatile and language-aware visual perception systems.

Обнаружение чего угодно через предсказание следующей точки

Detect Anything via Next Point Prediction

Аннотация

Support