LocateAnything: Быстрое и высококачественное визуально-языковое связывание с параллельным декодированием боксов

Аннотация

Зрительно-языковые модели (VLM) обычно формулируют визуальное привязывание и обнаружение как задачу генерации координатных токенов, сериализуя каждый 2D-бокс в несколько 1D-токенов, которые обучаются и декодируются в значительной степени независимо. Это поканальное декодирование не соответствует связанной структуре геометрии бокса и создает практическое узкое место при выводе из-за строго последовательной генерации. Мы представляем LocateAnything — унифицированный фреймворк генеративного привязывания и обнаружения, основанный на параллельном декодировании боксов (PBD). Декодируя геометрические элементы, такие как ограничивающие рамки и точки, в виде атомарных единиц за один шаг, LocateAnything сохраняет внутриблочную геометрическую согласованность и обеспечивает существенный параллелизм. Мы показываем, что PBD улучшает как пропускную способность декодирования, так и точность локализации. Мы также разрабатываем масштабируемый движок данных и создаем набор данных LocateAnything-Data, содержащий более 138 миллионов обучающих образцов, что значительно увеличивает разнообразие данных для высокоточной локализации. Обширные оценки показывают, что LocateAnything продвигает границу скорости и точности, достигая значительно более высокой пропускной способности декодирования при одновременном улучшении качества локализации с высоким IoU в различных бенчмарках. Результаты подчеркивают взаимодополняющие преимущества параллельного декодирования боксов и крупномасштабных обучающих данных для обеспечения эффективного и точного унифицированного визуального привязывания и обнаружения.

English

Vision-language models (VLMs) commonly formulate visual grounding and detection as a coordinate-token generation problem, serializing each 2D box into multiple 1D tokens that are learned and decoded largely independently. This token-by-token decoding mismatches the coupled structure of box geometry and creates a practical inference bottleneck due to strictly sequential generation. We introduce LocateAnything, a unified generative grounding and detection framework based on Parallel Box Decoding (PBD). By decoding geometric elements such as bounding boxes and points as atomic units in a single step, LocateAnything preserves intra-box geometric coherence and unlocks substantial parallelism. We show that PBD improves both decoding throughput and localization accuracy. We further develop a scalable data engine and curate LocateAnything-Data, a large-scale dataset with more than 138 million training samples, substantially increasing data diversity for high-precision localization. Extensive evaluations show that LocateAnything advances the speed-accuracy frontier, achieving significantly higher decoding throughput while improving high-IoU localization quality across diverse benchmarks. The results highlight the complementary benefits of Parallel Box Decoding and large-scale training data in enabling efficient and precise unified visual grounding and detection.