LocateAnything: Grounding Visão-Linguagem Rápido e de Alta Qualidade com Decodificação Paralela de Caixas

Resumo

Modelos de linguagem visual (VLMs) comumente formulam o grounding visual e a detecção como um problema de geração de tokens de coordenadas, serializando cada caixa 2D em múltiplos tokens 1D que são aprendidos e decodificados em grande parte de forma independente. Essa decodificação token por token não corresponde à estrutura acoplada da geometria da caixa e cria um gargalo prático de inferência devido à geração estritamente sequencial. Apresentamos o LocateAnything, uma estrutura unificada de grounding e detecção generativa baseada na Decodificação Paralela de Caixas (PBD). Ao decodificar elementos geométricos como caixas delimitadoras e pontos como unidades atômicas em uma única etapa, o LocateAnything preserva a coerência geométrica intra-caixa e desbloqueia um paralelismo substancial. Mostramos que a PBD melhora tanto a taxa de transferência de decodificação quanto a precisão da localização. Desenvolvemos ainda um mecanismo de dados escalável e curadoria do LocateAnything-Data, um conjunto de dados em larga escala com mais de 138 milhões de amostras de treinamento, aumentando substancialmente a diversidade de dados para localização de alta precisão. Avaliações extensas mostram que o LocateAnything avança na fronteira velocidade-precisão, alcançando uma taxa de transferência de decodificação significativamente maior, enquanto melhora a qualidade da localização com alto IoU em diversos benchmarks. Os resultados destacam os benefícios complementares da Decodificação Paralela de Caixas e dos dados de treinamento em larga escala para permitir um grounding visual e uma detecção unificados, eficientes e precisos.

English

Vision-language models (VLMs) commonly formulate visual grounding and detection as a coordinate-token generation problem, serializing each 2D box into multiple 1D tokens that are learned and decoded largely independently. This token-by-token decoding mismatches the coupled structure of box geometry and creates a practical inference bottleneck due to strictly sequential generation. We introduce LocateAnything, a unified generative grounding and detection framework based on Parallel Box Decoding (PBD). By decoding geometric elements such as bounding boxes and points as atomic units in a single step, LocateAnything preserves intra-box geometric coherence and unlocks substantial parallelism. We show that PBD improves both decoding throughput and localization accuracy. We further develop a scalable data engine and curate LocateAnything-Data, a large-scale dataset with more than 138 million training samples, substantially increasing data diversity for high-precision localization. Extensive evaluations show that LocateAnything advances the speed-accuracy frontier, achieving significantly higher decoding throughput while improving high-IoU localization quality across diverse benchmarks. The results highlight the complementary benefits of Parallel Box Decoding and large-scale training data in enabling efficient and precise unified visual grounding and detection.