LocalisezTout : Ancrage vision-langage rapide et de haute qualité par décodage parallèle de boîtes

Résumé

Les modèles vision-langage (VLM) formulent couramment l'ancrage visuel et la détection comme un problème de génération de jetons de coordonnées, en sérialisant chaque boîte 2D en plusieurs jetons 1D appris et décodés de manière largement indépendante. Ce décodage jeton par jeton est en décalage avec la structure couplée de la géométrie des boîtes et crée un goulet d'étranglement d'inférence pratique en raison d'une génération strictement séquentielle. Nous introduisons LocateAnything, un cadre unifié d'ancrage et de détection génératif basé sur le décodage parallèle des boîtes (Parallel Box Decoding, PBD). En décodant des éléments géométriques tels que les boîtes englobantes et les points comme des unités atomiques en une seule étape, LocateAnything préserve la cohérence géométrique intra-boîte et débloque un parallélisme substantiel. Nous montrons que PBD améliore à la fois le débit de décodage et la précision de localisation. Nous développons en outre un moteur de données évolutif et organisons LocateAnything-Data, un ensemble de données à grande échelle comprenant plus de 138 millions d'échantillons d'entraînement, augmentant considérablement la diversité des données pour une localisation de haute précision. Des évaluations approfondies montrent que LocateAnything repousse la frontière vitesse-précision, atteignant un débit de décodage nettement plus élevé tout en améliorant la qualité de localisation à haut IoU sur divers bancs d'essai. Les résultats soulignent les avantages complémentaires du décodage parallèle des boîtes et des données d'entraînement à grande échelle pour permettre un ancrage visuel et une détection unifiés, efficaces et précis.

English

Vision-language models (VLMs) commonly formulate visual grounding and detection as a coordinate-token generation problem, serializing each 2D box into multiple 1D tokens that are learned and decoded largely independently. This token-by-token decoding mismatches the coupled structure of box geometry and creates a practical inference bottleneck due to strictly sequential generation. We introduce LocateAnything, a unified generative grounding and detection framework based on Parallel Box Decoding (PBD). By decoding geometric elements such as bounding boxes and points as atomic units in a single step, LocateAnything preserves intra-box geometric coherence and unlocks substantial parallelism. We show that PBD improves both decoding throughput and localization accuracy. We further develop a scalable data engine and curate LocateAnything-Data, a large-scale dataset with more than 138 million training samples, substantially increasing data diversity for high-precision localization. Extensive evaluations show that LocateAnything advances the speed-accuracy frontier, achieving significantly higher decoding throughput while improving high-IoU localization quality across diverse benchmarks. The results highlight the complementary benefits of Parallel Box Decoding and large-scale training data in enabling efficient and precise unified visual grounding and detection.