LocateAnything: Snelle en Hoogwaardige Visie-Taalgronding met Parallelle Boxdecodering

Samenvatting

Visie-taalspecialistische modellen (VLMs) formuleren visuele grounding en detectie doorgaans als een coördinaat-token-generatieprobleem, waarbij elke 2D-box wordt geserialiseerd in meerdere 1D-tokens die grotendeels onafhankelijk worden geleerd en gedecodeerd. Deze token-voor-token-decodering sluit niet aan bij de gekoppelde structuur van de boxgeometrie en creëert een praktische inferentieknelpunt door de strikt sequentiële generatie. We introduceren LocateAnything, een uniform generatief grounding- en detectieraamwerk gebaseerd op Parallelle Box-Decodering (PBD). Door geometrische elementen zoals begrenzingsvakken en punten in één enkele stap als atomaire eenheden te decoderen, behoudt LocateAnything de intra-box geometrische coherentie en realiseert het aanzienlijke parallelliteit. We tonen aan dat PBD zowel de decoderingdoorvoer als de lokalisatienauwkeurigheid verbetert. Verder ontwikkelen we een schaalbare data-engine en stellen we LocateAnything-Data samen, een grootschalige dataset met meer dan 138 miljoen trainingsmonsters, die de datadiversiteit voor nauwkeurige lokalisatie aanzienlijk vergroot. Uitgebreide evaluaties tonen aan dat LocateAnything de snelheid-nauwkeurigheidsgrens verlegt, met een significant hogere decoderingdoorvoer en tegelijkertijd een verbeterde hoge IoU-lokalisatiekwaliteit over diverse benchmarks. De resultaten benadrukken de complementaire voordelen van Parallelle Box-Decodering en grootschalige trainingsdata bij het mogelijk maken van efficiënte en nauwkeurige uniforme visuele grounding en detectie.

English

Vision-language models (VLMs) commonly formulate visual grounding and detection as a coordinate-token generation problem, serializing each 2D box into multiple 1D tokens that are learned and decoded largely independently. This token-by-token decoding mismatches the coupled structure of box geometry and creates a practical inference bottleneck due to strictly sequential generation. We introduce LocateAnything, a unified generative grounding and detection framework based on Parallel Box Decoding (PBD). By decoding geometric elements such as bounding boxes and points as atomic units in a single step, LocateAnything preserves intra-box geometric coherence and unlocks substantial parallelism. We show that PBD improves both decoding throughput and localization accuracy. We further develop a scalable data engine and curate LocateAnything-Data, a large-scale dataset with more than 138 million training samples, substantially increasing data diversity for high-precision localization. Extensive evaluations show that LocateAnything advances the speed-accuracy frontier, achieving significantly higher decoding throughput while improving high-IoU localization quality across diverse benchmarks. The results highlight the complementary benefits of Parallel Box Decoding and large-scale training data in enabling efficient and precise unified visual grounding and detection.