LocateAnything: Schnelle und hochwertige Vision-Language-Grounding mit paralleler Box-Dekodierung

Zusammenfassung

Vision-Sprachmodelle (VLMs) formulieren visuelle Verankerung und Erkennung üblicherweise als ein Koordinate-Token-Generierungsproblem, bei dem jede 2D-Box in mehrere 1D-Tokens serialisiert wird, die weitgehend unabhängig voneinander gelernt und dekodiert werden. Diese Token-für-Token-Dekodierung widerspricht der gekoppelten Struktur der Box-Geometrie und erzeugt aufgrund der streng sequentiellen Generierung einen praktischen Inferenz-Engpass. Wir stellen LocateAnything vor, ein einheitliches generatives Verankerungs- und Erkennungsframework, das auf Parallel-Box-Dekodierung (PBD) basiert. Durch die Dekodierung geometrischer Elemente wie Begrenzungsrahmen und Punkte als atomare Einheiten in einem einzigen Schritt bewahrt LocateAnything die intra-box-geometrische Kohärenz und ermöglicht eine erhebliche Parallelisierung. Wir zeigen, dass PBD sowohl den Dekodierungsdurchsatz als auch die Lokalisierungsgenauigkeit verbessert. Darüber hinaus entwickeln wir eine skalierbare Daten-Engine und kuratieren LocateAnything-Data, einen groß angelegten Datensatz mit mehr als 138 Millionen Trainingsbeispielen, der die Datenvielfalt für hochpräzise Lokalisierung erheblich erhöht. Umfangreiche Auswertungen zeigen, dass LocateAnything die Geschwindigkeits-Genauigkeits-Grenze vorantreibt, einen deutlich höheren Dekodierungsdurchsatz erzielt und gleichzeitig die hochwertige IoU-Lokalisierungsqualität über verschiedene Benchmarks hinweg verbessert. Die Ergebnisse unterstreichen die komplementären Vorteile der Parallel-Box-Dekodierung und groß angelegter Trainingsdaten für eine effiziente und präzise einheitliche visuelle Verankerung und Erkennung.

English

Vision-language models (VLMs) commonly formulate visual grounding and detection as a coordinate-token generation problem, serializing each 2D box into multiple 1D tokens that are learned and decoded largely independently. This token-by-token decoding mismatches the coupled structure of box geometry and creates a practical inference bottleneck due to strictly sequential generation. We introduce LocateAnything, a unified generative grounding and detection framework based on Parallel Box Decoding (PBD). By decoding geometric elements such as bounding boxes and points as atomic units in a single step, LocateAnything preserves intra-box geometric coherence and unlocks substantial parallelism. We show that PBD improves both decoding throughput and localization accuracy. We further develop a scalable data engine and curate LocateAnything-Data, a large-scale dataset with more than 138 million training samples, substantially increasing data diversity for high-precision localization. Extensive evaluations show that LocateAnything advances the speed-accuracy frontier, achieving significantly higher decoding throughput while improving high-IoU localization quality across diverse benchmarks. The results highlight the complementary benefits of Parallel Box Decoding and large-scale training data in enabling efficient and precise unified visual grounding and detection.