ABACUS: Adaptierung eines einheitlichen Grundlagenmodells zur Überbrückung von Bildanzahlverständnis und -generierung

Zusammenfassung

ABACUS ist ein einheitliches Vision-Language-Modell, das Objektzählung, Menschenmengenzählung, referenzausdrucksbasiertes Zählen und zählgetreue Bildgenerierung bewältigt, ohne dass ein benchmarkspezifisches Training erforderlich ist. Unser Modell baut auf einem bestehenden 3B-Parameter-einheitlichen Basismodell auf und wird mithilfe dreier zentraler Innovationen für Objektlokalisierungsaufgaben angepasst: dichtebewusstes adaptives Zoomen mit Objektheitskarten zur räumlichen Verankerung; eine grenzbewusste Zählstrategie mittels GRPO zur Beseitigung von Beschnittrandfehlern; sowie eine zykluskonsistente GRPO-Strategie, bei der der Verständniszweig die generierten Ausgaben selbstkritisch hinterfragt, wodurch die Verständnis-Generierungs-Lücke ohne externe Annotationen geschlossen wird. ABACUS erzielt Spitzenleistungen über sieben Benchmarks hinweg und übertrifft sowohl aufgabenspezifische Spezialisten als auch größere Generalistenmodelle.

English

ABACUS is a unified vision-language model that handles object counting, crowd counting, referring-expression counting, and count-faithful image generation without any benchmark-specific training required. Our model is built on existing 3B-parameter unified foundation model and is adapted for object localization tasks using three key innovations: density-aware adaptive zooming with objectness maps for spatial grounding; a boundary-aware count policy via GRPO to eliminate crop-boundary errors; and a cycle-consistent GRPO strategy where the understanding branch self-critiques generated outputs, closing the understanding-generation gap without any external annotations. ABACUS achieves state-of-the-art results across seven benchmarks, outperforming both task-specific specialists and larger generalist models.