ABACUS: Het Aanpassen van een Geünificeerd Basismodel voor het Overbruggen van Beeldtelling Begrip en Generatie

Samenvatting

ABACUS is een uniform visie-taalmodel dat objecttelling, menigtetelling, verwijzende-expressietelling en telling-getrouwe beeldgeneratie uitvoert zonder dat hiervoor benchmarkspecifieke training vereist is. Ons model is gebouwd op een bestaand 3B-parameter uniform basismodel en is aangepast voor objectlokalisatietaken met behulp van drie belangrijke innovaties: dichtheidsbewust adaptief inzoomen met objectness-kaarten voor ruimtelijke verankering; een grensbewust telbeleid via GRPO om uitsnijdingsgrensfouten te elimineren; en een cyclisch consistente GRPO-strategie waarbij de begripstak de gegenereerde output zelf bekritiseert, waardoor de kloof tussen begrip en generatie wordt overbrugd zonder externe annotaties. ABACUS behaalt state-of-the-art resultaten op zeven benchmarks en presteert beter dan zowel taakspecifieke specialisten als grotere generalistische modellen.

English

ABACUS is a unified vision-language model that handles object counting, crowd counting, referring-expression counting, and count-faithful image generation without any benchmark-specific training required. Our model is built on existing 3B-parameter unified foundation model and is adapted for object localization tasks using three key innovations: density-aware adaptive zooming with objectness maps for spatial grounding; a boundary-aware count policy via GRPO to eliminate crop-boundary errors; and a cycle-consistent GRPO strategy where the understanding branch self-critiques generated outputs, closing the understanding-generation gap without any external annotations. ABACUS achieves state-of-the-art results across seven benchmarks, outperforming both task-specific specialists and larger generalist models.