ABACUS : Adapter un modèle de fondation unifié pour relier la compréhension et la génération du nombre d'images

Résumé

ABACUS est un modèle unifié vision-langage qui gère le comptage d'objets, le comptage de foules, le comptage par expression référentielle et la génération d'images fidèles au comptage, sans nécessiter d'entraînement spécifique à chaque benchmark. Notre modèle est construit sur un modèle de base unifié existant de 3 milliards de paramètres et est adapté aux tâches de localisation d'objets grâce à trois innovations clés : un zoom adaptatif tenant compte de la densité avec des cartes d'objectness pour l'ancrage spatial ; une politique de comptage tenant compte des limites via GRPO pour éliminer les erreurs de limites de recadrage ; et une stratégie GRPO cohérente en boucle où la branche de compréhension critique ses propres sorties générées, comblant ainsi l'écart compréhension-génération sans aucune annotation externe. ABACUS atteint des résultats de pointe sur sept benchmarks, surpassant à la fois les spécialistes spécifiques à une tâche et les modèles généralistes plus grands.

English

ABACUS is a unified vision-language model that handles object counting, crowd counting, referring-expression counting, and count-faithful image generation without any benchmark-specific training required. Our model is built on existing 3B-parameter unified foundation model and is adapted for object localization tasks using three key innovations: density-aware adaptive zooming with objectness maps for spatial grounding; a boundary-aware count policy via GRPO to eliminate crop-boundary errors; and a cycle-consistent GRPO strategy where the understanding branch self-critiques generated outputs, closing the understanding-generation gap without any external annotations. ABACUS achieves state-of-the-art results across seven benchmarks, outperforming both task-specific specialists and larger generalist models.