ABACUS: Adaptando el Modelo de Base Unificado para Unir la Comprensión y Generación del Conteo en Imágenes

Resumen

ABACUS es un modelo unificado de visión y lenguaje que maneja el conteo de objetos, el conteo de multitudes, el conteo por expresión referencial y la generación de imágenes fiel al conteo sin necesidad de entrenamiento específico para ningún punto de referencia. Nuestro modelo se basa en un modelo fundacional unificado existente de 3 mil millones de parámetros y se adapta a tareas de localización de objetos mediante tres innovaciones clave: zoom adaptativo consciente de la densidad con mapas de objetividad para el anclaje espacial; una política de conteo consciente de los límites mediante GRPO para eliminar errores de límites de recorte; y una estrategia de GRPO consistente en el ciclo donde la rama de comprensión autocrítica las salidas generadas, cerrando la brecha entre comprensión y generación sin anotaciones externas. ABACUS alcanza resultados de vanguardia en siete puntos de referencia, superando tanto a especialistas en tareas específicas como a modelos generalistas más grandes.

English

ABACUS is a unified vision-language model that handles object counting, crowd counting, referring-expression counting, and count-faithful image generation without any benchmark-specific training required. Our model is built on existing 3B-parameter unified foundation model and is adapted for object localization tasks using three key innovations: density-aware adaptive zooming with objectness maps for spatial grounding; a boundary-aware count policy via GRPO to eliminate crop-boundary errors; and a cycle-consistent GRPO strategy where the understanding branch self-critiques generated outputs, closing the understanding-generation gap without any external annotations. ABACUS achieves state-of-the-art results across seven benchmarks, outperforming both task-specific specialists and larger generalist models.