UFO : Une approche unifiée pour la perception visuelle fine via une interface langagière ouverte

UFO: A Unified Approach to Fine-grained Visual Perception via Open-ended Language Interface

March 3, 2025

Auteurs: Hao Tang, Chenwei Xie, Haiyang Wang, Xiaoyi Bao, Tingyu Weng, Pandeng Li, Yun Zheng, Liwei Wang

cs.AI

Résumé

Les modèles généralistes ont obtenu un succès remarquable dans les tâches de langage et de vision-langage, démontrant le potentiel de la modélisation unifiée. Cependant, l'intégration efficace de tâches de perception fine comme la détection et la segmentation dans ces modèles reste un défi majeur. Cela est principalement dû au fait que ces tâches reposent souvent fortement sur des conceptions et architectures spécifiques qui peuvent compliquer le processus de modélisation. Pour relever ce défi, nous présentons \ours, un cadre qui unifie les tâches de perception visuelle fine à travers une interface langagière ouverte. En transformant toutes les cibles de perception en espace langagier, \ours unifie la détection au niveau objet, la segmentation au niveau pixel et les tâches de vision-langage au niveau image dans un seul modèle. De plus, nous introduisons une nouvelle approche de récupération d'embeddings qui repose uniquement sur l'interface langagière pour supporter les tâches de segmentation. Notre cadre comble le fossé entre la perception fine et les tâches de vision-langage, simplifiant considérablement la conception architecturale et les stratégies d'entraînement tout en atteignant des performances comparables ou supérieures aux méthodes avec des conceptions spécifiques complexes. Après un entraînement multi-tâches sur cinq ensembles de données standard de perception visuelle, \ours surpasse les précédents modèles généralistes de pointe de 12,3 mAP sur la segmentation d'instances COCO et de 3,3 mIoU sur la segmentation sémantique ADE20K. En outre, notre méthode s'intègre de manière transparente avec les MLLM existants, combinant efficacement les capacités de perception fine avec leurs capacités langagières avancées, permettant ainsi des tâches plus complexes comme la segmentation raisonnée. Le code et les modèles seront rendus publics.

English

Generalist models have achieved remarkable success in both language and vision-language tasks, showcasing the potential of unified modeling. However, effectively integrating fine-grained perception tasks like detection and segmentation into these models remains a significant challenge. This is primarily because these tasks often rely heavily on task-specific designs and architectures that can complicate the modeling process. To address this challenge, we present \ours, a framework that Unifies Fine-grained visual perception tasks through an Open-ended language interface. By transforming all perception targets into the language space, \ours unifies object-level detection, pixel-level segmentation, and image-level vision-language tasks into a single model. Additionally, we introduce a novel embedding retrieval approach that relies solely on the language interface to support segmentation tasks. Our framework bridges the gap between fine-grained perception and vision-language tasks, significantly simplifying architectural design and training strategies while achieving comparable or superior performance to methods with intricate task-specific designs. After multi-task training on five standard visual perception datasets, \ours outperforms the previous state-of-the-art generalist models by 12.3 mAP on COCO instance segmentation and 3.3 mIoU on ADE20K semantic segmentation. Furthermore, our method seamlessly integrates with existing MLLMs, effectively combining fine-grained perception capabilities with their advanced language abilities, thereby enabling more challenging tasks such as reasoning segmentation. Code and models will be publicly available.