UFO: Un Approccio Unificato alla Percezione Visiva Fine-Grained tramite Interfaccia Linguistica Aperta

UFO: A Unified Approach to Fine-grained Visual Perception via Open-ended Language Interface

March 3, 2025

Autori: Hao Tang, Chenwei Xie, Haiyang Wang, Xiaoyi Bao, Tingyu Weng, Pandeng Li, Yun Zheng, Liwei Wang

cs.AI

Abstract

I modelli generalisti hanno ottenuto un successo straordinario sia nei compiti linguistici che in quelli di visione e linguaggio, dimostrando il potenziale della modellazione unificata. Tuttavia, integrare efficacemente compiti di percezione fine come il rilevamento e la segmentazione in questi modelli rimane una sfida significativa. Ciò è principalmente dovuto al fatto che questi compiti spesso si basano fortemente su design e architetture specifici per il compito, che possono complicare il processo di modellazione. Per affrontare questa sfida, presentiamo \ours, un framework che unifica i compiti di percezione visiva fine attraverso un'interfaccia linguistica aperta. Trasformando tutti i target di percezione nello spazio linguistico, \ours unifica il rilevamento a livello di oggetto, la segmentazione a livello di pixel e i compiti di visione e linguaggio a livello di immagine in un unico modello. Inoltre, introduciamo un nuovo approccio di recupero degli embedding che si basa esclusivamente sull'interfaccia linguistica per supportare i compiti di segmentazione. Il nostro framework colma il divario tra la percezione fine e i compiti di visione e linguaggio, semplificando significativamente il design architetturale e le strategie di addestramento, pur ottenendo prestazioni comparabili o superiori ai metodi con design specifici per il compito. Dopo l'addestramento multi-task su cinque dataset standard di percezione visiva, \ours supera i precedenti modelli generalisti all'avanguardia di 12.3 mAP nella segmentazione di istanze su COCO e di 3.3 mIoU nella segmentazione semantica su ADE20K. Inoltre, il nostro metodo si integra perfettamente con gli MLLM esistenti, combinando efficacemente le capacità di percezione fine con le loro avanzate abilità linguistiche, consentendo così compiti più impegnativi come la segmentazione ragionata. Codice e modelli saranno resi pubblicamente disponibili.

English

Generalist models have achieved remarkable success in both language and vision-language tasks, showcasing the potential of unified modeling. However, effectively integrating fine-grained perception tasks like detection and segmentation into these models remains a significant challenge. This is primarily because these tasks often rely heavily on task-specific designs and architectures that can complicate the modeling process. To address this challenge, we present \ours, a framework that Unifies Fine-grained visual perception tasks through an Open-ended language interface. By transforming all perception targets into the language space, \ours unifies object-level detection, pixel-level segmentation, and image-level vision-language tasks into a single model. Additionally, we introduce a novel embedding retrieval approach that relies solely on the language interface to support segmentation tasks. Our framework bridges the gap between fine-grained perception and vision-language tasks, significantly simplifying architectural design and training strategies while achieving comparable or superior performance to methods with intricate task-specific designs. After multi-task training on five standard visual perception datasets, \ours outperforms the previous state-of-the-art generalist models by 12.3 mAP on COCO instance segmentation and 3.3 mIoU on ADE20K semantic segmentation. Furthermore, our method seamlessly integrates with existing MLLMs, effectively combining fine-grained perception capabilities with their advanced language abilities, thereby enabling more challenging tasks such as reasoning segmentation. Code and models will be publicly available.