UFO: 개방형 언어 인터페이스를 통한 세밀한 시각적 인식을 위한 통합 접근법

UFO: A Unified Approach to Fine-grained Visual Perception via Open-ended Language Interface

March 3, 2025

저자: Hao Tang, Chenwei Xie, Haiyang Wang, Xiaoyi Bao, Tingyu Weng, Pandeng Li, Yun Zheng, Liwei Wang

cs.AI

초록

범용 모델은 언어 및 시각-언어 작업에서 놀라운 성공을 거두며 통합 모델링의 잠재력을 입증했습니다. 그러나 탐지(detection) 및 분할(segmentation)과 같은 세밀한 인지 작업을 이러한 모델에 효과적으로 통합하는 것은 여전히 큰 과제로 남아 있습니다. 이는 주로 이러한 작업들이 종종 작업별 설계와 아키텍처에 크게 의존하기 때문에 모델링 과정을 복잡하게 만들기 때문입니다. 이러한 문제를 해결하기 위해, 우리는 \ours라는 프레임워크를 제시합니다. 이 프레임워크는 개방형 언어 인터페이스를 통해 세밀한 시각 인지 작업을 통합합니다. 모든 인지 대상을 언어 공간으로 변환함으로써, \ours는 객체 수준의 탐지, 픽셀 수준의 분할, 그리고 이미지 수준의 시각-언어 작업을 단일 모델로 통합합니다. 또한, 우리는 분할 작업을 지원하기 위해 언어 인터페이스만을 활용한 새로운 임베딩 검색 방식을 도입했습니다. 우리의 프레임워크는 세밀한 인지 작업과 시각-언어 작업 간의 간극을 메우며, 복잡한 작업별 설계를 가진 방법들과 비교할 만하거나 더 나은 성능을 달성하면서도 아키텍처 설계와 훈련 전략을 크게 단순화합니다. 다섯 가지 표준 시각 인지 데이터셋에 대한 다중 작업 훈련 후, \ours는 COCO 인스턴스 분할에서 이전 최첨단 범용 모델보다 12.3 mAP, ADE20K 의미론적 분할에서 3.3 mIoU로 더 우수한 성능을 보였습니다. 더 나아가, 우리의 방법은 기존의 MLLM(Multimodal Large Language Models)과 원활하게 통합되어, 세밀한 인지 능력을 고급 언어 능력과 효과적으로 결합함으로써 추론 분할과 같은 더 도전적인 작업을 가능하게 합니다. 코드와 모델은 공개될 예정입니다.

English

Generalist models have achieved remarkable success in both language and vision-language tasks, showcasing the potential of unified modeling. However, effectively integrating fine-grained perception tasks like detection and segmentation into these models remains a significant challenge. This is primarily because these tasks often rely heavily on task-specific designs and architectures that can complicate the modeling process. To address this challenge, we present \ours, a framework that Unifies Fine-grained visual perception tasks through an Open-ended language interface. By transforming all perception targets into the language space, \ours unifies object-level detection, pixel-level segmentation, and image-level vision-language tasks into a single model. Additionally, we introduce a novel embedding retrieval approach that relies solely on the language interface to support segmentation tasks. Our framework bridges the gap between fine-grained perception and vision-language tasks, significantly simplifying architectural design and training strategies while achieving comparable or superior performance to methods with intricate task-specific designs. After multi-task training on five standard visual perception datasets, \ours outperforms the previous state-of-the-art generalist models by 12.3 mAP on COCO instance segmentation and 3.3 mIoU on ADE20K semantic segmentation. Furthermore, our method seamlessly integrates with existing MLLMs, effectively combining fine-grained perception capabilities with their advanced language abilities, thereby enabling more challenging tasks such as reasoning segmentation. Code and models will be publicly available.