UniWorld : Encodeurs sémantiques haute résolution pour une compréhension et une génération visuelles unifiées

UniWorld: High-Resolution Semantic Encoders for Unified Visual Understanding and Generation

June 3, 2025

Auteurs: Bin Lin, Zongjian Li, Xinhua Cheng, Yuwei Niu, Yang Ye, Xianyi He, Shenghai Yuan, Wangbo Yu, Shaodong Wang, Yunyang Ge, Yatian Pang, Li Yuan

cs.AI

Résumé

Bien que les modèles unifiés existants offrent des performances solides en compréhension vision-langage et en génération d'images à partir de texte, ils sont limités dans l'exploration des tâches de perception et de manipulation d'images, pourtant fortement demandées par les utilisateurs pour des applications variées. Récemment, OpenAI a publié son puissant modèle GPT-4o-Image pour une perception et une manipulation complètes des images, atteignant une capacité expressive et suscitant l'intérêt de la communauté. En observant les performances de GPT-4o-Image dans nos expériences soigneusement conçues, nous déduisons que GPT-4o-Image exploite des caractéristiques extraites par des encodeurs sémantiques plutôt que par des VAE, alors que les VAE sont considérés comme des composants essentiels dans de nombreux modèles de manipulation d'images. Motivés par ces observations inspirantes, nous présentons un cadre génératif unifié nommé UniWorld, basé sur des caractéristiques sémantiques fournies par des modèles vision-langage puissants et des encodeurs sémantiques contrastifs. En conséquence, nous construisons un modèle unifié robuste en utilisant seulement 1 % des données de BAGEL, surpassant systématiquement BAGEL sur les benchmarks d'édition d'images. UniWorld maintient également des capacités compétitives en compréhension et génération d'images, obtenant des performances solides sur plusieurs tâches de perception d'images. Nous mettons entièrement en open-source nos modèles, incluant les poids des modèles, les scripts d'entraînement et d'évaluation, ainsi que les jeux de données.

English

Although existing unified models deliver strong performance on vision-language understanding and text-to-image generation, their models are limited in exploring image perception and manipulation tasks, which are urgently desired by users for wide applications. Recently, OpenAI released their powerful GPT-4o-Image model for comprehensive image perception and manipulation, achieving expressive capability and attracting community interests. By observing the performance of GPT-4o-Image in our carefully constructed experiments, we infer that GPT-4o-Image leverages features extracted by semantic encoders instead of VAE, while VAEs are considered essential components in many image manipulation models. Motivated by such inspiring observations, we present a unified generative framework named UniWorld based on semantic features provided by powerful visual-language models and contrastive semantic encoders. As a result, we build a strong unified model using only 1% amount of BAGEL's data, which consistently outperforms BAGEL on image editing benchmarks. UniWorld also maintains competitive image understanding and generation capabilities, achieving strong performance across multiple image perception tasks. We fully open-source our models, including model weights, training and evaluation scripts, and datasets.