UniWorld: Hoogresolutie semantische encoders voor geïntegreerd visueel begrip en generatie

UniWorld: High-Resolution Semantic Encoders for Unified Visual Understanding and Generation

June 3, 2025

Auteurs: Bin Lin, Zongjian Li, Xinhua Cheng, Yuwei Niu, Yang Ye, Xianyi He, Shenghai Yuan, Wangbo Yu, Shaodong Wang, Yunyang Ge, Yatian Pang, Li Yuan

cs.AI

Samenvatting

Hoewel bestaande geünificeerde modellen sterke prestaties leveren op het gebied van visueel-taalkundig begrip en tekst-naar-beeldgeneratie, zijn deze modellen beperkt in het verkennen van beeldperceptie- en manipulatie taken, die dringend gewenst worden door gebruikers voor brede toepassingen. Onlangs heeft OpenAI hun krachtige GPT-4o-Image model uitgebracht voor uitgebreide beeldperceptie en -manipulatie, waarbij het expressieve vermogen bereikt en de interesse van de gemeenschap heeft gewekt. Door de prestaties van GPT-4o-Image te observeren in onze zorgvuldig opgezette experimenten, leiden we af dat GPT-4o-Image gebruik maakt van kenmerken die zijn geëxtraheerd door semantische encoders in plaats van VAE, terwijl VAEs worden beschouwd als essentiële componenten in veel beeldmanipulatiemodellen. Gemotiveerd door dergelijke inspirerende observaties, presenteren wij een geünificeerd generatief framework genaamd UniWorld, gebaseerd op semantische kenmerken die worden geleverd door krachtige visueel-taalkundige modellen en contrastieve semantische encoders. Als resultaat bouwen we een sterk geünificeerd model met slechts 1% van de hoeveelheid data van BAGEL, dat consistent beter presteert dan BAGEL op beeldbewerkingsbenchmarks. UniWorld behoudt ook competitieve beeldbegrips- en generatiecapaciteiten, waarbij het sterke prestaties behaalt op meerdere beeldperceptietaken. We maken onze modellen volledig open-source, inclusief modelgewichten, trainings- en evaluatiescripts, en datasets.

English

Although existing unified models deliver strong performance on vision-language understanding and text-to-image generation, their models are limited in exploring image perception and manipulation tasks, which are urgently desired by users for wide applications. Recently, OpenAI released their powerful GPT-4o-Image model for comprehensive image perception and manipulation, achieving expressive capability and attracting community interests. By observing the performance of GPT-4o-Image in our carefully constructed experiments, we infer that GPT-4o-Image leverages features extracted by semantic encoders instead of VAE, while VAEs are considered essential components in many image manipulation models. Motivated by such inspiring observations, we present a unified generative framework named UniWorld based on semantic features provided by powerful visual-language models and contrastive semantic encoders. As a result, we build a strong unified model using only 1% amount of BAGEL's data, which consistently outperforms BAGEL on image editing benchmarks. UniWorld also maintains competitive image understanding and generation capabilities, achieving strong performance across multiple image perception tasks. We fully open-source our models, including model weights, training and evaluation scripts, and datasets.