UniWorld: Hochauflösende semantische Encoder für einheitliches visuelles Verständnis und Generierung

UniWorld: High-Resolution Semantic Encoders for Unified Visual Understanding and Generation

June 3, 2025

Autoren: Bin Lin, Zongjian Li, Xinhua Cheng, Yuwei Niu, Yang Ye, Xianyi He, Shenghai Yuan, Wangbo Yu, Shaodong Wang, Yunyang Ge, Yatian Pang, Li Yuan

cs.AI

Zusammenfassung

Obwohl bestehende einheitliche Modelle eine starke Leistung bei der visuell-sprachlichen Verarbeitung und der Text-zu-Bild-Generierung liefern, sind sie in der Erforschung von Bildwahrnehmungs- und Bildbearbeitungsaufgaben eingeschränkt, die dringend für breite Anwendungen benötigt werden. Kürzlich hat OpenAI sein leistungsstarkes GPT-4o-Image-Modell für umfassende Bildwahrnehmung und -bearbeitung veröffentlicht, das eine ausdrucksstarke Fähigkeit aufweist und das Interesse der Community geweckt hat. Durch die Beobachtung der Leistung von GPT-4o-Image in unseren sorgfältig konstruierten Experimenten schließen wir, dass GPT-4o-Image Merkmale nutzt, die von semantischen Encodern extrahiert werden, anstatt von VAEs, während VAEs als wesentliche Komponenten in vielen Bildbearbeitungsmodellen betrachtet werden. Motiviert durch diese inspirierenden Beobachtungen präsentieren wir ein einheitliches generatives Framework namens UniWorld, das auf semantischen Merkmalen basiert, die von leistungsstarken visuell-sprachlichen Modellen und kontrastiven semantischen Encodern bereitgestellt werden. Als Ergebnis bauen wir ein starkes einheitliches Modell mit nur 1 % der Datenmenge von BAGEL, das BAGEL auf Bildbearbeitungs-Benchmarks konsequent übertrifft. UniWorld behält auch wettbewerbsfähige Fähigkeiten in der Bildverarbeitung und -generierung bei und erzielt starke Leistungen in mehreren Bildwahrnehmungsaufgaben. Wir stellen unsere Modelle vollständig als Open Source zur Verfügung, einschließlich Modellgewichten, Trainings- und Evaluierungsskripten sowie Datensätzen.

English

Although existing unified models deliver strong performance on vision-language understanding and text-to-image generation, their models are limited in exploring image perception and manipulation tasks, which are urgently desired by users for wide applications. Recently, OpenAI released their powerful GPT-4o-Image model for comprehensive image perception and manipulation, achieving expressive capability and attracting community interests. By observing the performance of GPT-4o-Image in our carefully constructed experiments, we infer that GPT-4o-Image leverages features extracted by semantic encoders instead of VAE, while VAEs are considered essential components in many image manipulation models. Motivated by such inspiring observations, we present a unified generative framework named UniWorld based on semantic features provided by powerful visual-language models and contrastive semantic encoders. As a result, we build a strong unified model using only 1% amount of BAGEL's data, which consistently outperforms BAGEL on image editing benchmarks. UniWorld also maintains competitive image understanding and generation capabilities, achieving strong performance across multiple image perception tasks. We fully open-source our models, including model weights, training and evaluation scripts, and datasets.