UniWorld: Encoder Semantici ad Alta Risoluzione per la Comprensione e Generazione Visiva Unificata

UniWorld: High-Resolution Semantic Encoders for Unified Visual Understanding and Generation

June 3, 2025

Autori: Bin Lin, Zongjian Li, Xinhua Cheng, Yuwei Niu, Yang Ye, Xianyi He, Shenghai Yuan, Wangbo Yu, Shaodong Wang, Yunyang Ge, Yatian Pang, Li Yuan

cs.AI

Abstract

Sebbene i modelli unificati esistenti offrano prestazioni solide nella comprensione visivo-linguistica e nella generazione di immagini da testo, sono limitati nell'esplorazione di compiti di percezione e manipolazione delle immagini, che sono urgentemente richiesti dagli utenti per applicazioni ampie. Recentemente, OpenAI ha rilasciato il loro potente modello GPT-4o-Image per una percezione e manipolazione completa delle immagini, raggiungendo una capacità espressiva e attirando l'interesse della comunità. Osservando le prestazioni di GPT-4o-Image nei nostri esperimenti accuratamente costruiti, deduciamo che GPT-4o-Image sfrutta caratteristiche estratte da encoder semantici invece di VAE, mentre i VAE sono considerati componenti essenziali in molti modelli di manipolazione delle immagini. Motivati da tali osservazioni stimolanti, presentiamo un framework generativo unificato chiamato UniWorld, basato su caratteristiche semantiche fornite da potenti modelli visivo-linguistici e encoder semantici contrastivi. Di conseguenza, costruiamo un modello unificato solido utilizzando solo l'1% dei dati di BAGEL, che supera costantemente BAGEL nei benchmark di editing delle immagini. UniWorld mantiene anche capacità competitive di comprensione e generazione delle immagini, ottenendo prestazioni solide in molteplici compiti di percezione delle immagini. Rilasciamo completamente in open-source i nostri modelli, inclusi pesi del modello, script di addestramento e valutazione, e dataset.

English

Although existing unified models deliver strong performance on vision-language understanding and text-to-image generation, their models are limited in exploring image perception and manipulation tasks, which are urgently desired by users for wide applications. Recently, OpenAI released their powerful GPT-4o-Image model for comprehensive image perception and manipulation, achieving expressive capability and attracting community interests. By observing the performance of GPT-4o-Image in our carefully constructed experiments, we infer that GPT-4o-Image leverages features extracted by semantic encoders instead of VAE, while VAEs are considered essential components in many image manipulation models. Motivated by such inspiring observations, we present a unified generative framework named UniWorld based on semantic features provided by powerful visual-language models and contrastive semantic encoders. As a result, we build a strong unified model using only 1% amount of BAGEL's data, which consistently outperforms BAGEL on image editing benchmarks. UniWorld also maintains competitive image understanding and generation capabilities, achieving strong performance across multiple image perception tasks. We fully open-source our models, including model weights, training and evaluation scripts, and datasets.