UniWorld: Codificadores Semânticos de Alta Resolução para Compreensão e Geração Visual Unificadas

UniWorld: High-Resolution Semantic Encoders for Unified Visual Understanding and Generation

June 3, 2025

Autores: Bin Lin, Zongjian Li, Xinhua Cheng, Yuwei Niu, Yang Ye, Xianyi He, Shenghai Yuan, Wangbo Yu, Shaodong Wang, Yunyang Ge, Yatian Pang, Li Yuan

cs.AI

Resumo

Embora os modelos unificados existentes ofereçam um desempenho robusto em tarefas de compreensão visão-linguagem e geração de texto para imagem, eles são limitados na exploração de tarefas de percepção e manipulação de imagens, que são urgentemente demandadas pelos usuários para amplas aplicações. Recentemente, a OpenAI lançou seu poderoso modelo GPT-4o-Image para percepção e manipulação abrangente de imagens, alcançando capacidade expressiva e atraindo o interesse da comunidade. Ao observar o desempenho do GPT-4o-Image em nossos experimentos cuidadosamente construídos, inferimos que o GPT-4o-Image utiliza características extraídas por codificadores semânticos em vez de VAEs, enquanto os VAEs são considerados componentes essenciais em muitos modelos de manipulação de imagens. Motivados por essas observações inspiradoras, apresentamos um framework generativo unificado chamado UniWorld, baseado em características semânticas fornecidas por modelos visão-linguagem poderosos e codificadores semânticos contrastivos. Como resultado, construímos um modelo unificado robusto utilizando apenas 1% da quantidade de dados do BAGEL, que consistentemente supera o BAGEL em benchmarks de edição de imagens. O UniWorld também mantém capacidades competitivas de compreensão e geração de imagens, alcançando um desempenho forte em múltiplas tarefas de percepção de imagens. Disponibilizamos totalmente nossos modelos em código aberto, incluindo pesos do modelo, scripts de treinamento e avaliação, e conjuntos de dados.

English

Although existing unified models deliver strong performance on vision-language understanding and text-to-image generation, their models are limited in exploring image perception and manipulation tasks, which are urgently desired by users for wide applications. Recently, OpenAI released their powerful GPT-4o-Image model for comprehensive image perception and manipulation, achieving expressive capability and attracting community interests. By observing the performance of GPT-4o-Image in our carefully constructed experiments, we infer that GPT-4o-Image leverages features extracted by semantic encoders instead of VAE, while VAEs are considered essential components in many image manipulation models. Motivated by such inspiring observations, we present a unified generative framework named UniWorld based on semantic features provided by powerful visual-language models and contrastive semantic encoders. As a result, we build a strong unified model using only 1% amount of BAGEL's data, which consistently outperforms BAGEL on image editing benchmarks. UniWorld also maintains competitive image understanding and generation capabilities, achieving strong performance across multiple image perception tasks. We fully open-source our models, including model weights, training and evaluation scripts, and datasets.