UniWorld: Высококачественные семантические кодировщики для унифицированного визуального восприятия и генерации

UniWorld: High-Resolution Semantic Encoders for Unified Visual Understanding and Generation

June 3, 2025

Авторы: Bin Lin, Zongjian Li, Xinhua Cheng, Yuwei Niu, Yang Ye, Xianyi He, Shenghai Yuan, Wangbo Yu, Shaodong Wang, Yunyang Ge, Yatian Pang, Li Yuan

cs.AI

Аннотация

Хотя существующие унифицированные модели демонстрируют высокую производительность в задачах понимания визуально-текстовой информации и генерации изображений по тексту, они ограничены в исследовании задач восприятия и манипуляции изображениями, которые крайне востребованы пользователями для широкого применения. Недавно OpenAI представила свою мощную модель GPT-4o-Image для комплексного восприятия и манипуляции изображениями, достигнув выразительных возможностей и привлекши внимание сообщества. Наблюдая за производительностью GPT-4o-Image в наших тщательно разработанных экспериментах, мы предполагаем, что GPT-4o-Image использует признаки, извлеченные семантическими кодировщиками, вместо VAE, в то время как VAE считаются важными компонентами во многих моделях манипуляции изображениями. Вдохновленные такими наблюдениями, мы представляем унифицированную генеративную структуру под названием UniWorld, основанную на семантических признаках, предоставляемых мощными визуально-языковыми моделями и контрастными семантическими кодировщиками. В результате мы создаем сильную унифицированную модель, используя всего 1% данных BAGEL, которая стабильно превосходит BAGEL на бенчмарках редактирования изображений. UniWorld также сохраняет конкурентоспособные возможности понимания и генерации изображений, демонстрируя высокую производительность в множестве задач восприятия изображений. Мы полностью открываем исходный код наших моделей, включая веса моделей, скрипты обучения и оценки, а также наборы данных.

English

Although existing unified models deliver strong performance on vision-language understanding and text-to-image generation, their models are limited in exploring image perception and manipulation tasks, which are urgently desired by users for wide applications. Recently, OpenAI released their powerful GPT-4o-Image model for comprehensive image perception and manipulation, achieving expressive capability and attracting community interests. By observing the performance of GPT-4o-Image in our carefully constructed experiments, we infer that GPT-4o-Image leverages features extracted by semantic encoders instead of VAE, while VAEs are considered essential components in many image manipulation models. Motivated by such inspiring observations, we present a unified generative framework named UniWorld based on semantic features provided by powerful visual-language models and contrastive semantic encoders. As a result, we build a strong unified model using only 1% amount of BAGEL's data, which consistently outperforms BAGEL on image editing benchmarks. UniWorld also maintains competitive image understanding and generation capabilities, achieving strong performance across multiple image perception tasks. We fully open-source our models, including model weights, training and evaluation scripts, and datasets.