UniWorld: 高解像度セマンティックエンコーダによる統合的な視覚理解と生成

UniWorld: High-Resolution Semantic Encoders for Unified Visual Understanding and Generation

June 3, 2025

著者: Bin Lin, Zongjian Li, Xinhua Cheng, Yuwei Niu, Yang Ye, Xianyi He, Shenghai Yuan, Wangbo Yu, Shaodong Wang, Yunyang Ge, Yatian Pang, Li Yuan

cs.AI

要旨

既存の統一モデルは、視覚言語理解とテキストから画像への生成において強力な性能を発揮していますが、ユーザーが幅広いアプリケーションで切望している画像知覚と操作タスクの探索には限界があります。最近、OpenAIは包括的な画像知覚と操作のための強力なGPT-4o-Imageモデルをリリースし、表現力の高さからコミュニティの関心を集めています。私たちが慎重に設計した実験におけるGPT-4o-Imageの性能を観察した結果、GPT-4o-ImageはVAEではなくセマンティックエンコーダーによって抽出された特徴を活用していると推測されます。一方で、VAEは多くの画像操作モデルにおいて不可欠なコンポーネントとされています。このような興味深い観察に触発され、強力な視覚言語モデルとコントラスティブセマンティックエンコーダーが提供するセマンティック特徴に基づいた統一生成フレームワーク「UniWorld」を提案します。その結果、BAGELのデータ量のわずか1%を使用して強力な統一モデルを構築し、画像編集ベンチマークで一貫してBAGELを上回る性能を発揮しました。UniWorldはまた、競争力のある画像理解と生成能力を維持し、複数の画像知覚タスクにおいて強力な性能を達成しています。私たちは、モデルウェイト、トレーニングおよび評価スクリプト、データセットを含むモデルを完全にオープンソース化しています。

English

Although existing unified models deliver strong performance on vision-language understanding and text-to-image generation, their models are limited in exploring image perception and manipulation tasks, which are urgently desired by users for wide applications. Recently, OpenAI released their powerful GPT-4o-Image model for comprehensive image perception and manipulation, achieving expressive capability and attracting community interests. By observing the performance of GPT-4o-Image in our carefully constructed experiments, we infer that GPT-4o-Image leverages features extracted by semantic encoders instead of VAE, while VAEs are considered essential components in many image manipulation models. Motivated by such inspiring observations, we present a unified generative framework named UniWorld based on semantic features provided by powerful visual-language models and contrastive semantic encoders. As a result, we build a strong unified model using only 1% amount of BAGEL's data, which consistently outperforms BAGEL on image editing benchmarks. UniWorld also maintains competitive image understanding and generation capabilities, achieving strong performance across multiple image perception tasks. We fully open-source our models, including model weights, training and evaluation scripts, and datasets.