UniSpace: 統一的視覚表現とスケーラブルなマルチモーダルモデリング

要旨

セマンティック視覚エンコーダは、マルチモーダル理解と画像生成におけるセマンティック条件付けの中心的な視覚インターフェースとなっている。しかし、その最終トークンは細かい視覚的詳細を捨て去るため、ピクセル再構成が不十分となり、画像生成や編集といった再構成が重要なタスクでの利用が制限される。本研究では、理解・生成・編集を、事前学習済みセマンティックViTから構築された単一の視覚表現空間内でモデル化できるかを問う。セマンティックViTの凍結されたTransformerブロックは、本質的に視覚的詳細を保持できないわけではないことを示す。むしろ、元のパッチパラメータ化が表現を意味的抽象化へと導き、最終トークンから細粒度情報を復元することを困難にしているのである。この観察に基づき、パッチ再パラメータ化を導入する。これは、元のセマンティック経路を保持しつつ、同じ凍結されたViTブロックに細粒度の視覚情報を提供する再構成対応パッチ埋め込みを追加するものである。結果として得られる統一表現は、マルチモーダル理解を維持しながら、高忠実度の画像再構成と良好な再構成-生成トレードオフを可能にする。さらに、この表現をUniSpaceへとスケールする。UniSpaceは、独立したVAE経路を持たずに、同じ視覚空間内で理解・生成・編集を行う8BのMixture-of-Transformer-Expertsモデルである。システムレベルの評価は、実用的なテキストから画像への生成と指示ベースの画像編集を示しており、再パラメータ化された事前学習済みViTが、スケーラブルなマルチモーダルモデリングのための統一的な視覚インターフェースとして機能できることを実証している。

English

Semantic vision encoders have become a central visual interface for multimodal understanding and semantic conditioning in image generation. However, their final tokens discard fine-grained visual details, leading to poor pixel reconstruction and limiting their use in reconstruction-sensitive tasks such as image generation and editing. In this work, we ask whether understanding, generation, and editing can be modeled in a single visual representation space built from a pretrained semantic ViT. We show that the frozen Transformer blocks of a semantic ViT are not intrinsically unable to preserve visual details. Instead, the original patch parameterization drives the representation toward semantic abstraction, making fine-grained information difficult to recover from the final tokens. Based on this observation, we introduce Patch Reparameterization, which preserves the original semantic pathway while adding a reconstruction-aware patch embedding that provides fine-grained visual information to the same frozen ViT blocks. The resulting unified representation preserves multimodal understanding while enabling high-fidelity image reconstruction and a favorable reconstruction--generation trade-off. We further scale this representation into UniSpace, an 8B Mixture-of-Transformer-Experts model that performs understanding, generation, and editing in the same visual space without a separate VAE pathway. System-level evaluations demonstrate practical text-to-image generation and instruction-based image editing, showing that a reparameterized pretrained ViT can serve as a unified visual interface for scalable multimodal modeling.