UniGame：統一マルチモーダルモデルを自身の敵対者へと変容させる

UniGame: Turning a Unified Multimodal Model Into Its Own Adversary

November 24, 2025

著者: Zhaolong Su, Wang Lu, Hao Chen, Sharon Li, Jindong Wang

cs.AI

要旨

統一マルチモーダルモデル（UMM）は、単一アーキテクチャで理解と生成の両方において印象的な性能を示している。しかし、UMMには根本的な不一致が依然として存在する。理解にはコンパクトな埋め込み表現が適する一方で、生成には再構成豊かな表現が望ましいという構造的トレードオフである。この不一致は、整合しない決定境界、劣化したクロスモーダル一貫性、および分布的・敵対的変化に対する脆弱性の増大を引き起こす。本論文では、この不一致に直接対処する自己敵対的ポストトレーニングフレームワーク「UniGame」を提案する。共有トークンインターフェースに軽量な摂動器を適用することで、UniGameは生成ブランチが脆弱な理解を能動的に探査・挑戦することを可能にし、モデル自身をその敵対者へと変える。実験により、UniGameが一貫性を大幅に改善（+4.6%）することを実証した。さらに、理解（+3.6%）、生成（+0.02）、分布外および敵対的ロバスト性（NaturalBenchとAdVQAでそれぞれ+4.8%と+6.2%）においても大幅な改善を達成する。本フレームワークはアーキテクチャ非依存であり、追加パラメータは1%未満で、既存のポストトレーニング手法と補完的に利用可能である。これらの結果は、敵対的自己プレイが将来のマルチモーダル基盤モデルの一貫性、安定性、統一的能力を高める一般的かつ効果的な原理であることを示唆する。公式コードは以下で公開されている：https://github.com/AIFrontierLab/UniGame

English

Unified Multimodal Models (UMMs) have shown impressive performance in both understanding and generation with a single architecture. However, UMMs still exhibit a fundamental inconsistency: understanding favors compact embeddings, whereas generation favors reconstruction-rich representations. This structural trade-off produces misaligned decision boundaries, degraded cross-modal coherence, and heightened vulnerability under distributional and adversarial shifts. In this paper, we present UniGame, a self-adversarial post-training framework that directly targets the inconsistencies. By applying a lightweight perturber at the shared token interface, UniGame enables the generation branch to actively seek and challenge fragile understanding, turning the model itself into its own adversary. Experiments demonstrate that UniGame significantly improves the consistency (+4.6%). Moreover, it also achieves substantial improvements in understanding (+3.6%), generation (+0.02), out-of-distribution and adversarial robustness (+4.8% and +6.2% on NaturalBench and AdVQA). The framework is architecture-agnostic, introduces less than 1% additional parameters, and is complementary to existing post-training methods. These results position adversarial self-play as a general and effective principle for enhancing the coherence, stability, and unified competence of future multimodal foundation models. The official code is available at: https://github.com/AIFrontierLab/UniGame