UniGame : Transformer un modèle multimodal unifié en son propre adversaire

UniGame: Turning a Unified Multimodal Model Into Its Own Adversary

November 24, 2025

papers.authors: Zhaolong Su, Wang Lu, Hao Chen, Sharon Li, Jindong Wang

cs.AI

papers.abstract

Les modèles multimodaux unifiés (UMM) ont démontré des performances impressionnantes en compréhension et en génération avec une architecture unique. Cependant, les UMM présentent encore une incohérence fondamentale : la compréhension privilégie des embeddings compacts, tandis que la génération favorise des représentations riches en information de reconstruction. Ce compromis structurel produit des frontières décisionnelles désalignées, une cohérence intermodale dégradée et une vulnérabilité accrue face aux décalages distributionnels et aux attaques adverses. Dans cet article, nous présentons UniGame, un cadre de post-formation auto-adversarial qui cible directement ces incohérences. En appliquant un perturbeur léger à l'interface de jetons partagés, UniGame permet à la branche de génération de rechercher et de défier activement la compréhension fragile, transformant le modèle en son propre adversaire. Les expériences démontrent qu'UniGame améliore significativement la cohérence (+4,6%). De plus, il permet également des améliorations substantielles en compréhension (+3,6%), en génération (+0,02), ainsi qu'en robustesse hors-distribution et adversarial (+4,8% et +6,2% sur NaturalBench et AdVQA). Le cadre est agnostique à l'architecture, introduit moins de 1% de paramètres supplémentaires et est complémentaire aux méthodes de post-formation existantes. Ces résultats positionnent l'auto-confrontation adversarial comme un principe général et efficace pour améliorer la cohérence, la stabilité et la compétence unifiée des futurs modèles de fondation multimodaux. Le code officiel est disponible à l'adresse : https://github.com/AIFrontierLab/UniGame

English

Unified Multimodal Models (UMMs) have shown impressive performance in both understanding and generation with a single architecture. However, UMMs still exhibit a fundamental inconsistency: understanding favors compact embeddings, whereas generation favors reconstruction-rich representations. This structural trade-off produces misaligned decision boundaries, degraded cross-modal coherence, and heightened vulnerability under distributional and adversarial shifts. In this paper, we present UniGame, a self-adversarial post-training framework that directly targets the inconsistencies. By applying a lightweight perturber at the shared token interface, UniGame enables the generation branch to actively seek and challenge fragile understanding, turning the model itself into its own adversary. Experiments demonstrate that UniGame significantly improves the consistency (+4.6%). Moreover, it also achieves substantial improvements in understanding (+3.6%), generation (+0.02), out-of-distribution and adversarial robustness (+4.8% and +6.2% on NaturalBench and AdVQA). The framework is architecture-agnostic, introduces less than 1% additional parameters, and is complementary to existing post-training methods. These results position adversarial self-play as a general and effective principle for enhancing the coherence, stability, and unified competence of future multimodal foundation models. The official code is available at: https://github.com/AIFrontierLab/UniGame