UniGame: Een verenigd multimodaal model veranderen in zijn eigen tegenstander

UniGame: Turning a Unified Multimodal Model Into Its Own Adversary

November 24, 2025

Auteurs: Zhaolong Su, Wang Lu, Hao Chen, Sharon Li, Jindong Wang

cs.AI

Samenvatting

Unified Multimodal Models (UMM's) hebben indrukwekkende prestaties getoond in zowel begrip als generatie met een enkele architectuur. UMM's vertonen echter nog steeds een fundamentele inconsistentie: begrip heeft baat bij compacte embeddings, terwijl generatie voordeel haalt uit reconstructierijke representaties. Deze structurele afweging leidt tot niet-uitgelijnde beslissingsgrenzen, verminderde cross-modale coherentie en een grotere kwetsbaarheid onder distributionele en adversariële verschuivingen. In dit artikel presenteren we UniGame, een zelf-adversarieel post-training raamwerk dat rechtstreeks op deze inconsistenties mikt. Door een lichtgewicht perturber toe te passen op de gedeelde tokeninterface, stelt UniGame de generatietak in staat actief kwetsbaar begrip op te zoeken en uit te dagen, waardoor het model zelf zijn eigen tegenstander wordt. Experimenten tonen aan dat UniGame de consistentie aanzienlijk verbetert (+4,6%). Bovendien behaalt het ook substantiële verbeteringen in begrip (+3,6%), generatie (+0,02), out-of-distribution- en adversariële robuustheid (+4,8% en +6,2% op NaturalBench en AdVQA). Het raamwerk is architectuuronafhankelijk, introduceert minder dan 1% extra parameters en is complementair aan bestaande post-training methoden. Deze resultaten positioneren adversarial zelfspel als een algemeen en effectief principe voor het verbeteren van de coherentie, stabiliteit en verenigde competentie van toekomstige multimodale foundation-modellen. De officiële code is beschikbaar op: https://github.com/AIFrontierLab/UniGame

English

Unified Multimodal Models (UMMs) have shown impressive performance in both understanding and generation with a single architecture. However, UMMs still exhibit a fundamental inconsistency: understanding favors compact embeddings, whereas generation favors reconstruction-rich representations. This structural trade-off produces misaligned decision boundaries, degraded cross-modal coherence, and heightened vulnerability under distributional and adversarial shifts. In this paper, we present UniGame, a self-adversarial post-training framework that directly targets the inconsistencies. By applying a lightweight perturber at the shared token interface, UniGame enables the generation branch to actively seek and challenge fragile understanding, turning the model itself into its own adversary. Experiments demonstrate that UniGame significantly improves the consistency (+4.6%). Moreover, it also achieves substantial improvements in understanding (+3.6%), generation (+0.02), out-of-distribution and adversarial robustness (+4.8% and +6.2% on NaturalBench and AdVQA). The framework is architecture-agnostic, introduces less than 1% additional parameters, and is complementary to existing post-training methods. These results position adversarial self-play as a general and effective principle for enhancing the coherence, stability, and unified competence of future multimodal foundation models. The official code is available at: https://github.com/AIFrontierLab/UniGame