UniGame: Wie man ein einheitliches multimodales Modell in seinen eigenen Gegner verwandelt

UniGame: Turning a Unified Multimodal Model Into Its Own Adversary

November 24, 2025

papers.authors: Zhaolong Su, Wang Lu, Hao Chen, Sharon Li, Jindong Wang

cs.AI

papers.abstract

Einheitliche multimodale Modelle (UMMs) haben beeindruckende Leistungen sowohl im Verständnis als auch in der Generierung mit einer einzigen Architektur gezeigt. Jedoch weisen UMMs nach wie vor eine grundlegende Inkonsistenz auf: Das Verständnis begünstigt kompakte Einbettungen, während die Generierung rekonstruktionsreiche Repräsentationen bevorzugt. Dieser strukturelle Zielkonflikt führt zu fehlausgerichteten Entscheidungsgrenzen, verminderter cross-modaler Kohärenz und erhöhter Anfälligkeit unter Distributions- und Adversarial-Shifts. In diesem Artikel stellen wir UniGame vor, einen selbst-adversarialen Nachtrainierungsrahmen, der direkt auf diese Inkonsistenzen abzielt. Durch Anwendung eines leichtgewichtigen Perturbers an der gemeinsamen Token-Schnittstelle ermöglicht UniGame dem Generierungszweig, aktiv fragiles Verständnis zu suchen und herauszufordern, wodurch das Modell zu seinem eigenen Gegner wird. Experimente zeigen, dass UniGame die Konsistenz signifikant verbessert (+4,6%). Zudem erzielt es auch substanzielle Verbesserungen im Verständnis (+3,6%), in der Generierung (+0,02) sowie in der Out-of-Distribution- und Adversarial-Robustheit (+4,8% bzw. +6,2% auf NaturalBench und AdVQA). Der Rahmen ist architekturunabhängig, führt weniger als 1% zusätzliche Parameter ein und ist komplementär zu bestehenden Nachtrainierungsmethoden. Diese Ergebnisse positionieren adversariales Selbstspiel als ein allgemeines und effektives Prinzip zur Verbesserung der Kohärenz, Stabilität und einheitlichen Kompetenz zukünftiger multimodaler Basismodelle. Der offizielle Code ist verfügbar unter: https://github.com/AIFrontierLab/UniGame

English

Unified Multimodal Models (UMMs) have shown impressive performance in both understanding and generation with a single architecture. However, UMMs still exhibit a fundamental inconsistency: understanding favors compact embeddings, whereas generation favors reconstruction-rich representations. This structural trade-off produces misaligned decision boundaries, degraded cross-modal coherence, and heightened vulnerability under distributional and adversarial shifts. In this paper, we present UniGame, a self-adversarial post-training framework that directly targets the inconsistencies. By applying a lightweight perturber at the shared token interface, UniGame enables the generation branch to actively seek and challenge fragile understanding, turning the model itself into its own adversary. Experiments demonstrate that UniGame significantly improves the consistency (+4.6%). Moreover, it also achieves substantial improvements in understanding (+3.6%), generation (+0.02), out-of-distribution and adversarial robustness (+4.8% and +6.2% on NaturalBench and AdVQA). The framework is architecture-agnostic, introduces less than 1% additional parameters, and is complementary to existing post-training methods. These results position adversarial self-play as a general and effective principle for enhancing the coherence, stability, and unified competence of future multimodal foundation models. The official code is available at: https://github.com/AIFrontierLab/UniGame