UniGame: Превращение унифицированной мультимодальной модели в собственного противника

UniGame: Turning a Unified Multimodal Model Into Its Own Adversary

November 24, 2025

Авторы: Zhaolong Su, Wang Lu, Hao Chen, Sharon Li, Jindong Wang

cs.AI

Аннотация

Унифицированные мультимодальные модели (UMM) демонстрируют впечатляющие результаты как в понимании, так и в генерации с использованием единой архитектуры. Однако UMM по-прежнему демонстрируют фундаментальную несогласованность: понимание требует компактных эмбеддингов, тогда как генерация выигрывает от реконструкционно-богатых представлений. Этот структурный компромисс порождает невыровненные границы решений, сниженную кросс-модальную согласованность и повышенную уязвимость при распределительных и адверсарных сдвигах. В данной статье мы представляем UniGame, само-адверсарную фреймворк пост-обучения, которая напрямую нацелена на эти несогласованности. Применяя легковесный пертурбатор на уровне общего токенного интерфейса, UniGame позволяет ветви генерации активно выявлять и оспаривать хрупкое понимание, превращая саму модель в её собственного противника. Эксперименты показывают, что UniGame значительно улучшает согласованность (+4.6%). Более того, она также достигает существенного улучшения в понимании (+3.6%), генерации (+0.02), а также в устойчивости к данным вне распределения и адверсарным атакам (+4.8% и +6.2% на NaturalBench и AdVQA). Фреймворк является архитектурно-независимым, вводит менее 1% дополнительных параметров и дополняет существующие методы пост-обучения. Эти результаты позиционируют адверсарную самоигру в качестве общего и эффективного принципа для повышения согласованности, стабильности и унифицированной компетентности будущих мультимодальных базовых моделей. Официальный код доступен по адресу: https://github.com/AIFrontierLab/UniGame

English

Unified Multimodal Models (UMMs) have shown impressive performance in both understanding and generation with a single architecture. However, UMMs still exhibit a fundamental inconsistency: understanding favors compact embeddings, whereas generation favors reconstruction-rich representations. This structural trade-off produces misaligned decision boundaries, degraded cross-modal coherence, and heightened vulnerability under distributional and adversarial shifts. In this paper, we present UniGame, a self-adversarial post-training framework that directly targets the inconsistencies. By applying a lightweight perturber at the shared token interface, UniGame enables the generation branch to actively seek and challenge fragile understanding, turning the model itself into its own adversary. Experiments demonstrate that UniGame significantly improves the consistency (+4.6%). Moreover, it also achieves substantial improvements in understanding (+3.6%), generation (+0.02), out-of-distribution and adversarial robustness (+4.8% and +6.2% on NaturalBench and AdVQA). The framework is architecture-agnostic, introduces less than 1% additional parameters, and is complementary to existing post-training methods. These results position adversarial self-play as a general and effective principle for enhancing the coherence, stability, and unified competence of future multimodal foundation models. The official code is available at: https://github.com/AIFrontierLab/UniGame