Uni-ViGU: К унифицированному созданию и пониманию видео с помощью диффузионного генератора

Uni-ViGU: Towards Unified Video Generation and Understanding via A Diffusion-Based Video Generator

April 9, 2026

Авторы: Luozheng Qin, Jia Gong, Qian Qiao, Tianjiao Li, Li Xu, Haoyu Pan, Chao Qu, Zhiyu Tan, Hao Li

cs.AI

Аннотация

Унифицированные мультимодальные модели, объединяющие визуальное понимание и генерацию, сталкиваются с фундаментальной проблемой: генерация изображений и видео требует значительно более высоких вычислительных затрат по сравнению с пониманием, особенно для видео. Этот дисбаланс побуждает нас инвертировать традиционную парадигму: вместо расширения MLLM-моделей, ориентированных на понимание, для поддержки генерации, мы предлагаем Uni-ViGU — фреймворк, который унифицирует генерацию и понимание видео, используя в качестве основы видеогенератор. Мы представляем унифицированный метод потоков, который выполняет непрерывное согласование потоков для видео и дискретное согласование потоков для текста в рамках единого процесса, обеспечивая согласованную мультимодальную генерацию. Кроме того, мы предлагаем модульную MoE-архитектуру, которая дополняет трансформерные блоки облегченными слоями для генерации текста, сохраняя при этом генеративные априорные знания. Для переориентации знаний о генерации на задачи понимания мы разрабатываем механизм двунаправленного обучения с двумя этапами: этап «Воспоминания знаний» восстанавливает входные промпты, чтобы использовать изученные текстово-видео соответствия, а этап «Утончения способностей» выполняет тонкую настройку на детальных описаниях для создания дискриминативных общих представлений. Эксперименты показывают, что Uni-ViGU демонстрирует конкурентоспособные результаты как в генерации, так и в понимании видео, подтверждая, что архитектуры, центрированные на генерации, являются масштабируемым путем к унифицированному мультимодальному интеллекту. Страница проекта и код: https://fr0zencrane.github.io/uni-vigu-page/.

English

Unified multimodal models integrating visual understanding and generation face a fundamental challenge: visual generation incurs substantially higher computational costs than understanding, particularly for video. This imbalance motivates us to invert the conventional paradigm: rather than extending understanding-centric MLLMs to support generation, we propose Uni-ViGU, a framework that unifies video generation and understanding by extending a video generator as the foundation. We introduce a unified flow method that performs continuous flow matching for video and discrete flow matching for text within a single process, enabling coherent multimodal generation. We further propose a modality-driven MoE-based framework that augments Transformer blocks with lightweight layers for text generation while preserving generative priors. To repurpose generation knowledge for understanding, we design a bidirectional training mechanism with two stages: Knowledge Recall reconstructs input prompts to leverage learned text-video correspondences, while Capability Refinement fine-tunes on detailed captions to establish discriminative shared representations. Experiments demonstrate that Uni-ViGU achieves competitive performance on both video generation and understanding, validating generation-centric architectures as a scalable path toward unified multimodal intelligence. Project Page and Code: https://fr0zencrane.github.io/uni-vigu-page/.