JavisGPT: Ein einheitliches multimodales LLM für das Verständnis und die Erzeugung von Sound-Videos
JavisGPT: A Unified Multi-modal LLM for Sounding-Video Comprehension and Generation
December 28, 2025
papers.authors: Kai Liu, Jungang Li, Yuchong Sun, Shengqiong Wu, Jianzhang Gao, Daoan Zhang, Wei Zhang, Sheng Jin, Sicheng Yu, Geng Zhan, Jiayi Ji, Fan Zhou, Liang Zheng, Shuicheng Yan, Hao Fei, Tat-Seng Chua
cs.AI
papers.abstract
Dieses Paper stellt JavisGPT vor, das erste einheitliche multimodale Large Language Model (MLLM) für gemeinsames Audio-Video (JAV) Verständnis und Generierung. JavisGPT verwendet eine prägnante Encoder-LLM-Decoder-Architektur, die ein SyncFusion-Modul zur räumlich-zeitlichen Audio-Video-Fusion und synchronisierungsbewusste lernbare Queries zur Anbindung eines vortrainierten JAV-DiT-Generators umfasst. Dieser Entwurf ermöglicht zeitlich kohärentes Video-Audio-Verständnis und -Generierung aus multimodalen Instruktionen. Wir entwickeln eine effektive dreistufige Trainingspipeline, bestehend aus multimodalem Pre-training, Audio-Video-Fine-Tuning und Large-Scale-Instruction-Tuning, um schrittweise multimodales Verständnis und Generierung aus bestehenden Vision-Language-Modellen aufzubauen. Zur Unterstützung dessen konstruieren wir weiterhin JavisInst-Omni, einen hochwertigen Instruktionsdatensatz mit über 200.000 von GPT-4o kuratierten Audio-Video-Text-Dialogen, die vielfältige und mehrstufige Verständnis- und Generierungsszenarien abdecken. Umfangreiche Experimente auf JAV-Verständnis- und Generierungs-Benchmarks zeigen, dass JavisGPT bestehende MLLMs übertrifft, insbesondere in komplexen und zeitlich synchronisierten Umgebungen.
English
This paper presents JavisGPT, the first unified multimodal large language model (MLLM) for Joint Audio-Video (JAV) comprehension and generation. JavisGPT adopts a concise encoder-LLM-decoder architecture, featuring a SyncFusion module for spatio-temporal audio-video fusion and synchrony-aware learnable queries to bridge a pretrained JAV-DiT generator. This design enables temporally coherent video-audio understanding and generation from multimodal instructions. We design an effective three-stage training pipeline consisting of multimodal pretraining, audio-video fine-tuning, and large-scale instruction-tuning, to progressively build multimodal comprehension and generation from existing vision-language models. To support this, we further construct JavisInst-Omni, a high-quality instruction dataset with over 200K GPT-4o-curated audio-video-text dialogues that span diverse and multi-level comprehension and generation scenarios. Extensive experiments on JAV comprehension and generation benchmarks show that JavisGPT outperforms existing MLLMs, particularly in complex and temporally synchronized settings.