JavisGPT : un modèle de langage multimodal unifié pour la compréhension et la génération de vidéos sonorisées

papers.abstract

Ce document présente JavisGPT, le premier modèle de langage multimodal unifié (MLLM) dédié à la compréhension et à la génération conjointes audio-vidéo (JAV). JavisGPT adopte une architecture concise encodeur-LLM-décodeur, intégrant un module SyncFusion pour la fusion spatio-temporelle audio-vidéo et des requêtes apprenables sensibles à la synchronisation pour connecter un générateur JAV-DiT préentraîné. Cette conception permet une compréhension et une génération audio-vidéo temporellement cohérentes à partir d'instructions multimodales. Nous concevons un pipeline d'entraînement efficace en trois étapes comprenant un préentraînement multimodal, un ajustement fin audio-vidéo et un ajustement par instruction à grande échelle, afin de développer progressivement les capacités de compréhension et de génération multimodales à partir de modèles vision-langage existants. Pour soutenir cette démarche, nous construisons également JavisInst-Omni, un jeu de données d'instructions de haute qualité contenant plus de 200 000 dialogues audio-vidéo-texte élaborés par GPT-4o, couvrant des scénarios de compréhension et de génération diversifiés et multi-niveaux. Des expériences approfondies sur des benchmarks de compréhension et de génération JAV montrent que JavisGPT surpasse les MLLM existants, en particulier dans des configurations complexes et temporellement synchronisées.

English

This paper presents JavisGPT, the first unified multimodal large language model (MLLM) for Joint Audio-Video (JAV) comprehension and generation. JavisGPT adopts a concise encoder-LLM-decoder architecture, featuring a SyncFusion module for spatio-temporal audio-video fusion and synchrony-aware learnable queries to bridge a pretrained JAV-DiT generator. This design enables temporally coherent video-audio understanding and generation from multimodal instructions. We design an effective three-stage training pipeline consisting of multimodal pretraining, audio-video fine-tuning, and large-scale instruction-tuning, to progressively build multimodal comprehension and generation from existing vision-language models. To support this, we further construct JavisInst-Omni, a high-quality instruction dataset with over 200K GPT-4o-curated audio-video-text dialogues that span diverse and multi-level comprehension and generation scenarios. Extensive experiments on JAV comprehension and generation benchmarks show that JavisGPT outperforms existing MLLMs, particularly in complex and temporally synchronized settings.

JavisGPT : un modèle de langage multimodal unifié pour la compréhension et la génération de vidéos sonorisées

JavisGPT: A Unified Multi-modal LLM for Sounding-Video Comprehension and Generation

papers.abstract

Support