JavisGPT: 音声付き動画の理解と生成を統合するマルチモーダル大規模言語モデル

要旨

本論文は、Joint Audio-Video (JAV) の理解と生成を統合的に行う初のマルチモーダル大規模言語モデル (MLLM) である JavisGPT を提案する。JavisGPT は、事前学習済みの JAV-DiT 生成器と連携するための時空間的音声-映像融合を行う SyncFusion モジュールと、同期を考慮した学習可能なクエリを特徴とする、簡潔なエンコーダ-LLM-デコーダ構造を採用している。この設計により、マルチモーダルな指示から時間的に一貫性のある映像-音声の理解と生成が可能となる。既存の視覚言語モデルからマルチモーダルな理解と生成能力を段階的に構築するため、マルチモーダル事前学習、音声-映像ファインチューニング、大規模指示チューニングからなる効果的な3段階の学習パイプラインを設計した。これを支援するため、多様かつ多段階の理解・生成シナリオにわたる20万以上の GPT-4o によって精選された音声-映像-テキスト対話を含む、高品質な指示データセット JavisInst-Omni を構築した。JAV の理解と生成に関するベンチマークでの広範な実験により、JavisGPT が既存の MLLM を凌駕し、特に複雑で時間的同期が要求される設定において優れた性能を発揮することを示す。

English

This paper presents JavisGPT, the first unified multimodal large language model (MLLM) for Joint Audio-Video (JAV) comprehension and generation. JavisGPT adopts a concise encoder-LLM-decoder architecture, featuring a SyncFusion module for spatio-temporal audio-video fusion and synchrony-aware learnable queries to bridge a pretrained JAV-DiT generator. This design enables temporally coherent video-audio understanding and generation from multimodal instructions. We design an effective three-stage training pipeline consisting of multimodal pretraining, audio-video fine-tuning, and large-scale instruction-tuning, to progressively build multimodal comprehension and generation from existing vision-language models. To support this, we further construct JavisInst-Omni, a high-quality instruction dataset with over 200K GPT-4o-curated audio-video-text dialogues that span diverse and multi-level comprehension and generation scenarios. Extensive experiments on JAV comprehension and generation benchmarks show that JavisGPT outperforms existing MLLMs, particularly in complex and temporally synchronized settings.

JavisGPT: 音声付き動画の理解と生成を統合するマルチモーダル大規模言語モデル

JavisGPT: A Unified Multi-modal LLM for Sounding-Video Comprehension and Generation

要旨

Support