JavisGPT: Een Verenigde Multimodale LLM voor Geluidsvideo-begrip en -generatie

Samenvatting

Dit artikel presenteert JavisGPT, het eerste verenigde multimodale groottaalmodel (MLLM) voor gezamenlijk audio-video (JAV) begrip en generatie. JavisGPT hanteert een beknopte encoder-LLM-decoder architectuur, met een SyncFusion-module voor spatio-temporele audio-video fusie en synchronisatiebewuste leerbare queries om een vooraf getrainde JAV-DiT-generator te verbinden. Dit ontwerp maakt temporeel coherent video-audio begrip en generatie mogelijk vanuit multimodale instructies. We ontwerpen een effectieve drietraps trainingspijplijn bestaande uit multimodale voorpretraining, audio-video finetuning en grootschalige instructie-afstemming, om stapsgewijs multimodaal begrip en generatie vanuit bestaande visie-taalmodellen op te bouwen. Om dit te ondersteunen, construeren we verder JavisInst-Omni, een hoogwaardige instructiedataset met meer dan 200K door GPT-4o samengestelde audio-video-tekst dialogen die diverse en multi-level begrips- en generatiescenario's omvat. Uitgebreide experimenten op JAV-begrips- en generatiebenchmarks tonen aan dat JavisGPT bestaande MLLM's overtreft, vooral in complexe en temporeel gesynchroniseerde settings.

English

This paper presents JavisGPT, the first unified multimodal large language model (MLLM) for Joint Audio-Video (JAV) comprehension and generation. JavisGPT adopts a concise encoder-LLM-decoder architecture, featuring a SyncFusion module for spatio-temporal audio-video fusion and synchrony-aware learnable queries to bridge a pretrained JAV-DiT generator. This design enables temporally coherent video-audio understanding and generation from multimodal instructions. We design an effective three-stage training pipeline consisting of multimodal pretraining, audio-video fine-tuning, and large-scale instruction-tuning, to progressively build multimodal comprehension and generation from existing vision-language models. To support this, we further construct JavisInst-Omni, a high-quality instruction dataset with over 200K GPT-4o-curated audio-video-text dialogues that span diverse and multi-level comprehension and generation scenarios. Extensive experiments on JAV comprehension and generation benchmarks show that JavisGPT outperforms existing MLLMs, particularly in complex and temporally synchronized settings.

JavisGPT: Een Verenigde Multimodale LLM voor Geluidsvideo-begrip en -generatie

JavisGPT: A Unified Multi-modal LLM for Sounding-Video Comprehension and Generation

Samenvatting

Support