JavisGPT: Унифицированная многомодальная большая языковая модель для анализа и генерации озвученного видео

Аннотация

В данной статье представлена JavisGPT — первая унифицированная мультимодальная большая языковая модель (MLLM) для совместного анализа и генерации аудио-видео контента (Joint Audio-Video, JAV). JavisGPT использует компактную архитектуру «кодировщик–LLM–декодер» с модулем SyncFusion для пространственно-временного объединения аудио и видео, а также синхронизированные обучаемые запросы для связи с предварительно обученным генератором JAV-DiT. Такая конструкция позволяет достичь временной согласованности при понимании и создании видео-аудио контента на основе мультимодальных инструкций. Мы разработали эффективный трёхэтапный конвейер обучения, включающий мультимодальное предварительное обучение, тонкую настройку на аудио-видео данных и масштабированную настройку на инструкциях, чтобы постепенно сформировать способности к мультимодальному анализу и генерации на основе существующих моделей для обработки языка и изображений. Для поддержки этого процесса мы также создали JavisInst-Omni — высококачественный набор данных инструкций, содержащий более 200 тыс. аудио-видео-текстовых диалогов, сгенерированных с помощью GPT-4o и охватывающих разнообразные сценарии анализа и генерации различной сложности. Многочисленные эксперименты на бенчмарках для задач анализа и генерации JAV демонстрируют, что JavisGPT превосходит существующие MLLM, особенно в сложных условиях, требующих временной синхронизации.

English

This paper presents JavisGPT, the first unified multimodal large language model (MLLM) for Joint Audio-Video (JAV) comprehension and generation. JavisGPT adopts a concise encoder-LLM-decoder architecture, featuring a SyncFusion module for spatio-temporal audio-video fusion and synchrony-aware learnable queries to bridge a pretrained JAV-DiT generator. This design enables temporally coherent video-audio understanding and generation from multimodal instructions. We design an effective three-stage training pipeline consisting of multimodal pretraining, audio-video fine-tuning, and large-scale instruction-tuning, to progressively build multimodal comprehension and generation from existing vision-language models. To support this, we further construct JavisInst-Omni, a high-quality instruction dataset with over 200K GPT-4o-curated audio-video-text dialogues that span diverse and multi-level comprehension and generation scenarios. Extensive experiments on JAV comprehension and generation benchmarks show that JavisGPT outperforms existing MLLMs, particularly in complex and temporally synchronized settings.

JavisGPT: Унифицированная многомодальная большая языковая модель для анализа и генерации озвученного видео

JavisGPT: A Unified Multi-modal LLM for Sounding-Video Comprehension and Generation

Аннотация

Support