Bernini: Латентное семантическое планирование для видеодиффузии

Аннотация

Мультимодальные большие языковые модели (МБЯМ) и диффузионные модели достигли значительной зрелости: МБЯМ превосходно рассуждают о гетерогенных мультимодальных входных данных с сильной семантической привязкой, в то время как диффузионные модели синтезируют изображения и видео с фотореалистичной точностью. Мы утверждаем, что эти два класса моделей могут быть объединены с помощью простого разделения труда: МБЯМ выполняют семантическое планирование, а диффузионные модели рендерят пиксели на основе высокоуровневых семантических указаний и низкоуровневых визуальных признаков. Развивая эту идею, мы предлагаем Bernini — унифицированный фреймворк для генерации и редактирования видео. Планировщик на основе МБЯМ предсказывает целевое семантическое представление непосредственно в пространстве вложений ViT, а рендерер на основе DiT синтезирует пиксели, обусловленные этим планом, дополненным текстовыми признаками и, для редактирования, признаками исходного VAE для сохранения деталей. Поскольку семантика служит интерфейсом, планировщик и рендерер могут обучаться отдельно и лишь слегка совместно дообучаться, сохраняя предварительно обученные сильные стороны обоих компонентов при эффективности обучения. Для лучшей обработки множественных визуальных входов мы вводим сегментно-осознанное 3D-вращательное позиционное встраивание (SA-3D RoPE) и дополнительно включаем в планировщик цепочку рассуждений для более эффективного переноса понимания в генерацию. Bernini достигает передовой производительности на широком спектре бенчмарков генерации и редактирования видео, при этом предварительно обученное понимание МБЯМ транслируется в сильную обобщающую способность на сложных задачах редактирования.

English

Multimodal large language models (MLLMs) and diffusion models have each reached remarkable maturity: MLLMs excel at reasoning over heterogeneous multimodal inputs with strong semantic grounding, while diffusion models synthesize images and videos with photorealistic fidelity. We argue that these two families can be unified through a simple division of labor: MLLMs perform semantic planning, while diffusion models render pixels from high-level semantic guidance and low-level visual features. Building on this idea, we propose Bernini, a unified framework for video generation and editing. An MLLM-based planner predicts the target semantic representation directly in the ViT embedding space, and a DiT-based renderer synthesizes pixels conditioned on this plan, augmented by text features and, for editing, source VAE features for detail preservation. Because semantics serve as the interface, the planner and renderer can be trained separately and only lightly co-trained, preserving the pretrained strengths of both components while keeping training efficient. To better handle multiple visual inputs, we introduce Segment-Aware 3D Rotary Positional Embedding (SA-3D RoPE), and further incorporate chain-of-thought reasoning in the planner to better transfer understanding into generation. Bernini achieves state-of-the-art performance across a wide range of video generation and editing benchmarks, with the MLLM's pretrained understanding translating into strong generalization on challenging editing tasks.