Bernini : Planification sémantique latente pour la diffusion vidéo

Résumé

Les modèles de langage multimodaux à grande échelle (MLLMs) et les modèles de diffusion ont chacun atteint une maturité remarquable : les MLLMs excellent dans le raisonnement sur des entrées multimodales hétérogènes avec un fort ancrage sémantique, tandis que les modèles de diffusion synthétisent des images et des vidéos avec une fidélité photoréaliste. Nous soutenons que ces deux familles peuvent être unifiées via une simple division du travail : les MLLMs effectuent la planification sémantique, tandis que les modèles de diffusion effectuent le rendu des pixels à partir d'une guidance sémantique de haut niveau et de caractéristiques visuelles de bas niveau. En nous appuyant sur cette idée, nous proposons Bernini, un cadre unifié pour la génération et l'édition de vidéos. Un planificateur basé sur MLLM prédit la représentation sémantique cible directement dans l'espace de plongement ViT, et un moteur de rendu basé sur DiT synthétise les pixels conditionnés par ce plan, augmenté par des caractéristiques textuelles et, pour l'édition, des caractéristiques VAE sources pour la préservation des détails. Comme la sémantique sert d'interface, le planificateur et le moteur de rendu peuvent être entraînés séparément et seulement légèrement co-entraînés, préservant les forces pré-entraînées des deux composants tout en maintenant un entraînement efficace. Pour mieux gérer les entrées visuelles multiples, nous introduisons le Plongement Positionnel Rotatoire 3D avec Conscience de Segment (SA-3D RoPE), et nous intégrons en outre un raisonnement en chaîne de pensée dans le planificateur pour mieux transférer la compréhension dans la génération. Bernini atteint des performances de pointe sur un large éventail de références de génération et d'édition de vidéos, la compréhension pré-entraînée du MLLM se traduisant par une forte généralisation sur des tâches d'édition exigeantes.

English

Multimodal large language models (MLLMs) and diffusion models have each reached remarkable maturity: MLLMs excel at reasoning over heterogeneous multimodal inputs with strong semantic grounding, while diffusion models synthesize images and videos with photorealistic fidelity. We argue that these two families can be unified through a simple division of labor: MLLMs perform semantic planning, while diffusion models render pixels from high-level semantic guidance and low-level visual features. Building on this idea, we propose Bernini, a unified framework for video generation and editing. An MLLM-based planner predicts the target semantic representation directly in the ViT embedding space, and a DiT-based renderer synthesizes pixels conditioned on this plan, augmented by text features and, for editing, source VAE features for detail preservation. Because semantics serve as the interface, the planner and renderer can be trained separately and only lightly co-trained, preserving the pretrained strengths of both components while keeping training efficient. To better handle multiple visual inputs, we introduce Segment-Aware 3D Rotary Positional Embedding (SA-3D RoPE), and further incorporate chain-of-thought reasoning in the planner to better transfer understanding into generation. Bernini achieves state-of-the-art performance across a wide range of video generation and editing benchmarks, with the MLLM's pretrained understanding translating into strong generalization on challenging editing tasks.