Bernini: Latente semantische Planung für Video-Diffusion

Zusammenfassung

Multimodale große Sprachmodelle (MLLMs) und Diffusionsmodelle haben jeweils eine bemerkenswerte Reife erreicht: MLLMs zeichnen sich durch logisches Schlussfolgern über heterogene multimodale Eingaben mit starker semantischer Verankerung aus, während Diffusionsmodelle Bilder und Videos mit fotorealistischer Wiedergabetreue synthetisieren. Wir argumentieren, dass diese beiden Familien durch eine einfache Arbeitsteilung vereinheitlicht werden können: MLLMs übernehmen die semantische Planung, während Diffusionsmodelle Pixel auf der Grundlage einer semantischen Anleitung auf hoher Ebene und visueller Merkmale auf niedriger Ebene rendern. Aufbauend auf dieser Idee schlagen wir Bernini vor, ein einheitliches Framework für die Videogenerierung und -bearbeitung. Ein auf MLLM basierender Planer sagt die Ziel-Semantik direkt im ViT-Einbettungsraum vorher, und ein auf DiT basierender Renderer synthetisiert Pixel, die von diesem Plan abhängen, ergänzt durch Textmerkmale und, bei der Bearbeitung, durch Quell-VAE-Merkmale zur Detailerhaltung. Da Semantik als Schnittstelle dient, können Planer und Renderer getrennt trainiert und nur leicht gemeinsam trainiert werden, wodurch die vortrainierten Stärken beider Komponenten erhalten bleiben und das Training effizient bleibt. Um mehrere visuelle Eingaben besser zu verarbeiten, führen wir die segmentbewusste 3D-Rotationspositions-Einbettung (SA-3D RoPE) ein und integrieren außerdem eine Chain-of-Thought-Argumentation im Planer, um das Verständnis besser in die Generierung zu übertragen. Bernini erzielt Spitzenleistungen bei einer Vielzahl von Benchmark-Aufgaben zur Videogenerierung und -bearbeitung, wobei das vortrainierte Verständnis des MLLM in eine starke Generalisierung bei anspruchsvollen Bearbeitungsaufgaben mündet.

English

Multimodal large language models (MLLMs) and diffusion models have each reached remarkable maturity: MLLMs excel at reasoning over heterogeneous multimodal inputs with strong semantic grounding, while diffusion models synthesize images and videos with photorealistic fidelity. We argue that these two families can be unified through a simple division of labor: MLLMs perform semantic planning, while diffusion models render pixels from high-level semantic guidance and low-level visual features. Building on this idea, we propose Bernini, a unified framework for video generation and editing. An MLLM-based planner predicts the target semantic representation directly in the ViT embedding space, and a DiT-based renderer synthesizes pixels conditioned on this plan, augmented by text features and, for editing, source VAE features for detail preservation. Because semantics serve as the interface, the planner and renderer can be trained separately and only lightly co-trained, preserving the pretrained strengths of both components while keeping training efficient. To better handle multiple visual inputs, we introduce Segment-Aware 3D Rotary Positional Embedding (SA-3D RoPE), and further incorporate chain-of-thought reasoning in the planner to better transfer understanding into generation. Bernini achieves state-of-the-art performance across a wide range of video generation and editing benchmarks, with the MLLM's pretrained understanding translating into strong generalization on challenging editing tasks.