Bernini: latente semantische planning voor videodiffusie

Samenvatting

Multimodale grote taalmodellen (MLLM's) en diffusiemodellen hebben elk een opmerkelijke volwassenheid bereikt: MLLM's excelleren in het redeneren over heterogene multimodale inputs met een sterke semantische gronding, terwijl diffusiemodellen afbeeldingen en video's synthetiseren met fotorealistische getrouwheid. Wij beargumenteren dat deze twee families kunnen worden verenigd door een eenvoudige taakverdeling: MLLM's voeren semantische planning uit, terwijl diffusiemodellen pixels renderen op basis van semantische sturing op hoog niveau en visuele kenmerken op laag niveau. Voortbouwend op dit idee stellen we Bernini voor, een uniform raamwerk voor videogeneratie en -bewerking. Een op MLLM gebaseerde planner voorspelt de beoogde semantische representatie direct in de ViT-inbeddingsruimte, en een op DiT gebaseerde renderer synthetiseert pixels die worden geconditioneerd door dit plan, verrijkt met tekstkenmerken en, voor bewerking, bron-VAE-kenmerken voor detailbehoud. Omdat semantiek als interface fungeert, kunnen de planner en renderer afzonderlijk worden getraind en slechts licht worden samen getraind, waardoor de voorgetrainde sterke punten van beide componenten behouden blijven en de training efficiënt blijft. Om beter om te gaan met meerdere visuele inputs introduceren we Segmentbewuste 3D-rotatiepositie-inbedding (SA-3D RoPE), en integreren we verder keten-van-gedachten-redenering in de planner om het begrip beter over te brengen naar generatie. Bernini behaalt state-of-the-art prestaties op een breed scala aan benchmarks voor videogeneratie en -bewerking, waarbij het voorgetrainde begrip van de MLLM zich vertaalt in sterke generalisatie bij uitdagende bewerkingstaken.

English

Multimodal large language models (MLLMs) and diffusion models have each reached remarkable maturity: MLLMs excel at reasoning over heterogeneous multimodal inputs with strong semantic grounding, while diffusion models synthesize images and videos with photorealistic fidelity. We argue that these two families can be unified through a simple division of labor: MLLMs perform semantic planning, while diffusion models render pixels from high-level semantic guidance and low-level visual features. Building on this idea, we propose Bernini, a unified framework for video generation and editing. An MLLM-based planner predicts the target semantic representation directly in the ViT embedding space, and a DiT-based renderer synthesizes pixels conditioned on this plan, augmented by text features and, for editing, source VAE features for detail preservation. Because semantics serve as the interface, the planner and renderer can be trained separately and only lightly co-trained, preserving the pretrained strengths of both components while keeping training efficient. To better handle multiple visual inputs, we introduce Segment-Aware 3D Rotary Positional Embedding (SA-3D RoPE), and further incorporate chain-of-thought reasoning in the planner to better transfer understanding into generation. Bernini achieves state-of-the-art performance across a wide range of video generation and editing benchmarks, with the MLLM's pretrained understanding translating into strong generalization on challenging editing tasks.