Bernini: Planejamento Semântico Latente para Difusão de Vídeo

Resumo

Modelos de linguagem grandes multimodais (MLLMs) e modelos de difusão atingiram cada um uma maturidade notável: os MLLMs destacam-se no raciocínio sobre entradas multimodais heterogêneas com forte fundamentação semântica, enquanto os modelos de difusão sintetizam imagens e vídeos com fidelidade fotorrealista. Argumentamos que essas duas famílias podem ser unificadas por meio de uma simples divisão de trabalho: os MLLMs realizam o planejamento semântico, enquanto os modelos de difusão renderizam pixels a partir de orientação semântica de alto nível e características visuais de baixo nível. Com base nessa ideia, propomos o Bernini, uma estrutura unificada para geração e edição de vídeos. Um planejador baseado em MLLM prevê a representação semântica alvo diretamente no espaço de incorporação ViT, e um renderizador baseado em DiT sintetiza pixels condicionados a esse plano, aumentado por características de texto e, para edição, características VAE da fonte para preservação de detalhes. Como a semântica serve como interface, o planejador e o renderizador podem ser treinados separadamente e apenas levemente co-treinados, preservando os pontos fortes pré-treinados de ambos os componentes enquanto mantém o treinamento eficiente. Para lidar melhor com múltiplas entradas visuais, introduzimos a Incorporação Posicional Rotativa 3D Consciente de Segmentos (SA-3D RoPE) e incorporamos ainda o raciocínio em cadeia de pensamento no planejador para melhor transferir a compreensão para a geração. O Bernini alcança desempenho de ponta em uma ampla gama de benchmarks de geração e edição de vídeos, com a compreensão pré-treinada do MLLM se traduzindo em forte generalização em tarefas de edição desafiadoras.

English

Multimodal large language models (MLLMs) and diffusion models have each reached remarkable maturity: MLLMs excel at reasoning over heterogeneous multimodal inputs with strong semantic grounding, while diffusion models synthesize images and videos with photorealistic fidelity. We argue that these two families can be unified through a simple division of labor: MLLMs perform semantic planning, while diffusion models render pixels from high-level semantic guidance and low-level visual features. Building on this idea, we propose Bernini, a unified framework for video generation and editing. An MLLM-based planner predicts the target semantic representation directly in the ViT embedding space, and a DiT-based renderer synthesizes pixels conditioned on this plan, augmented by text features and, for editing, source VAE features for detail preservation. Because semantics serve as the interface, the planner and renderer can be trained separately and only lightly co-trained, preserving the pretrained strengths of both components while keeping training efficient. To better handle multiple visual inputs, we introduce Segment-Aware 3D Rotary Positional Embedding (SA-3D RoPE), and further incorporate chain-of-thought reasoning in the planner to better transfer understanding into generation. Bernini achieves state-of-the-art performance across a wide range of video generation and editing benchmarks, with the MLLM's pretrained understanding translating into strong generalization on challenging editing tasks.