Cut2Next: Gerando o Próximo Plano por meio de Ajuste em Contexto

Cut2Next: Generating Next Shot via In-Context Tuning

August 11, 2025

Autores: Jingwen He, Hongbo Liu, Jiajun Li, Ziqi Huang, Yu Qiao, Wanli Ouyang, Ziwei Liu

cs.AI

Resumo

A geração eficaz de múltiplos planos exige transições intencionais, semelhantes às do cinema, e uma continuidade cinematográfica rigorosa. No entanto, os métodos atuais frequentemente priorizam a consistência visual básica, negligenciando padrões cruciais de edição (por exemplo, plano/contraplano, inserções) que impulsionam o fluxo narrativo para uma narrativa envolvente. Isso resulta em saídas que podem ser visualmente coerentes, mas carecem de sofisticação narrativa e de verdadeira integridade cinematográfica. Para superar isso, introduzimos a Geração do Próximo Plano (Next Shot Generation - NSG): a síntese de um plano subsequente de alta qualidade que se conforma criticamente aos padrões profissionais de edição, mantendo uma continuidade cinematográfica rigorosa. Nosso framework, Cut2Next, utiliza um Transformer de Difusão (DiT). Ele emprega ajuste em contexto guiado por uma nova estratégia de Multi-Prompting Hierárquico. Essa estratégia usa Prompts Relacionais para definir o contexto geral e os estilos de edição entre planos. Prompts Individuais, então, especificam o conteúdo por plano e os atributos cinematográficos. Juntos, esses elementos orientam o Cut2Next a gerar planos subsequentes cinematicamente apropriados. Inovações arquitetônicas, Injeção de Condicionamento Consciente do Contexto (Context-Aware Condition Injection - CACI) e Máscara de Atenção Hierárquica (Hierarchical Attention Mask - HAM), integram ainda mais esses diversos sinais sem introduzir novos parâmetros. Construímos os conjuntos de dados RawCuts (em larga escala) e CuratedCuts (refinados), ambos com prompts hierárquicos, e introduzimos o CutBench para avaliação. Os experimentos mostram que o Cut2Next se destaca em consistência visual e fidelidade textual. Crucialmente, estudos com usuários revelam uma forte preferência pelo Cut2Next, particularmente por sua adesão aos padrões de edição pretendidos e à continuidade cinematográfica geral, validando sua capacidade de gerar planos subsequentes de alta qualidade, expressivos narrativamente e cinematicamente coerentes.

English

Effective multi-shot generation demands purposeful, film-like transitions and strict cinematic continuity. Current methods, however, often prioritize basic visual consistency, neglecting crucial editing patterns (e.g., shot/reverse shot, cutaways) that drive narrative flow for compelling storytelling. This yields outputs that may be visually coherent but lack narrative sophistication and true cinematic integrity. To bridge this, we introduce Next Shot Generation (NSG): synthesizing a subsequent, high-quality shot that critically conforms to professional editing patterns while upholding rigorous cinematic continuity. Our framework, Cut2Next, leverages a Diffusion Transformer (DiT). It employs in-context tuning guided by a novel Hierarchical Multi-Prompting strategy. This strategy uses Relational Prompts to define overall context and inter-shot editing styles. Individual Prompts then specify per-shot content and cinematographic attributes. Together, these guide Cut2Next to generate cinematically appropriate next shots. Architectural innovations, Context-Aware Condition Injection (CACI) and Hierarchical Attention Mask (HAM), further integrate these diverse signals without introducing new parameters. We construct RawCuts (large-scale) and CuratedCuts (refined) datasets, both with hierarchical prompts, and introduce CutBench for evaluation. Experiments show Cut2Next excels in visual consistency and text fidelity. Crucially, user studies reveal a strong preference for Cut2Next, particularly for its adherence to intended editing patterns and overall cinematic continuity, validating its ability to generate high-quality, narratively expressive, and cinematically coherent subsequent shots.