Cut2Next: Generación de la siguiente toma mediante ajuste en contexto

Cut2Next: Generating Next Shot via In-Context Tuning

August 11, 2025

Autores: Jingwen He, Hongbo Liu, Jiajun Li, Ziqi Huang, Yu Qiao, Wanli Ouyang, Ziwei Liu

cs.AI

Resumen

La generación efectiva de múltiples tomas exige transiciones intencionales, similares a las cinematográficas, y una estricta continuidad fílmica. Sin embargo, los métodos actuales suelen priorizar la consistencia visual básica, descuidando patrones de edición cruciales (por ejemplo, toma/contra-toma, planos de corte) que impulsan el flujo narrativo para una narración convincente. Esto produce resultados que pueden ser visualmente coherentes, pero carecen de sofisticación narrativa y de una verdadera integridad cinematográfica. Para abordar esto, presentamos Next Shot Generation (NSG): la síntesis de una toma posterior de alta calidad que se ajusta críticamente a los patrones de edición profesional mientras mantiene una rigurosa continuidad cinematográfica. Nuestro marco, Cut2Next, aprovecha un Transformer de Difusión (DiT). Emplea ajuste en contexto guiado por una novedosa estrategia de Multi-Prompting Jerárquico. Esta estrategia utiliza Relational Prompts para definir el contexto general y los estilos de edición entre tomas. Luego, Individual Prompts especifican el contenido por toma y los atributos cinematográficos. Juntos, estos guían a Cut2Next para generar tomas posteriores cinematográficamente apropiadas. Innovaciones arquitectónicas, como la Inyección de Condición Consciente del Contexto (CACI) y la Máscara de Atención Jerárquica (HAM), integran estas diversas señales sin introducir nuevos parámetros. Construimos los conjuntos de datos RawCuts (a gran escala) y CuratedCuts (refinados), ambos con prompts jerárquicos, e introducimos CutBench para la evaluación. Los experimentos muestran que Cut2Next sobresale en consistencia visual y fidelidad textual. Crucialmente, estudios de usuario revelan una fuerte preferencia por Cut2Next, particularmente por su adherencia a los patrones de edición deseados y la continuidad cinematográfica general, validando su capacidad para generar tomas posteriores de alta calidad, expresivas narrativamente y coherentes cinematográficamente.

English

Effective multi-shot generation demands purposeful, film-like transitions and strict cinematic continuity. Current methods, however, often prioritize basic visual consistency, neglecting crucial editing patterns (e.g., shot/reverse shot, cutaways) that drive narrative flow for compelling storytelling. This yields outputs that may be visually coherent but lack narrative sophistication and true cinematic integrity. To bridge this, we introduce Next Shot Generation (NSG): synthesizing a subsequent, high-quality shot that critically conforms to professional editing patterns while upholding rigorous cinematic continuity. Our framework, Cut2Next, leverages a Diffusion Transformer (DiT). It employs in-context tuning guided by a novel Hierarchical Multi-Prompting strategy. This strategy uses Relational Prompts to define overall context and inter-shot editing styles. Individual Prompts then specify per-shot content and cinematographic attributes. Together, these guide Cut2Next to generate cinematically appropriate next shots. Architectural innovations, Context-Aware Condition Injection (CACI) and Hierarchical Attention Mask (HAM), further integrate these diverse signals without introducing new parameters. We construct RawCuts (large-scale) and CuratedCuts (refined) datasets, both with hierarchical prompts, and introduce CutBench for evaluation. Experiments show Cut2Next excels in visual consistency and text fidelity. Crucially, user studies reveal a strong preference for Cut2Next, particularly for its adherence to intended editing patterns and overall cinematic continuity, validating its ability to generate high-quality, narratively expressive, and cinematically coherent subsequent shots.