Cut2Next: Generazione del Prossimo Shot tramite Ottimizzazione In-Contexto

Cut2Next: Generating Next Shot via In-Context Tuning

August 11, 2025

Autori: Jingwen He, Hongbo Liu, Jiajun Li, Ziqi Huang, Yu Qiao, Wanli Ouyang, Ziwei Liu

cs.AI

Abstract

La generazione efficace di scene multiple richiede transizioni intenzionali, simili a quelle cinematografiche, e una rigorosa continuità filmica. I metodi attuali, tuttavia, spesso privilegiano una coerenza visiva di base, trascurando modelli di montaggio cruciali (ad esempio, campo/controcampo, inserti) che guidano il flusso narrativo per una narrazione avvincente. Ciò produce risultati che possono essere visivamente coerenti ma privi di sofisticazione narrativa e di una vera integrità cinematografica. Per colmare questa lacuna, introduciamo la Next Shot Generation (NSG): la sintesi di una scena successiva di alta qualità che si conforma criticamente ai modelli di montaggio professionale mantenendo una rigorosa continuità cinematografica. Il nostro framework, Cut2Next, sfrutta un Diffusion Transformer (DiT). Utilizza un tuning in-context guidato da una nuova strategia di Hierarchical Multi-Prompting. Questa strategia impiega Relational Prompts per definire il contesto generale e gli stili di montaggio inter-scena. Gli Individual Prompts specificano poi il contenuto per ogni scena e gli attributi cinematografici. Insieme, questi guidano Cut2Next per generare scene successive cinematicamente appropriate. Innovazioni architetturali, Context-Aware Condition Injection (CACI) e Hierarchical Attention Mask (HAM), integrano ulteriormente questi segnali diversi senza introdurre nuovi parametri. Costruiamo i dataset RawCuts (su larga scala) e CuratedCuts (raffinati), entrambi con prompt gerarchici, e introduciamo CutBench per la valutazione. Gli esperimenti mostrano che Cut2Next eccelle nella coerenza visiva e nella fedeltà testuale. Crucialmente, studi sugli utenti rivelano una forte preferenza per Cut2Next, in particolare per la sua aderenza ai modelli di montaggio intenzionali e alla continuità cinematografica complessiva, validando la sua capacità di generare scene successive di alta qualità, espressive narrativamente e coerenti cinematicamente.

English

Effective multi-shot generation demands purposeful, film-like transitions and strict cinematic continuity. Current methods, however, often prioritize basic visual consistency, neglecting crucial editing patterns (e.g., shot/reverse shot, cutaways) that drive narrative flow for compelling storytelling. This yields outputs that may be visually coherent but lack narrative sophistication and true cinematic integrity. To bridge this, we introduce Next Shot Generation (NSG): synthesizing a subsequent, high-quality shot that critically conforms to professional editing patterns while upholding rigorous cinematic continuity. Our framework, Cut2Next, leverages a Diffusion Transformer (DiT). It employs in-context tuning guided by a novel Hierarchical Multi-Prompting strategy. This strategy uses Relational Prompts to define overall context and inter-shot editing styles. Individual Prompts then specify per-shot content and cinematographic attributes. Together, these guide Cut2Next to generate cinematically appropriate next shots. Architectural innovations, Context-Aware Condition Injection (CACI) and Hierarchical Attention Mask (HAM), further integrate these diverse signals without introducing new parameters. We construct RawCuts (large-scale) and CuratedCuts (refined) datasets, both with hierarchical prompts, and introduce CutBench for evaluation. Experiments show Cut2Next excels in visual consistency and text fidelity. Crucially, user studies reveal a strong preference for Cut2Next, particularly for its adherence to intended editing patterns and overall cinematic continuity, validating its ability to generate high-quality, narratively expressive, and cinematically coherent subsequent shots.