Cut2Next: Generierung der nächsten Einstellung durch In-Context-Tuning

Cut2Next: Generating Next Shot via In-Context Tuning

August 11, 2025

papers.authors: Jingwen He, Hongbo Liu, Jiajun Li, Ziqi Huang, Yu Qiao, Wanli Ouyang, Ziwei Liu

cs.AI

papers.abstract

Effektive Multi-Shot-Generierung erfordert gezielte, filmähnliche Übergänge und strikte filmische Kontinuität. Aktuelle Methoden priorisieren jedoch oft grundlegende visuelle Konsistenz und vernachlässigen dabei entscheidende Schnittmuster (z. B. Schuss/Gegenschuss, Einblendungen), die den narrativen Fluss für fesselndes Storytelling vorantreiben. Dies führt zu Ergebnissen, die zwar visuell kohärent sein mögen, aber an narrativer Raffinesse und wahrer filmischer Integrität mangeln. Um diese Lücke zu schließen, führen wir Next Shot Generation (NSG) ein: die Synthese eines nachfolgenden, hochwertigen Shots, der sich kritisch an professionelle Schnittmuster hält und gleichzeitig strenge filmische Kontinuität bewahrt. Unser Framework, Cut2Next, nutzt einen Diffusion Transformer (DiT). Es setzt In-Context-Tuning ein, das durch eine neuartige Hierarchical Multi-Prompting-Strategie geleitet wird. Diese Strategie verwendet Relational Prompts, um den Gesamtkontext und die Schnittstile zwischen den Shots zu definieren. Individual Prompts spezifizieren dann den Inhalt und die filmografischen Attribute pro Shot. Zusammen leiten sie Cut2Next an, filmisch angemessene nächste Shots zu generieren. Architektonische Innovationen, Context-Aware Condition Injection (CACI) und Hierarchical Attention Mask (HAM), integrieren diese vielfältigen Signale weiter, ohne neue Parameter einzuführen. Wir erstellen die Datensätze RawCuts (groß angelegt) und CuratedCuts (verfeinert), beide mit hierarchischen Prompts, und führen CutBench zur Bewertung ein. Experimente zeigen, dass Cut2Next in visueller Konsistenz und Texttreue überzeugt. Entscheidend ist, dass Benutzerstudien eine starke Präferenz für Cut2Next offenbaren, insbesondere für seine Einhaltung der beabsichtigten Schnittmuster und der gesamten filmischen Kontinuität, was seine Fähigkeit zur Generierung hochwertiger, narrativ ausdrucksstarker und filmisch kohärenter nachfolgender Shots bestätigt.

English

Effective multi-shot generation demands purposeful, film-like transitions and strict cinematic continuity. Current methods, however, often prioritize basic visual consistency, neglecting crucial editing patterns (e.g., shot/reverse shot, cutaways) that drive narrative flow for compelling storytelling. This yields outputs that may be visually coherent but lack narrative sophistication and true cinematic integrity. To bridge this, we introduce Next Shot Generation (NSG): synthesizing a subsequent, high-quality shot that critically conforms to professional editing patterns while upholding rigorous cinematic continuity. Our framework, Cut2Next, leverages a Diffusion Transformer (DiT). It employs in-context tuning guided by a novel Hierarchical Multi-Prompting strategy. This strategy uses Relational Prompts to define overall context and inter-shot editing styles. Individual Prompts then specify per-shot content and cinematographic attributes. Together, these guide Cut2Next to generate cinematically appropriate next shots. Architectural innovations, Context-Aware Condition Injection (CACI) and Hierarchical Attention Mask (HAM), further integrate these diverse signals without introducing new parameters. We construct RawCuts (large-scale) and CuratedCuts (refined) datasets, both with hierarchical prompts, and introduce CutBench for evaluation. Experiments show Cut2Next excels in visual consistency and text fidelity. Crucially, user studies reveal a strong preference for Cut2Next, particularly for its adherence to intended editing patterns and overall cinematic continuity, validating its ability to generate high-quality, narratively expressive, and cinematically coherent subsequent shots.