Cut2Next: Генерация следующего кадра с помощью настройки в контексте

Cut2Next: Generating Next Shot via In-Context Tuning

August 11, 2025

Авторы: Jingwen He, Hongbo Liu, Jiajun Li, Ziqi Huang, Yu Qiao, Wanli Ouyang, Ziwei Liu

cs.AI

Аннотация

Эффективная генерация многокадровых сцен требует целенаправленных, кинематографических переходов и строгой визуальной преемственности. Однако современные методы часто уделяют основное внимание базовой визуальной согласованности, пренебрегая ключевыми приемами монтажа (например, чередование планов, вставные кадры), которые обеспечивают развитие сюжета и увлекательное повествование. Это приводит к результатам, которые могут быть визуально согласованными, но лишены сюжетной изысканности и подлинной кинематографической целостности. Для решения этой проблемы мы представляем Next Shot Generation (NSG): синтез последующего высококачественного кадра, который строго соответствует профессиональным приемам монтажа, сохраняя при этом строгую кинематографическую преемственность. Наша структура, Cut2Next, использует Diffusion Transformer (DiT). Она применяет контекстную настройку, управляемую новой стратегией Hierarchical Multi-Prompting. Эта стратегия использует Relational Prompts для определения общего контекста и стилей межкадрового монтажа. Individual Prompts затем задают содержание каждого кадра и его кинематографические атрибуты. Вместе они направляют Cut2Next на генерацию кинематографически подходящих последующих кадров. Архитектурные инновации, Context-Aware Condition Injection (CACI) и Hierarchical Attention Mask (HAM), дополнительно интегрируют эти разнообразные сигналы без введения новых параметров. Мы создаем наборы данных RawCuts (масштабный) и CuratedCuts (уточненный), оба с иерархическими подсказками, и представляем CutBench для оценки. Эксперименты показывают, что Cut2Next превосходит по визуальной согласованности и точности текста. Ключевым является то, что пользовательские исследования выявляют сильное предпочтение Cut2Next, особенно за его соответствие задуманным приемам монтажа и общей кинематографической преемственности, подтверждая его способность генерировать высококачественные, сюжетно выразительные и кинематографически согласованные последующие кадры.

English

Effective multi-shot generation demands purposeful, film-like transitions and strict cinematic continuity. Current methods, however, often prioritize basic visual consistency, neglecting crucial editing patterns (e.g., shot/reverse shot, cutaways) that drive narrative flow for compelling storytelling. This yields outputs that may be visually coherent but lack narrative sophistication and true cinematic integrity. To bridge this, we introduce Next Shot Generation (NSG): synthesizing a subsequent, high-quality shot that critically conforms to professional editing patterns while upholding rigorous cinematic continuity. Our framework, Cut2Next, leverages a Diffusion Transformer (DiT). It employs in-context tuning guided by a novel Hierarchical Multi-Prompting strategy. This strategy uses Relational Prompts to define overall context and inter-shot editing styles. Individual Prompts then specify per-shot content and cinematographic attributes. Together, these guide Cut2Next to generate cinematically appropriate next shots. Architectural innovations, Context-Aware Condition Injection (CACI) and Hierarchical Attention Mask (HAM), further integrate these diverse signals without introducing new parameters. We construct RawCuts (large-scale) and CuratedCuts (refined) datasets, both with hierarchical prompts, and introduce CutBench for evaluation. Experiments show Cut2Next excels in visual consistency and text fidelity. Crucially, user studies reveal a strong preference for Cut2Next, particularly for its adherence to intended editing patterns and overall cinematic continuity, validating its ability to generate high-quality, narratively expressive, and cinematically coherent subsequent shots.