UnityShots: Speichergesteuerte Multi-Shot Audio-Video-Generierung mit grenzbewusstem Gating

Zusammenfassung

Die Erzeugung eines kohärenten Multishot-Videos erfordert einen strukturierten, shotübergreifenden Speicher. Das Erscheinungsbild des Subjekts, der Szenenkontext und die Sprecheridentität müssen über Schnitte hinweg bestehen bleiben. Bisherige Ansätze trainieren entweder End-to-End über Sequenzen fester Länge und können nicht skaliert werden, erzeugen Shot-für-Shot mit linear wachsenden Speicherbänken oder orchestrieren vortrainierte Generatoren unter einem LLM-Planer ohne ein Multishot-bewusstes Backbone. Wir stellen UnityShots vor, ein speichergesteuertes Multishot-Audio-Video-Generierungssystem, das auf LTX-2.3 aufbaut und auf annotierten Film- und Musikvideo-Shots trainiert wurde. Der Videostream unterhält zwei Slots fester Größe: einen Langzeitspeicher-Slot (LTM), der im Eröffnungsshot verankert ist, und einen Kurzzeitspeicher-Slot (STM), der den unmittelbar vorhergehenden Endabschnitt hält. Beide werden bei jedem Schnitt durch ein grenzbedingtes Gate aktualisiert, das die visuelle Schnittwahrscheinlichkeit und Beat-Tracker-Signale fusioniert. Der Audiostream injiziert bei jedem Shot einen Referenzsprecher-Token, um die Stimmklangfarbe ohne eine gleitende Audio-Bank zu bewahren. Ein diskreter Schnitttyp-Prior, gelernt durch AdaLN, wird zu einem Inferenzzeit-Kontrollknopf über die Übergangsstärke. Wir veröffentlichen einen Benchmark mit 200 multikulturellen Multishot-Sequenzen aus sechs ethnischen Regionen und zehn oder mehr Sprachen, mit Referenzidentitäten pro Shot, Referenzaudio und Übergangslabels pro Grenze. Bewertet über I2V-, T2V- und R2V-Konditionierungsmodi, führt UnityShots die Open-Source-Baselines bei jeder Shot-übergreifenden Kohärenzmetrik an und gleicht dem stärksten Closed-Source-System auf den Multishot-Achsen.

English

Generating a coherent multi-shot video requires structured cross-shot memory. Subject appearance, scene context, and speaker identity must persist across cuts. Existing approaches either train end-to-end over fixed-length sequences and cannot scale, generate shot-by-shot with memory banks that grow linearly, or orchestrate pretrained generators under an LLM planner without a multi-shot-aware backbone. We present UnityShots, a memory-driven multi-shot audio-video generation system built on LTX-2.3, trained on annotated cinematic and music-video shots. The video stream maintains two fixed-size slots, a long-term memory (LTM) slot anchored to the opening shot and a short-term memory (STM) slot holding the immediately preceding tail, both updated at every cut by a boundary-conditioned gate that fuses visual cut probability and beat-tracker signals. The audio stream injects a reference speaker token at every shot to preserve vocal timbre without a sliding audio bank. A discrete cut-type prior, learned through AdaLN, becomes an inference-time control knob over transition strength. We release a benchmark of 200 multi-cultural multi-shot sequences spanning six ethnic regions and ten or more languages, with per-shot reference identities, reference audio, and per-boundary transition labels. Evaluated across I2V, T2V, and R2V conditioning modes, UnityShots leads open-source baselines on every cross-shot coherence metric and matches the strongest closed-source system on the multi-shot axes.