UnityShots : génération audio-vidéo multi-shot pilotée par la mémoire avec gating sensible aux frontières

Résumé

Générer une vidéo multi-plan cohérente nécessite une mémoire structurée inter-plan. L’apparence du sujet, le contexte de la scène et l’identité du locuteur doivent persister d’un plan à l’autre. Les approches existantes soit s’entraînent de bout en bout sur des séquences de longueur fixe et ne peuvent pas passer à l’échelle, soit génèrent plan par plan avec des banques de mémoire qui croissent linéairement, soit orchestrent des générateurs pré-entraînés sous un planificateur LLM sans architecture de base adaptée au multi-plan. Nous présentons UnityShots, un système de génération audio-vidéo multi-plan piloté par la mémoire, construit sur LTX-2.3 et entraîné sur des plans cinématographiques et de clips musicaux annotés. Le flux vidéo maintient deux emplacements de taille fixe : un emplacement de mémoire à long terme (LTM) ancré au plan d’ouverture et un emplacement de mémoire à court terme (STM) contenant la fin immédiatement précédente, tous deux mis à jour à chaque coupure par une porte conditionnée par les limites qui fusionne la probabilité de coupure visuelle et les signaux du détecteur de rythme. Le flux audio injecte un jeton de locuteur de référence à chaque plan pour préserver le timbre vocal sans banque audio glissante. Un a priori discret de type de coupure, appris via AdaLN, devient un bouton de contrôle au moment de l’inférence sur la force de la transition. Nous publions un benchmark de 200 séquences multi-culturelles multi-plans couvrant six régions ethniques et dix langues ou plus, avec des identités de référence par plan, une audio de référence et des étiquettes de transition par limite. Évalué dans les modes de conditionnement I2V, T2V et R2V, UnityShots mène les références open-source sur toutes les métriques de cohérence inter-plan et égalise le système propriétaire le plus performant sur les axes multi-plan.

English

Generating a coherent multi-shot video requires structured cross-shot memory. Subject appearance, scene context, and speaker identity must persist across cuts. Existing approaches either train end-to-end over fixed-length sequences and cannot scale, generate shot-by-shot with memory banks that grow linearly, or orchestrate pretrained generators under an LLM planner without a multi-shot-aware backbone. We present UnityShots, a memory-driven multi-shot audio-video generation system built on LTX-2.3, trained on annotated cinematic and music-video shots. The video stream maintains two fixed-size slots, a long-term memory (LTM) slot anchored to the opening shot and a short-term memory (STM) slot holding the immediately preceding tail, both updated at every cut by a boundary-conditioned gate that fuses visual cut probability and beat-tracker signals. The audio stream injects a reference speaker token at every shot to preserve vocal timbre without a sliding audio bank. A discrete cut-type prior, learned through AdaLN, becomes an inference-time control knob over transition strength. We release a benchmark of 200 multi-cultural multi-shot sequences spanning six ethnic regions and ten or more languages, with per-shot reference identities, reference audio, and per-boundary transition labels. Evaluated across I2V, T2V, and R2V conditioning modes, UnityShots leads open-source baselines on every cross-shot coherence metric and matches the strongest closed-source system on the multi-shot axes.