UnityShots: Generación de audio-video multi-shot impulsada por memoria con compuerta consciente de límites

Resumen

Generar un video coherente de múltiples tomas requiere una memoria estructurada entre tomas. La apariencia del sujeto, el contexto de la escena y la identidad del hablante deben persistir a través de los cortes. Los enfoques existentes o entrenan extremo a extremo sobre secuencias de longitud fija sin capacidad de escalado, generan toma por toma con bancos de memoria que crecen linealmente, o coordinan generadores preentrenados bajo un planificador LLM sin un esqueleto consciente de múltiples tomas. Presentamos UnityShots, un sistema de generación de audio-video multi-toma impulsado por memoria, basado en LTX-2.3 y entrenado sobre tomas cinematográficas y de videoclips musicales anotadas. El flujo de video mantiene dos ranuras de tamaño fijo: una ranura de memoria a largo plazo (MLP) anclada a la toma inicial y una ranura de memoria a corto plazo (MCP) que retiene la cola inmediatamente anterior, ambas actualizadas en cada corte mediante una compuerta condicionada por límites que fusiona la probabilidad de corte visual y las señales de seguimiento de ritmo. El flujo de audio inyecta un token de referencia del hablante en cada toma para preservar el timbre vocal sin un banco de audio deslizante. Un prior discreto de tipo de corte, aprendido mediante AdaLN, se convierte en un control ajustable en tiempo de inferencia sobre la fuerza de transición. Publicamos un punto de referencia de 200 secuencias multi-toma multiculturales que abarcan seis regiones étnicas y diez o más idiomas, con identidades de referencia por toma, audio de referencia y etiquetas de transición por límite. Evaluado en modos de condicionamiento I2V, T2V y R2V, UnityShots supera a las líneas base de código abierto en cada métrica de coherencia entre tomas y equipara al sistema de código cerrado más potente en los ejes multi-toma.

English

Generating a coherent multi-shot video requires structured cross-shot memory. Subject appearance, scene context, and speaker identity must persist across cuts. Existing approaches either train end-to-end over fixed-length sequences and cannot scale, generate shot-by-shot with memory banks that grow linearly, or orchestrate pretrained generators under an LLM planner without a multi-shot-aware backbone. We present UnityShots, a memory-driven multi-shot audio-video generation system built on LTX-2.3, trained on annotated cinematic and music-video shots. The video stream maintains two fixed-size slots, a long-term memory (LTM) slot anchored to the opening shot and a short-term memory (STM) slot holding the immediately preceding tail, both updated at every cut by a boundary-conditioned gate that fuses visual cut probability and beat-tracker signals. The audio stream injects a reference speaker token at every shot to preserve vocal timbre without a sliding audio bank. A discrete cut-type prior, learned through AdaLN, becomes an inference-time control knob over transition strength. We release a benchmark of 200 multi-cultural multi-shot sequences spanning six ethnic regions and ten or more languages, with per-shot reference identities, reference audio, and per-boundary transition labels. Evaluated across I2V, T2V, and R2V conditioning modes, UnityShots leads open-source baselines on every cross-shot coherence metric and matches the strongest closed-source system on the multi-shot axes.