SwiftI2V: Geração Eficiente de Vídeos de Alta Resolução a partir de Imagens via Geração Condicional Segmentada

Resumo

A geração de vídeo a partir de imagem (I2V) de alta resolução visa sintetizar dinâmicas temporais realistas, preservando ao mesmo tempo os detalhes de aparência refinados da imagem de entrada. Em resolução 2K, este desafio torna-se extremamente complexo, e as soluções existentes apresentam várias fragilidades: 1) os modelos *end-to-end* são frequentemente proibitivamente dispendiosos em memória e latência; 2) a abordagem em cascata, que gera primeiro em baixa resolução e depois aplica um super-resolução de vídeo genérico, tende a alucinar detalhes e a afastar-se das estruturas locais específicas da entrada, uma vez que a etapa de super-resolução não é explicitamente condicionada pela imagem de entrada. Para tal, propomos o SwiftI2V, uma estrutura eficiente concebida para I2V de alta resolução. Seguindo o desenho amplamente utilizado em duas fases, ele resolve o dilema eficiência-fidelidade gerando primeiro uma referência de movimento em baixa resolução para reduzir os custos de *tokens* e facilitar a modelação, realizando depois uma síntese 2K fortemente condicionada pela imagem, guiada pelo movimento, para recuperar detalhes fiéis à entrada com uma sobrecarga controlada. Especificamente, para tornar a geração mais escalável, o SwiftI2V introduz a Geração Condicional por Segmentos (*Conditional Segment-wise Generation - CSG*) para sintetizar vídeos segmento a segmento com um orçamento limitado de *tokens* por passo, e adota uma interação contextual bidirecional dentro de cada segmento para melhorar a coerência entre segmentos e a fidelidade à entrada. No VBench-I2V em resolução 2K, o SwiftI2V alcança um desempenho comparável aos *baselines end-to-end*, enquanto reduz o tempo total de GPU em 202x. Particularmente, ele permite a prática de geração I2V em 2K numa única GPU de datacenter (ex: H800) ou numa GPU de consumidor (ex: RTX 4090).

English

High-resolution image-to-video (I2V) generation aims to synthesize realistic temporal dynamics while preserving fine-grained appearance details of the input image. At 2K resolution, it becomes extremely challenging, and existing solutions suffer from various weaknesses: 1) end-to-end models are often prohibitively expensive in memory and latency; 2) cascading low-resolution generation with a generic video super-resolution tends to hallucinate details and drift from input-specific local structures, since the super-resolution stage is not explicitly conditioned on the input image. To this end, we propose SwiftI2V, an efficient framework tailored for high-resolution I2V. Following the widely used two-stage design, it addresses the efficiency--fidelity dilemma by first generating a low-resolution motion reference to reduce token costs and ease the modeling burden, then performing a strongly image-conditioned 2K synthesis guided by the motion to recover input-faithful details with controlled overhead. Specifically, to make generation more scalable, SwiftI2V introduces Conditional Segment-wise Generation (CSG) to synthesize videos segment-by-segment with a bounded per-step token budget, and adopts bidirectional contextual interaction within each segment to improve cross-segment coherence and input fidelity. On VBench-I2V at 2K resolution, SwiftI2V achieves performance comparable to end-to-end baselines while reducing total GPU-time by 202x. Particularly, it enables practical 2K I2V generation on a single datacenter GPU (e.g., H800) or consumer GPU (e.g., RTX 4090).