SG-I2V: Control de Trayectoria Autoguiada en la Generación de Imagen a Video

SG-I2V: Self-Guided Trajectory Control in Image-to-Video Generation

November 7, 2024

Autores: Koichi Namekata, Sherwin Bahmani, Ziyi Wu, Yash Kant, Igor Gilitschenski, David B. Lindell

cs.AI

Resumen

Los métodos de generación de vídeo a partir de imágenes han logrado una calidad impresionante y fotorrealista. Sin embargo, ajustar elementos específicos en los vídeos generados, como el movimiento de objetos o el desplazamiento de la cámara, suele ser un proceso tedioso de prueba y error que, por ejemplo, implica regenerar vídeos con diferentes semillas aleatorias. Técnicas recientes abordan este problema mediante el ajuste fino de un modelo preentrenado para seguir señales de condicionamiento, como cuadros delimitadores o trayectorias de puntos. No obstante, este procedimiento de ajuste fino puede ser computacionalmente costoso y requiere conjuntos de datos con movimiento de objetos anotado, que pueden ser difíciles de obtener. En este trabajo, presentamos SG-I2V, un marco para la generación controlada de vídeo a partir de imágenes que es autoguiado, ofreciendo control de tipo *zero-shot* al basarse únicamente en el conocimiento presente en un modelo de difusión preentrenado sin necesidad de ajuste fino o conocimiento externo. Nuestro método *zero-shot* supera a los métodos de referencia no supervisados y es competitivo con los modelos supervisados en términos de calidad visual y fidelidad del movimiento.

English

Methods for image-to-video generation have achieved impressive, photo-realistic quality. However, adjusting specific elements in generated videos, such as object motion or camera movement, is often a tedious process of trial and error, e.g., involving re-generating videos with different random seeds. Recent techniques address this issue by fine-tuning a pre-trained model to follow conditioning signals, such as bounding boxes or point trajectories. Yet, this fine-tuning procedure can be computationally expensive, and it requires datasets with annotated object motion, which can be difficult to procure. In this work, we introduce SG-I2V, a framework for controllable image-to-video generation that is self-guidedx2013offering zero-shot control by relying solely on the knowledge present in a pre-trained image-to-video diffusion model without the need for fine-tuning or external knowledge. Our zero-shot method outperforms unsupervised baselines while being competitive with supervised models in terms of visual quality and motion fidelity.