GPS como Señal de Control para la Generación de Imágenes

GPS as a Control Signal for Image Generation

January 21, 2025

Autores: Chao Feng, Ziyang Chen, Aleksander Holynski, Alexei A. Efros, Andrew Owens

cs.AI

Resumen

Mostramos que las etiquetas GPS contenidas en los metadatos de las fotos proporcionan una señal de control útil para la generación de imágenes. Entrenamos modelos de GPS a imagen y los utilizamos para tareas que requieren una comprensión detallada de cómo varían las imágenes dentro de una ciudad. En particular, entrenamos un modelo de difusión para generar imágenes condicionadas tanto por GPS como por texto. El modelo aprendido genera imágenes que capturan la apariencia distintiva de diferentes vecindarios, parques y puntos de referencia. También extraemos modelos 3D de modelos de GPS a imagen 2D a través de muestreo de destilación de puntuación, utilizando el condicionamiento GPS para restringir la apariencia de la reconstrucción desde cada punto de vista. Nuestras evaluaciones sugieren que nuestros modelos condicionados por GPS aprenden con éxito a generar imágenes que varían según la ubicación, y que el condicionamiento GPS mejora la estructura 3D estimada.

English

We show that the GPS tags contained in photo metadata provide a useful control signal for image generation. We train GPS-to-image models and use them for tasks that require a fine-grained understanding of how images vary within a city. In particular, we train a diffusion model to generate images conditioned on both GPS and text. The learned model generates images that capture the distinctive appearance of different neighborhoods, parks, and landmarks. We also extract 3D models from 2D GPS-to-image models through score distillation sampling, using GPS conditioning to constrain the appearance of the reconstruction from each viewpoint. Our evaluations suggest that our GPS-conditioned models successfully learn to generate images that vary based on location, and that GPS conditioning improves estimated 3D structure.