GPS como Sinal de Controle para Geração de Imagens

GPS as a Control Signal for Image Generation

January 21, 2025

Autores: Chao Feng, Ziyang Chen, Aleksander Holynski, Alexei A. Efros, Andrew Owens

cs.AI

Resumo

Mostramos que as tags de GPS contidas nos metadados das fotos fornecem um sinal de controle útil para a geração de imagens. Treinamos modelos de GPS para imagem e os utilizamos em tarefas que exigem uma compreensão detalhada de como as imagens variam dentro de uma cidade. Em particular, treinamos um modelo de difusão para gerar imagens condicionadas tanto ao GPS quanto ao texto. O modelo aprendido gera imagens que capturam a aparência distintiva de diferentes bairros, parques e pontos turísticos. Também extraímos modelos 3D de modelos de GPS para imagem 2D por meio de amostragem de destilação de pontuação, utilizando o condicionamento de GPS para restringir a aparência da reconstrução de cada ponto de vista. Nossas avaliações sugerem que nossos modelos condicionados por GPS aprendem com sucesso a gerar imagens que variam com base na localização, e que o condicionamento de GPS melhora a estrutura 3D estimada.

English

We show that the GPS tags contained in photo metadata provide a useful control signal for image generation. We train GPS-to-image models and use them for tasks that require a fine-grained understanding of how images vary within a city. In particular, we train a diffusion model to generate images conditioned on both GPS and text. The learned model generates images that capture the distinctive appearance of different neighborhoods, parks, and landmarks. We also extract 3D models from 2D GPS-to-image models through score distillation sampling, using GPS conditioning to constrain the appearance of the reconstruction from each viewpoint. Our evaluations suggest that our GPS-conditioned models successfully learn to generate images that vary based on location, and that GPS conditioning improves estimated 3D structure.