Глобальная позиционная система (GPS) в качестве сигнала управления для генерации изображений.

GPS as a Control Signal for Image Generation

January 21, 2025

Авторы: Chao Feng, Ziyang Chen, Aleksander Holynski, Alexei A. Efros, Andrew Owens

cs.AI

Аннотация

Мы показываем, что метаданные фотографий, содержащие теги GPS, предоставляют полезный контрольный сигнал для генерации изображений. Мы обучаем модели преобразования GPS в изображения и используем их для задач, требующих детального понимания того, как изображения изменяются в пределах города. В частности, мы обучаем модель диффузии для генерации изображений, зависящих как от GPS, так и от текста. Обученная модель генерирует изображения, захватывающие характерный облик различных районов, парков и достопримечательностей. Мы также извлекаем 3D модели из 2D моделей преобразования GPS в изображения с помощью выборочного дистилляционного оценивания, используя GPS для ограничения внешнего вида реконструкции с каждой точки зрения. Наши оценки свидетельствуют о том, что наши модели, зависящие от GPS, успешно учатся генерировать изображения, изменяющиеся в зависимости от местоположения, и что использование GPS улучшает оценку 3D структуры.

English

We show that the GPS tags contained in photo metadata provide a useful control signal for image generation. We train GPS-to-image models and use them for tasks that require a fine-grained understanding of how images vary within a city. In particular, we train a diffusion model to generate images conditioned on both GPS and text. The learned model generates images that capture the distinctive appearance of different neighborhoods, parks, and landmarks. We also extract 3D models from 2D GPS-to-image models through score distillation sampling, using GPS conditioning to constrain the appearance of the reconstruction from each viewpoint. Our evaluations suggest that our GPS-conditioned models successfully learn to generate images that vary based on location, and that GPS conditioning improves estimated 3D structure.