Визуальные хроники: применение мультимодальных больших языковых моделей для анализа обширных коллекций изображений

Visual Chronicles: Using Multimodal LLMs to Analyze Massive Collections of Images

April 11, 2025

Авторы: Boyang Deng, Songyou Peng, Kyle Genova, Gordon Wetzstein, Noah Snavely, Leonidas Guibas, Thomas Funkhouser

cs.AI

Аннотация

Мы представляем систему, использующую мультимодальные языковые модели (MLLM) для анализа обширной базы данных, содержащей десятки миллионов изображений, сделанных в разное время, с целью выявления закономерностей временных изменений. В частности, мы стремимся зафиксировать часто встречающиеся совместные изменения ("тренды") в городе за определенный период. В отличие от предыдущих визуальных анализов, наш анализ отвечает на открытые запросы (например, "какие типы изменений часто происходят в городе?") без заранее заданных целевых объектов или обучающих меток. Эти свойства делают непригодными ранее используемые инструменты визуального анализа, основанные на обучении или без учителя. Мы определяем MLLM как новый инструмент благодаря их способности к открытому семантическому пониманию. Однако наши наборы данных на четыре порядка величины превышают объем, который MLLM может обработать в качестве контекста. Поэтому мы вводим процедуру снизу вверх, которая разбивает масштабную задачу визуального анализа на более управляемые подзадачи. Мы тщательно разрабатываем решения на основе MLLM для каждой подзадачи. В ходе экспериментов и исследований с нашей системой мы обнаруживаем, что она значительно превосходит базовые методы и способна выявлять интересные тренды из изображений, сделанных в крупных городах (например, "добавление уличных кафе", "путепровод был покрашен в синий цвет" и т.д.). Дополнительные результаты и интерактивные демонстрации доступны по ссылке: https://boyangdeng.com/visual-chronicles.

English

We present a system using Multimodal LLMs (MLLMs) to analyze a large database with tens of millions of images captured at different times, with the aim of discovering patterns in temporal changes. Specifically, we aim to capture frequent co-occurring changes ("trends") across a city over a certain period. Unlike previous visual analyses, our analysis answers open-ended queries (e.g., "what are the frequent types of changes in the city?") without any predetermined target subjects or training labels. These properties cast prior learning-based or unsupervised visual analysis tools unsuitable. We identify MLLMs as a novel tool for their open-ended semantic understanding capabilities. Yet, our datasets are four orders of magnitude too large for an MLLM to ingest as context. So we introduce a bottom-up procedure that decomposes the massive visual analysis problem into more tractable sub-problems. We carefully design MLLM-based solutions to each sub-problem. During experiments and ablation studies with our system, we find it significantly outperforms baselines and is able to discover interesting trends from images captured in large cities (e.g., "addition of outdoor dining,", "overpass was painted blue," etc.). See more results and interactive demos at https://boyangdeng.com/visual-chronicles.