Chroniques Visuelles : Utilisation de Modèles de Langage Multimodaux pour Analyser des Collections Massives d'Images

Visual Chronicles: Using Multimodal LLMs to Analyze Massive Collections of Images

April 11, 2025

Auteurs: Boyang Deng, Songyou Peng, Kyle Genova, Gordon Wetzstein, Noah Snavely, Leonidas Guibas, Thomas Funkhouser

cs.AI

Résumé

Nous présentons un système utilisant des modèles de langage multimodaux (MLLMs) pour analyser une vaste base de données contenant des dizaines de millions d'images capturées à différents moments, dans le but de découvrir des motifs dans les changements temporels. Plus précisément, nous cherchons à identifier les changements fréquemment co-occurrents ("tendances") à travers une ville sur une période donnée. Contrairement aux analyses visuelles précédentes, notre analyse répond à des requêtes ouvertes (par exemple, "quels sont les types de changements fréquents dans la ville ?") sans aucun sujet cible prédéterminé ni étiquette d'apprentissage. Ces caractéristiques rendent les outils d'analyse visuelle basés sur l'apprentissage ou non supervisés antérieurs inadaptés. Nous identifions les MLLMs comme un nouvel outil pour leurs capacités de compréhension sémantique ouverte. Cependant, nos ensembles de données sont quatre ordres de grandeur trop volumineux pour qu'un MLLM puisse les ingérer en tant que contexte. Nous introduisons donc une procédure ascendante qui décompose le problème massif d'analyse visuelle en sous-problèmes plus gérables. Nous concevons soigneusement des solutions basées sur les MLLMs pour chaque sous-problème. Lors des expériences et études d'ablation avec notre système, nous constatons qu'il surpasse significativement les bases de référence et est capable de découvrir des tendances intéressantes à partir d'images capturées dans de grandes villes (par exemple, "ajout de terrasses de restauration", "le passage supérieur a été peint en bleu", etc.). Consultez plus de résultats et des démonstrations interactives sur https://boyangdeng.com/visual-chronicles.

English

We present a system using Multimodal LLMs (MLLMs) to analyze a large database with tens of millions of images captured at different times, with the aim of discovering patterns in temporal changes. Specifically, we aim to capture frequent co-occurring changes ("trends") across a city over a certain period. Unlike previous visual analyses, our analysis answers open-ended queries (e.g., "what are the frequent types of changes in the city?") without any predetermined target subjects or training labels. These properties cast prior learning-based or unsupervised visual analysis tools unsuitable. We identify MLLMs as a novel tool for their open-ended semantic understanding capabilities. Yet, our datasets are four orders of magnitude too large for an MLLM to ingest as context. So we introduce a bottom-up procedure that decomposes the massive visual analysis problem into more tractable sub-problems. We carefully design MLLM-based solutions to each sub-problem. During experiments and ablation studies with our system, we find it significantly outperforms baselines and is able to discover interesting trends from images captured in large cities (e.g., "addition of outdoor dining,", "overpass was painted blue," etc.). See more results and interactive demos at https://boyangdeng.com/visual-chronicles.