Visuelle Chroniken: Nutzung multimodaler LLMs zur Analyse umfangreicher Bildsammlungen

Visual Chronicles: Using Multimodal LLMs to Analyze Massive Collections of Images

April 11, 2025

Autoren: Boyang Deng, Songyou Peng, Kyle Genova, Gordon Wetzstein, Noah Snavely, Leonidas Guibas, Thomas Funkhouser

cs.AI

Zusammenfassung

Wir stellen ein System vor, das Multimodale LLMs (MLLMs) verwendet, um eine große Datenbank mit zig Millionen Bildern, die zu verschiedenen Zeitpunkten aufgenommen wurden, zu analysieren, mit dem Ziel, Muster in zeitlichen Veränderungen zu entdecken. Insbesondere möchten wir häufig gemeinsam auftretende Veränderungen („Trends“) in einer Stadt über einen bestimmten Zeitraum erfassen. Im Gegensatz zu früheren visuellen Analysen beantwortet unsere Analyse offene Fragen (z. B. „Welche Arten von Veränderungen treten in der Stadt häufig auf?“) ohne vorgegebene Zielobjekte oder Trainingslabels. Diese Eigenschaften machen bisherige lernbasierte oder unüberwachte visuelle Analysetools ungeeignet. Wir identifizieren MLLMs als neuartiges Werkzeug aufgrund ihrer Fähigkeit zum offenen semantischen Verständnis. Allerdings sind unsere Datensätze vier Größenordnungen zu groß, um sie als Kontext in ein MLLM einzugeben. Daher führen wir ein Bottom-up-Verfahren ein, das das massive Problem der visuellen Analyse in besser handhabbare Teilprobleme zerlegt. Wir entwerfen sorgfältig MLLM-basierte Lösungen für jedes Teilproblem. Während der Experimente und Ablationsstudien mit unserem System stellen wir fest, dass es die Baselines deutlich übertrifft und in der Lage ist, interessante Trends aus Bildern großer Städte zu entdecken (z. B. „Einrichtung von Außengastronomie“, „Überführung wurde blau gestrichen“ usw.). Weitere Ergebnisse und interaktive Demos finden Sie unter https://boyangdeng.com/visual-chronicles.

English

We present a system using Multimodal LLMs (MLLMs) to analyze a large database with tens of millions of images captured at different times, with the aim of discovering patterns in temporal changes. Specifically, we aim to capture frequent co-occurring changes ("trends") across a city over a certain period. Unlike previous visual analyses, our analysis answers open-ended queries (e.g., "what are the frequent types of changes in the city?") without any predetermined target subjects or training labels. These properties cast prior learning-based or unsupervised visual analysis tools unsuitable. We identify MLLMs as a novel tool for their open-ended semantic understanding capabilities. Yet, our datasets are four orders of magnitude too large for an MLLM to ingest as context. So we introduce a bottom-up procedure that decomposes the massive visual analysis problem into more tractable sub-problems. We carefully design MLLM-based solutions to each sub-problem. During experiments and ablation studies with our system, we find it significantly outperforms baselines and is able to discover interesting trends from images captured in large cities (e.g., "addition of outdoor dining,", "overpass was painted blue," etc.). See more results and interactive demos at https://boyangdeng.com/visual-chronicles.