ビジュアル・クロニクル：大規模画像コレクションの分析におけるマルチモーダルLLMの活用

Visual Chronicles: Using Multimodal LLMs to Analyze Massive Collections of Images

April 11, 2025

著者: Boyang Deng, Songyou Peng, Kyle Genova, Gordon Wetzstein, Noah Snavely, Leonidas Guibas, Thomas Funkhouser

cs.AI

要旨

我々は、異なる時期に撮影された数千万枚の画像からなる大規模データベースを分析するために、マルチモーダルLLM（MLLM）を活用したシステムを提案します。その目的は、時間的変化におけるパターンを発見することです。具体的には、特定の期間にわたって都市全体で頻繁に共起する変化（「トレンド」）を捉えることを目指しています。従来の視覚分析とは異なり、我々の分析は、事前に定義された対象やトレーニングラベルなしに、オープンエンドなクエリ（例：「都市で頻繁に起こる変化の種類は何か？」）に答えることができます。これらの特性により、従来の学習ベースや教師なしの視覚分析ツールは不適格となります。我々は、MLLMをそのオープンエンドな意味理解能力のために新たなツールとして特定しました。しかし、我々のデータセットはMLLMがコンテキストとして取り込むには4桁大きすぎます。そこで、大規模な視覚分析問題をより扱いやすいサブ問題に分解するボトムアップの手順を導入します。各サブ問題に対して、MLLMベースのソリューションを慎重に設計します。システムの実験とアブレーションスタディを通じて、ベースラインを大幅に上回り、大都市で撮影された画像から興味深いトレンド（例：「屋外飲食の追加」、「高架橋が青く塗られた」など）を発見できることがわかりました。詳細な結果とインタラクティブなデモはhttps://boyangdeng.com/visual-chroniclesでご覧いただけます。

English

We present a system using Multimodal LLMs (MLLMs) to analyze a large database with tens of millions of images captured at different times, with the aim of discovering patterns in temporal changes. Specifically, we aim to capture frequent co-occurring changes ("trends") across a city over a certain period. Unlike previous visual analyses, our analysis answers open-ended queries (e.g., "what are the frequent types of changes in the city?") without any predetermined target subjects or training labels. These properties cast prior learning-based or unsupervised visual analysis tools unsuitable. We identify MLLMs as a novel tool for their open-ended semantic understanding capabilities. Yet, our datasets are four orders of magnitude too large for an MLLM to ingest as context. So we introduce a bottom-up procedure that decomposes the massive visual analysis problem into more tractable sub-problems. We carefully design MLLM-based solutions to each sub-problem. During experiments and ablation studies with our system, we find it significantly outperforms baselines and is able to discover interesting trends from images captured in large cities (e.g., "addition of outdoor dining,", "overpass was painted blue," etc.). See more results and interactive demos at https://boyangdeng.com/visual-chronicles.