시각 연대기: 다중모달 LLM을 활용한 대규모 이미지 컬렉션 분석

Visual Chronicles: Using Multimodal LLMs to Analyze Massive Collections of Images

April 11, 2025

저자: Boyang Deng, Songyou Peng, Kyle Genova, Gordon Wetzstein, Noah Snavely, Leonidas Guibas, Thomas Funkhouser

cs.AI

초록

우리는 다양한 시점에 촬영된 수천만 장의 이미지로 구성된 대규모 데이터베이스를 분석하기 위해 멀티모달 대형 언어 모델(MLLM)을 활용한 시스템을 제안합니다. 이 시스템의 목표는 시간에 따른 변화 패턴을 발견하는 것입니다. 구체적으로, 우리는 특정 기간 동안 도시 전반에 걸쳐 빈번하게 동시에 발생하는 변화("트렌드")를 포착하고자 합니다. 기존의 시각적 분석과 달리, 우리의 분석은 미리 정의된 대상 주제나 학습 레이블 없이도 열린 질문(예: "도시에서 빈번하게 발생하는 변화 유형은 무엇인가?")에 답할 수 있습니다. 이러한 특성으로 인해 기존의 학습 기반 또는 비지도 시각적 분석 도구는 적합하지 않습니다. 우리는 MLLM이 열린 의미 이해 능력을 갖춘 새로운 도구로 적합하다고 판단했습니다. 그러나 우리의 데이터셋은 MLLM이 컨텍스트로 처리하기에는 네 배나 큰 규모입니다. 따라서 우리는 대규모 시각적 분석 문제를 더 다루기 쉬운 하위 문제로 분해하는 하향식 절차를 도입했습니다. 각 하위 문제에 대해 MLLM 기반 솔루션을 신중하게 설계했습니다. 우리 시스템을 사용한 실험 및 어블레이션 연구에서, 이 시스템이 기준선을 크게 능가하고 대도시에서 촬영된 이미지에서 흥미로운 트렌드(예: "야외 식사 공간 추가", "고가도로가 파란색으로 도색됨" 등)를 발견할 수 있음을 확인했습니다. 더 많은 결과와 인터랙티브 데모는 https://boyangdeng.com/visual-chronicles에서 확인할 수 있습니다.

English

We present a system using Multimodal LLMs (MLLMs) to analyze a large database with tens of millions of images captured at different times, with the aim of discovering patterns in temporal changes. Specifically, we aim to capture frequent co-occurring changes ("trends") across a city over a certain period. Unlike previous visual analyses, our analysis answers open-ended queries (e.g., "what are the frequent types of changes in the city?") without any predetermined target subjects or training labels. These properties cast prior learning-based or unsupervised visual analysis tools unsuitable. We identify MLLMs as a novel tool for their open-ended semantic understanding capabilities. Yet, our datasets are four orders of magnitude too large for an MLLM to ingest as context. So we introduce a bottom-up procedure that decomposes the massive visual analysis problem into more tractable sub-problems. We carefully design MLLM-based solutions to each sub-problem. During experiments and ablation studies with our system, we find it significantly outperforms baselines and is able to discover interesting trends from images captured in large cities (e.g., "addition of outdoor dining,", "overpass was painted blue," etc.). See more results and interactive demos at https://boyangdeng.com/visual-chronicles.