Crônicas Visuais: Utilizando LLMs Multimodais para Analisar Coleções Massivas de Imagens

Visual Chronicles: Using Multimodal LLMs to Analyze Massive Collections of Images

April 11, 2025

Autores: Boyang Deng, Songyou Peng, Kyle Genova, Gordon Wetzstein, Noah Snavely, Leonidas Guibas, Thomas Funkhouser

cs.AI

Resumo

Apresentamos um sistema que utiliza Modelos de Linguagem Multimodais (MLLMs) para analisar um grande banco de dados com dezenas de milhões de imagens capturadas em diferentes momentos, com o objetivo de descobrir padrões em mudanças temporais. Especificamente, buscamos capturar mudanças frequentes que ocorrem simultaneamente ("tendências") em uma cidade ao longo de um determinado período. Diferentemente de análises visuais anteriores, nossa análise responde a consultas abertas (por exemplo, "quais são os tipos frequentes de mudanças na cidade?") sem qualquer assunto-alvo pré-determinado ou rótulos de treinamento. Essas características tornam as ferramentas de análise visual baseadas em aprendizado ou não supervisionadas inadequadas. Identificamos os MLLMs como uma ferramenta inovadora devido às suas capacidades de compreensão semântica aberta. No entanto, nossos conjuntos de dados são quatro ordens de magnitude maiores do que o que um MLLM pode processar como contexto. Portanto, introduzimos um procedimento de baixo para cima que decompõe o problema massivo de análise visual em subproblemas mais tratáveis. Projetamos cuidadosamente soluções baseadas em MLLM para cada subproblema. Durante experimentos e estudos de ablação com nosso sistema, descobrimos que ele supera significativamente as linhas de base e é capaz de descobrir tendências interessantes a partir de imagens capturadas em grandes cidades (por exemplo, "adição de mesas ao ar livre", "viaduto foi pintado de azul", etc.). Veja mais resultados e demonstrações interativas em https://boyangdeng.com/visual-chronicles.

English

We present a system using Multimodal LLMs (MLLMs) to analyze a large database with tens of millions of images captured at different times, with the aim of discovering patterns in temporal changes. Specifically, we aim to capture frequent co-occurring changes ("trends") across a city over a certain period. Unlike previous visual analyses, our analysis answers open-ended queries (e.g., "what are the frequent types of changes in the city?") without any predetermined target subjects or training labels. These properties cast prior learning-based or unsupervised visual analysis tools unsuitable. We identify MLLMs as a novel tool for their open-ended semantic understanding capabilities. Yet, our datasets are four orders of magnitude too large for an MLLM to ingest as context. So we introduce a bottom-up procedure that decomposes the massive visual analysis problem into more tractable sub-problems. We carefully design MLLM-based solutions to each sub-problem. During experiments and ablation studies with our system, we find it significantly outperforms baselines and is able to discover interesting trends from images captured in large cities (e.g., "addition of outdoor dining,", "overpass was painted blue," etc.). See more results and interactive demos at https://boyangdeng.com/visual-chronicles.