JourneyDB: Um Benchmark para Compreensão de Imagens Gerativas

JourneyDB: A Benchmark for Generative Image Understanding

July 3, 2023

Autores: Junting Pan, Keqiang Sun, Yuying Ge, Hao Li, Haodong Duan, Xiaoshi Wu, Renrui Zhang, Aojun Zhou, Zipeng Qin, Yi Wang, Jifeng Dai, Yu Qiao, Hongsheng Li

cs.AI

Resumo

Embora os recentes avanços em modelos de visão e linguagem tenham revolucionado a compreensão multimodal, ainda não está claro se eles possuem a capacidade de compreender as imagens geradas. Em comparação com dados reais, as imagens sintéticas exibem um grau maior de diversidade tanto em conteúdo quanto em estilo, o que apresenta dificuldades significativas para os modelos compreenderem plenamente. Para isso, apresentamos um conjunto de dados em larga escala, o JourneyDB, para a compreensão visual multimodal em imagens geradas. Nosso conjunto de dados curado abrange 4 milhões de imagens geradas diversas e de alta qualidade, emparelhadas com os prompts de texto usados para produzi-las. Além disso, projetamos 4 benchmarks para quantificar o desempenho da compreensão de imagens geradas em termos de interpretação de conteúdo e estilo. Esses benchmarks incluem inversão de prompt, recuperação de estilo, descrição de imagem e resposta a perguntas visuais. Por fim, avaliamos o desempenho dos modelos multimodais mais avançados atualmente quando aplicados ao JourneyDB e fornecemos uma análise detalhada de seus pontos fortes e limitações na compreensão de conteúdo gerado. Esperamos que o conjunto de dados e os benchmarks propostos facilitem a pesquisa no campo da compreensão de conteúdo gerado. O conjunto de dados estará disponível em https://journeydb.github.io.

English

While recent advancements in vision-language models have revolutionized multi-modal understanding, it remains unclear whether they possess the capabilities of comprehending the generated images. Compared to real data, synthetic images exhibit a higher degree of diversity in both content and style, for which there are significant difficulties for the models to fully apprehend. To this end, we present a large-scale dataset, JourneyDB, for multi-modal visual understanding in generative images. Our curated dataset covers 4 million diverse and high-quality generated images paired with the text prompts used to produce them. We further design 4 benchmarks to quantify the performance of generated image understanding in terms of both content and style interpretation. These benchmarks include prompt inversion, style retrieval, image captioning and visual question answering. Lastly, we assess the performance of current state-of-the-art multi-modal models when applied to JourneyDB, and provide an in-depth analysis of their strengths and limitations in generated content understanding. We hope the proposed dataset and benchmarks will facilitate the research in the field of generative content understanding. The dataset will be available on https://journeydb.github.io.