JourneyDB : Un Benchmark pour la Compréhension Générative des Images

JourneyDB: A Benchmark for Generative Image Understanding

July 3, 2023

papers.authors: Junting Pan, Keqiang Sun, Yuying Ge, Hao Li, Haodong Duan, Xiaoshi Wu, Renrui Zhang, Aojun Zhou, Zipeng Qin, Yi Wang, Jifeng Dai, Yu Qiao, Hongsheng Li

cs.AI

papers.abstract

Alors que les récents progrès des modèles vision-langage ont révolutionné la compréhension multimodale, il reste incertain si ces modèles possèdent les capacités de comprendre les images générées. Comparées aux données réelles, les images synthétiques présentent une plus grande diversité tant en termes de contenu que de style, ce qui pose des difficultés significatives pour les modèles afin de les appréhender pleinement. Pour répondre à ce problème, nous présentons un jeu de données à grande échelle, JourneyDB, pour la compréhension visuelle multimodale des images générées. Notre jeu de données soigneusement sélectionné couvre 4 millions d'images générées diversifiées et de haute qualité, accompagnées des prompts textuels utilisés pour les produire. Nous concevons en outre 4 benchmarks pour quantifier la performance de la compréhension des images générées en termes d'interprétation du contenu et du style. Ces benchmarks incluent l'inversion de prompt, la récupération de style, la génération de légendes d'images et la réponse à des questions visuelles. Enfin, nous évaluons la performance des modèles multimodaux de pointe actuels lorsqu'ils sont appliqués à JourneyDB, et fournissons une analyse approfondie de leurs forces et limites dans la compréhension du contenu généré. Nous espérons que le jeu de données et les benchmarks proposés faciliteront la recherche dans le domaine de la compréhension du contenu généré. Le jeu de données sera disponible sur https://journeydb.github.io.

English

While recent advancements in vision-language models have revolutionized multi-modal understanding, it remains unclear whether they possess the capabilities of comprehending the generated images. Compared to real data, synthetic images exhibit a higher degree of diversity in both content and style, for which there are significant difficulties for the models to fully apprehend. To this end, we present a large-scale dataset, JourneyDB, for multi-modal visual understanding in generative images. Our curated dataset covers 4 million diverse and high-quality generated images paired with the text prompts used to produce them. We further design 4 benchmarks to quantify the performance of generated image understanding in terms of both content and style interpretation. These benchmarks include prompt inversion, style retrieval, image captioning and visual question answering. Lastly, we assess the performance of current state-of-the-art multi-modal models when applied to JourneyDB, and provide an in-depth analysis of their strengths and limitations in generated content understanding. We hope the proposed dataset and benchmarks will facilitate the research in the field of generative content understanding. The dataset will be available on https://journeydb.github.io.