JourneyDB: Бенчмарк для анализа сгенерированных изображений

JourneyDB: A Benchmark for Generative Image Understanding

July 3, 2023

Авторы: Junting Pan, Keqiang Sun, Yuying Ge, Hao Li, Haodong Duan, Xiaoshi Wu, Renrui Zhang, Aojun Zhou, Zipeng Qin, Yi Wang, Jifeng Dai, Yu Qiao, Hongsheng Li

cs.AI

Аннотация

Хотя последние достижения в моделях обработки зрения и языка произвели революцию в многомодальном понимании, остается неясным, обладают ли они способностью осмысливать генерируемые изображения. По сравнению с реальными данными, синтетические изображения демонстрируют более высокую степень разнообразия как в содержании, так и в стиле, что создает значительные трудности для полного понимания моделями. В связи с этим мы представляем крупномасштабный набор данных JourneyDB для многомодального визуального понимания генерируемых изображений. Наш тщательно отобранный набор данных охватывает 4 миллиона разнообразных и высококачественных сгенерированных изображений, сопряженных с текстовыми запросами, использованными для их создания. Мы также разработали 4 теста для количественной оценки понимания генерируемых изображений с точки зрения интерпретации содержания и стиля. Эти тесты включают инверсию запроса, поиск стиля, генерацию описаний изображений и визуальный вопросно-ответный анализ. Наконец, мы оцениваем производительность современных многомодальных моделей при работе с JourneyDB и предоставляем детальный анализ их сильных сторон и ограничений в понимании генерируемого контента. Мы надеемся, что предложенный набор данных и тесты будут способствовать исследованиям в области понимания генерируемого контента. Набор данных будет доступен на https://journeydb.github.io.

English

While recent advancements in vision-language models have revolutionized multi-modal understanding, it remains unclear whether they possess the capabilities of comprehending the generated images. Compared to real data, synthetic images exhibit a higher degree of diversity in both content and style, for which there are significant difficulties for the models to fully apprehend. To this end, we present a large-scale dataset, JourneyDB, for multi-modal visual understanding in generative images. Our curated dataset covers 4 million diverse and high-quality generated images paired with the text prompts used to produce them. We further design 4 benchmarks to quantify the performance of generated image understanding in terms of both content and style interpretation. These benchmarks include prompt inversion, style retrieval, image captioning and visual question answering. Lastly, we assess the performance of current state-of-the-art multi-modal models when applied to JourneyDB, and provide an in-depth analysis of their strengths and limitations in generated content understanding. We hope the proposed dataset and benchmarks will facilitate the research in the field of generative content understanding. The dataset will be available on https://journeydb.github.io.