DEsignBench: Исследование и тестирование DALL-E 3 для создания визуального дизайна

DEsignBench: Exploring and Benchmarking DALL-E 3 for Imagining Visual Design

October 23, 2023

Авторы: Kevin Lin, Zhengyuan Yang, Linjie Li, Jianfeng Wang, Lijuan Wang

cs.AI

Аннотация

Мы представляем DEsignBench — эталонный набор данных для генерации изображений по тексту (T2I), адаптированный для сценариев визуального дизайна. Современные модели T2I, такие как DALL-E 3 и другие, продемонстрировали впечатляющие возможности в создании фотореалистичных изображений, которые точно соответствуют текстовым описаниям. Хотя привлекательность создания визуально захватывающих изображений несомненна, наше внимание выходит за рамки простого эстетического удовольствия. Мы стремимся исследовать потенциал использования этих мощных моделей в реальных дизайнерских контекстах. Для достижения этой цели мы разработали DEsignBench, который включает тестовые образцы, предназначенные для оценки моделей T2I по двум критериям: «техническая способность в дизайне» и «сценарий применения в дизайне». Каждый из этих двух аспектов поддерживается разнообразным набором конкретных дизайнерских категорий. Мы исследуем DALL-E 3 вместе с другими ведущими моделями T2I на DEsignBench, создавая обширную визуальную галерею для сравнения результатов. Для оценки DEsignBench мы проводим экспертные оценки сгенерированных изображений в галерее DEsignBench по критериям соответствия тексту, визуальной эстетики и креативности дизайна. Наша оценка также учитывает другие специализированные дизайнерские способности, включая рендеринг текста, композицию макета, гармонию цветов, 3D-дизайн и стиль медиа. Помимо экспертных оценок, мы представляем первый автоматический инструмент для оценки генерации изображений, основанный на GPT-4V. Этот инструмент предоставляет оценки, которые хорошо согласуются с суждениями экспертов, при этом легко воспроизводимы и экономически эффективны. Высококачественная версия доступна по ссылке: https://github.com/design-bench/design-bench.github.io/raw/main/designbench.pdf?download=

English

We introduce DEsignBench, a text-to-image (T2I) generation benchmark tailored for visual design scenarios. Recent T2I models like DALL-E 3 and others, have demonstrated remarkable capabilities in generating photorealistic images that align closely with textual inputs. While the allure of creating visually captivating images is undeniable, our emphasis extends beyond mere aesthetic pleasure. We aim to investigate the potential of using these powerful models in authentic design contexts. In pursuit of this goal, we develop DEsignBench, which incorporates test samples designed to assess T2I models on both "design technical capability" and "design application scenario." Each of these two dimensions is supported by a diverse set of specific design categories. We explore DALL-E 3 together with other leading T2I models on DEsignBench, resulting in a comprehensive visual gallery for side-by-side comparisons. For DEsignBench benchmarking, we perform human evaluations on generated images in DEsignBench gallery, against the criteria of image-text alignment, visual aesthetic, and design creativity. Our evaluation also considers other specialized design capabilities, including text rendering, layout composition, color harmony, 3D design, and medium style. In addition to human evaluations, we introduce the first automatic image generation evaluator powered by GPT-4V. This evaluator provides ratings that align well with human judgments, while being easily replicable and cost-efficient. A high-resolution version is available at https://github.com/design-bench/design-bench.github.io/raw/main/designbench.pdf?download=