T2I-CompBench: 오픈 월드 조합적 텍스트-이미지 생성을 위한 포괄적 벤치마크

T2I-CompBench: A Comprehensive Benchmark for Open-world Compositional Text-to-image Generation

July 12, 2023

저자: Kaiyi Huang, Kaiyue Sun, Enze Xie, Zhenguo Li, Xihui Liu

cs.AI

초록

최근 텍스트-이미지 모델들이 고품질 이미지를 생성하는 놀라운 능력을 보여주고 있음에도 불구하고, 현재의 접근 방식들은 다양한 속성과 관계를 가진 객체들을 복잡하고 일관된 장면으로 효과적으로 구성하는 데 어려움을 겪고 있습니다. 우리는 개방형 세계의 조합적 텍스트-이미지 생성을 위한 포괄적인 벤치마크인 T2I-CompBench를 제안합니다. 이 벤치마크는 3개의 범주(속성 바인딩, 객체 관계, 복잡한 조합)와 6개의 하위 범주(색상 바인딩, 형태 바인딩, 질감 바인딩, 공간적 관계, 비공간적 관계, 복잡한 조합)로 구성된 6,000개의 조합적 텍스트 프롬프트를 포함합니다. 또한, 우리는 조합적 텍스트-이미지 생성을 평가하기 위해 특별히 설계된 여러 평가 지표를 제안합니다. 사전 학습된 텍스트-이미지 모델의 조합적 텍스트-이미지 생성 능력을 향상시키기 위해, 보상 기반 샘플 선택을 통한 생성 모델 미세 조정(GORS)이라는 새로운 접근 방식을 소개합니다. T2I-CompBench에서 기존 방법들을 벤치마킹하고, 우리가 제안한 평가 지표와 GORS 접근 방식의 효과를 검증하기 위해 광범위한 실험과 평가를 수행했습니다. 프로젝트 페이지는 https://karine-h.github.io/T2I-CompBench/에서 확인할 수 있습니다.

English

Despite the stunning ability to generate high-quality images by recent text-to-image models, current approaches often struggle to effectively compose objects with different attributes and relationships into a complex and coherent scene. We propose T2I-CompBench, a comprehensive benchmark for open-world compositional text-to-image generation, consisting of 6,000 compositional text prompts from 3 categories (attribute binding, object relationships, and complex compositions) and 6 sub-categories (color binding, shape binding, texture binding, spatial relationships, non-spatial relationships, and complex compositions). We further propose several evaluation metrics specifically designed to evaluate compositional text-to-image generation. We introduce a new approach, Generative mOdel fine-tuning with Reward-driven Sample selection (GORS), to boost the compositional text-to-image generation abilities of pretrained text-to-image models. Extensive experiments and evaluations are conducted to benchmark previous methods on T2I-CompBench, and to validate the effectiveness of our proposed evaluation metrics and GORS approach. Project page is available at https://karine-h.github.io/T2I-CompBench/.