ImagenHub: Standardizzazione della valutazione dei modelli di generazione di immagini condizionata

ImagenHub: Standardizing the evaluation of conditional image generation models

October 2, 2023

Autori: Max Ku, Tianle Li, Kai Zhang, Yujie Lu, Xingyu Fu, Wenwen Zhuang, Wenhu Chen

cs.AI

Abstract

Recentemente, sono stati sviluppati una miriade di modelli di generazione e modifica condizionata di immagini per servire diverse attività downstream, tra cui la generazione di immagini da testo, la modifica di immagini guidata da testo, la generazione di immagini basata su soggetti, la generazione di immagini guidata da controlli, ecc. Tuttavia, osserviamo grandi incongruenze nelle condizioni sperimentali: dataset, inferenza e metriche di valutazione, rendendo difficile un confronto equo. Questo articolo propone ImagenHub, una libreria one-stop per standardizzare l'inferenza e la valutazione di tutti i modelli di generazione condizionata di immagini. In primo luogo, definiamo sette compiti principali e curiamo dataset di valutazione di alta qualità per essi. In secondo luogo, abbiamo costruito una pipeline di inferenza unificata per garantire un confronto equo. In terzo luogo, progettiamo due punteggi di valutazione umana, ovvero Coerenza Semantica e Qualità Percettiva, insieme a linee guida complete per valutare le immagini generate. Addestriamo valutatori esperti per valutare gli output dei modelli in base alle metriche proposte. La nostra valutazione umana raggiunge un elevato accordo inter-operatore di Krippendorff's alpha sul 76% dei modelli con un valore superiore a 0.4. Abbiamo valutato in modo completo un totale di circa 30 modelli e osservato tre punti chiave: (1) le prestazioni dei modelli esistenti sono generalmente insoddisfacenti, ad eccezione della Generazione di Immagini Guidata da Testo e della Generazione di Immagini Basata su Soggetti, con il 74% dei modelli che ottiene un punteggio complessivo inferiore a 0.5. (2) Abbiamo esaminato le affermazioni dei paper pubblicati e abbiamo scoperto che l'83% di esse è valido, con poche eccezioni. (3) Nessuna delle metriche automatiche esistenti ha una correlazione di Spearman superiore a 0.2, ad eccezione della generazione di immagini basata su soggetti. Andando avanti, continueremo i nostri sforzi per valutare i modelli pubblicati di recente e aggiorneremo la nostra classifica per tenere traccia dei progressi nella generazione condizionata di immagini.

English

Recently, a myriad of conditional image generation and editing models have been developed to serve different downstream tasks, including text-to-image generation, text-guided image editing, subject-driven image generation, control-guided image generation, etc. However, we observe huge inconsistencies in experimental conditions: datasets, inference, and evaluation metrics - render fair comparisons difficult. This paper proposes ImagenHub, which is a one-stop library to standardize the inference and evaluation of all the conditional image generation models. Firstly, we define seven prominent tasks and curate high-quality evaluation datasets for them. Secondly, we built a unified inference pipeline to ensure fair comparison. Thirdly, we design two human evaluation scores, i.e. Semantic Consistency and Perceptual Quality, along with comprehensive guidelines to evaluate generated images. We train expert raters to evaluate the model outputs based on the proposed metrics. Our human evaluation achieves a high inter-worker agreement of Krippendorff's alpha on 76% models with a value higher than 0.4. We comprehensively evaluated a total of around 30 models and observed three key takeaways: (1) the existing models' performance is generally unsatisfying except for Text-guided Image Generation and Subject-driven Image Generation, with 74% models achieving an overall score lower than 0.5. (2) we examined the claims from published papers and found 83% of them hold with a few exceptions. (3) None of the existing automatic metrics has a Spearman's correlation higher than 0.2 except subject-driven image generation. Moving forward, we will continue our efforts to evaluate newly published models and update our leaderboard to keep track of the progress in conditional image generation.