ImagenHub: Standardisierung der Bewertung von Modellen zur bedingten Bildgenerierung

ImagenHub: Standardizing the evaluation of conditional image generation models

October 2, 2023

papers.authors: Max Ku, Tianle Li, Kai Zhang, Yujie Lu, Xingyu Fu, Wenwen Zhuang, Wenhu Chen

cs.AI

papers.abstract

In letzter Zeit wurden eine Vielzahl von Modellen zur bedingten Bildgenerierung und -bearbeitung entwickelt, um verschiedene nachgelagerte Aufgaben zu bedienen, darunter Text-zu-Bild-Generierung, textgesteuerte Bildbearbeitung, subjektgesteuerte Bildgenerierung, kontrollgesteuerte Bildgenerierung usw. Wir beobachten jedoch erhebliche Inkonsistenzen in den experimentellen Bedingungen: Datensätze, Inferenz und Bewertungsmetriken – was faire Vergleiche erschwert. Dieses Papier schlägt ImagenHub vor, eine One-Stop-Bibliothek zur Standardisierung der Inferenz und Bewertung aller bedingten Bildgenerierungsmodelle. Erstens definieren wir sieben herausragende Aufgaben und kuratieren hochwertige Bewertungsdatensätze für diese. Zweitens haben wir eine einheitliche Inferenzpipeline aufgebaut, um einen fairen Vergleich zu gewährleisten. Drittens entwerfen wir zwei menschliche Bewertungsscores, nämlich Semantische Konsistenz und Wahrgenommene Qualität, zusammen mit umfassenden Richtlinien zur Bewertung generierter Bilder. Wir schulen Expertenbewerter, um die Modellausgaben basierend auf den vorgeschlagenen Metriken zu bewerten. Unsere menschliche Bewertung erreicht eine hohe Übereinstimmung zwischen den Bewertern mit einem Krippendorff's Alpha von 76 % der Modelle mit einem Wert über 0,4. Wir haben insgesamt etwa 30 Modelle umfassend bewertet und drei zentrale Erkenntnisse gewonnen: (1) Die Leistung der bestehenden Modelle ist im Allgemeinen unbefriedigend, mit Ausnahme von Textgesteuerter Bildgenerierung und Subjektgesteuerter Bildgenerierung, wobei 74 % der Modelle eine Gesamtpunktzahl von weniger als 0,5 erreichen. (2) Wir haben die Behauptungen aus veröffentlichten Arbeiten überprüft und festgestellt, dass 83 % davon mit wenigen Ausnahmen zutreffen. (3) Keine der bestehenden automatischen Metriken hat eine Spearman-Korrelation von mehr als 0,2, mit Ausnahme der subjektgesteuerten Bildgenerierung. In Zukunft werden wir unsere Bemühungen fortsetzen, neu veröffentlichte Modelle zu bewerten und unsere Bestenliste zu aktualisieren, um den Fortschritt in der bedingten Bildgenerierung im Auge zu behalten.

English

Recently, a myriad of conditional image generation and editing models have been developed to serve different downstream tasks, including text-to-image generation, text-guided image editing, subject-driven image generation, control-guided image generation, etc. However, we observe huge inconsistencies in experimental conditions: datasets, inference, and evaluation metrics - render fair comparisons difficult. This paper proposes ImagenHub, which is a one-stop library to standardize the inference and evaluation of all the conditional image generation models. Firstly, we define seven prominent tasks and curate high-quality evaluation datasets for them. Secondly, we built a unified inference pipeline to ensure fair comparison. Thirdly, we design two human evaluation scores, i.e. Semantic Consistency and Perceptual Quality, along with comprehensive guidelines to evaluate generated images. We train expert raters to evaluate the model outputs based on the proposed metrics. Our human evaluation achieves a high inter-worker agreement of Krippendorff's alpha on 76% models with a value higher than 0.4. We comprehensively evaluated a total of around 30 models and observed three key takeaways: (1) the existing models' performance is generally unsatisfying except for Text-guided Image Generation and Subject-driven Image Generation, with 74% models achieving an overall score lower than 0.5. (2) we examined the claims from published papers and found 83% of them hold with a few exceptions. (3) None of the existing automatic metrics has a Spearman's correlation higher than 0.2 except subject-driven image generation. Moving forward, we will continue our efforts to evaluate newly published models and update our leaderboard to keep track of the progress in conditional image generation.