Ti sembro un `gatto.n.01`? Un Benchmark per la Generazione di Immagini Tassonomiche
Do I look like a `cat.n.01` to you? A Taxonomy Image Generation Benchmark
March 13, 2025
Autori: Viktor Moskvoretskii, Alina Lobanova, Ekaterina Neminova, Chris Biemann, Alexander Panchenko, Irina Nikishina
cs.AI
Abstract
Questo articolo esplora la fattibilità dell'utilizzo di modelli text-to-image in un contesto zero-shot per generare immagini relative a concetti tassonomici. Mentre i metodi basati sul testo per l'arricchimento della tassonomia sono ben consolidati, il potenziale della dimensione visiva rimane inesplorato. Per affrontare questa lacuna, proponiamo un benchmark completo per la Generazione di Immagini Tassonomiche che valuta la capacità dei modelli di comprendere i concetti tassonomici e generare immagini pertinenti e di alta qualità. Il benchmark include concetti di senso comune e campionati casualmente da WordNet, insieme alle previsioni generate da modelli linguistici di grandi dimensioni (LLM). I 12 modelli vengono valutati utilizzando 9 nuove metriche text-to-image relative alla tassonomia e feedback umano. Inoltre, siamo i primi a utilizzare una valutazione a coppie con feedback GPT-4 per la generazione di immagini. I risultati sperimentali mostrano che la classifica dei modelli differisce significativamente rispetto ai compiti T2I standard. Playground-v2 e FLUX si distinguono costantemente in tutte le metriche e sottoinsiemi, mentre l'approccio basato sul recupero delle informazioni si rivela poco efficace. Questi risultati evidenziano il potenziale per l'automazione della cura di risorse di dati strutturati.
English
This paper explores the feasibility of using text-to-image models in a
zero-shot setup to generate images for taxonomy concepts. While text-based
methods for taxonomy enrichment are well-established, the potential of the
visual dimension remains unexplored. To address this, we propose a
comprehensive benchmark for Taxonomy Image Generation that assesses models'
abilities to understand taxonomy concepts and generate relevant, high-quality
images. The benchmark includes common-sense and randomly sampled WordNet
concepts, alongside the LLM generated predictions. The 12 models are evaluated
using 9 novel taxonomy-related text-to-image metrics and human feedback.
Moreover, we pioneer the use of pairwise evaluation with GPT-4 feedback for
image generation. Experimental results show that the ranking of models differs
significantly from standard T2I tasks. Playground-v2 and FLUX consistently
outperform across metrics and subsets and the retrieval-based approach performs
poorly. These findings highlight the potential for automating the curation of
structured data resources.