MJ-Bench: Il tuo modello di ricompensa multimodale è davvero un buon giudice per la generazione di testo-immagine?

MJ-Bench: Is Your Multimodal Reward Model Really a Good Judge for Text-to-Image Generation?

July 5, 2024

Autori: Zhaorun Chen, Yichao Du, Zichen Wen, Yiyang Zhou, Chenhang Cui, Zhenzhen Weng, Haoqin Tu, Chaoqi Wang, Zhengwei Tong, Qinglan Huang, Canyu Chen, Qinghao Ye, Zhihong Zhu, Yuqing Zhang, Jiawei Zhou, Zhuokai Zhao, Rafael Rafailov, Chelsea Finn, Huaxiu Yao

cs.AI

Abstract

Mentre i modelli di generazione di immagini da testo come DALLE-3 e Stable Diffusion si stanno diffondendo rapidamente, spesso incontrano sfide come allucinazioni, bias e la produzione di output di bassa qualità o non sicuri. Per affrontare efficacemente questi problemi, è cruciale allineare questi modelli con comportamenti desiderati basandosi sul feedback di un giudice multimodale. Nonostante la loro importanza, i giudici multimodali attuali vengono spesso valutati in modo inadeguato riguardo alle loro capacità e limitazioni, il che può portare a disallineamenti e risultati di fine-tuning non sicuri. Per risolvere questo problema, introduciamo MJ-Bench, un nuovo benchmark che incorpora un dataset di preferenze completo per valutare i giudici multimodali nel fornire feedback per i modelli di generazione di immagini secondo quattro prospettive chiave: allineamento, sicurezza, qualità dell'immagine e bias. Nello specifico, valutiamo una vasta gamma di giudici multimodali, inclusi modelli di punteggio basati su CLIP di dimensioni ridotte, modelli di linguaggio visivo open-source (ad esempio, la famiglia LLaVA) e modelli di linguaggio visivo closed-source (ad esempio, GPT-4o, Claude 3) su ciascuna sottocategoria scomposta del nostro dataset di preferenze. Gli esperimenti rivelano che i modelli closed-source forniscono generalmente un feedback migliore, con GPT-4o che supera gli altri giudici in media. Rispetto ai modelli open-source, i modelli di punteggio di dimensioni ridotte possono fornire un feedback migliore riguardo all'allineamento testo-immagine e alla qualità dell'immagine, mentre i modelli di linguaggio visivo forniscono un feedback più accurato riguardo alla sicurezza e al bias di generazione grazie alle loro capacità di ragionamento più avanzate. Ulteriori studi sulla scala del feedback rivelano che i giudici multimodali possono generalmente fornire un feedback più accurato e stabile in linguaggio naturale (scala Likert) rispetto alle scale numeriche. In particolare, le valutazioni umane su modelli fine-tuned end-to-end utilizzando feedback separati da questi giudici multimodali forniscono conclusioni simili, confermando ulteriormente l'efficacia di MJ-Bench. Tutti i dati, il codice e i modelli sono disponibili su https://huggingface.co/MJ-Bench.

English

While text-to-image models like DALLE-3 and Stable Diffusion are rapidly proliferating, they often encounter challenges such as hallucination, bias, and the production of unsafe, low-quality output. To effectively address these issues, it is crucial to align these models with desired behaviors based on feedback from a multimodal judge. Despite their significance, current multimodal judges frequently undergo inadequate evaluation of their capabilities and limitations, potentially leading to misalignment and unsafe fine-tuning outcomes. To address this issue, we introduce MJ-Bench, a novel benchmark which incorporates a comprehensive preference dataset to evaluate multimodal judges in providing feedback for image generation models across four key perspectives: alignment, safety, image quality, and bias. Specifically, we evaluate a large variety of multimodal judges including smaller-sized CLIP-based scoring models, open-source VLMs (e.g. LLaVA family), and close-source VLMs (e.g. GPT-4o, Claude 3) on each decomposed subcategory of our preference dataset. Experiments reveal that close-source VLMs generally provide better feedback, with GPT-4o outperforming other judges in average. Compared with open-source VLMs, smaller-sized scoring models can provide better feedback regarding text-image alignment and image quality, while VLMs provide more accurate feedback regarding safety and generation bias due to their stronger reasoning capabilities. Further studies in feedback scale reveal that VLM judges can generally provide more accurate and stable feedback in natural language (Likert-scale) than numerical scales. Notably, human evaluations on end-to-end fine-tuned models using separate feedback from these multimodal judges provide similar conclusions, further confirming the effectiveness of MJ-Bench. All data, code, models are available at https://huggingface.co/MJ-Bench.