MJ-Bench: Ist Ihr multimodales Belohnungsmodell wirklich ein guter Richter für die Generierung von Text-zu-Bild?

MJ-Bench: Is Your Multimodal Reward Model Really a Good Judge for Text-to-Image Generation?

July 5, 2024

Autoren: Zhaorun Chen, Yichao Du, Zichen Wen, Yiyang Zhou, Chenhang Cui, Zhenzhen Weng, Haoqin Tu, Chaoqi Wang, Zhengwei Tong, Qinglan Huang, Canyu Chen, Qinghao Ye, Zhihong Zhu, Yuqing Zhang, Jiawei Zhou, Zhuokai Zhao, Rafael Rafailov, Chelsea Finn, Huaxiu Yao

cs.AI

Zusammenfassung

Während Text-zu-Bild-Modelle wie DALLE-3 und Stable Diffusion sich schnell verbreiten, stoßen sie oft auf Herausforderungen wie Halluzinationen, Voreingenommenheit und die Erzeugung unsicherer, minderwertiger Ausgaben. Um diese Probleme effektiv anzugehen, ist es entscheidend, diese Modelle mit gewünschten Verhaltensweisen abzustimmen, basierend auf Rückmeldungen eines multimodalen Richters. Trotz ihrer Bedeutung werden aktuelle multimodale Richter häufig unzureichend auf ihre Fähigkeiten und Grenzen evaluiert, was potenziell zu Missabstimmungen und unsicheren Feinabstimmungsergebnissen führen kann. Um dieses Problem zu lösen, stellen wir MJ-Bench vor, einen neuartigen Benchmark, der einen umfassenden Präferenzdatensatz integriert, um multimodale Richter in der Bereitstellung von Rückmeldungen für Bildgenerierungsmodelle aus vier Schlüsselperspektiven zu bewerten: Abstimmung, Sicherheit, Bildqualität und Voreingenommenheit. Speziell bewerten wir eine Vielzahl von multimodalen Richtern, darunter kleinere CLIP-basierte Bewertungsmodelle, Open-Source VLMs (z.B. LLaVA-Familie) und Closed-Source VLMs (z.B. GPT-4o, Claude 3) in jeder zerlegten Unterkategorie unseres Präferenzdatensatzes. Experimente zeigen, dass Closed-Source VLMs im Allgemeinen bessere Rückmeldungen liefern, wobei GPT-4o im Durchschnitt andere Richter übertrifft. Im Vergleich zu Open-Source VLMs können kleinere Bewertungsmodelle bessere Rückmeldungen bezüglich Text-Bild-Abstimmung und Bildqualität liefern, während VLMs aufgrund ihrer stärkeren Argumentationsfähigkeiten genauere Rückmeldungen bezüglich Sicherheit und Generierungsvoreingenommenheit bieten. Weitere Studien zur Rückmeldungs-Skala zeigen, dass VLM-Richter im Allgemeinen genauere und stabilere Rückmeldungen in natürlicher Sprache (Likert-Skala) als numerische Skalen liefern können. Bemerkenswert ist, dass menschliche Bewertungen an end-to-end feinabgestimmten Modellen unter Verwendung separater Rückmeldungen dieser multimodalen Richter zu ähnlichen Schlussfolgerungen kommen, was die Wirksamkeit von MJ-Bench weiter bestätigt. Alle Daten, Codes und Modelle sind unter https://huggingface.co/MJ-Bench verfügbar.

English

While text-to-image models like DALLE-3 and Stable Diffusion are rapidly proliferating, they often encounter challenges such as hallucination, bias, and the production of unsafe, low-quality output. To effectively address these issues, it is crucial to align these models with desired behaviors based on feedback from a multimodal judge. Despite their significance, current multimodal judges frequently undergo inadequate evaluation of their capabilities and limitations, potentially leading to misalignment and unsafe fine-tuning outcomes. To address this issue, we introduce MJ-Bench, a novel benchmark which incorporates a comprehensive preference dataset to evaluate multimodal judges in providing feedback for image generation models across four key perspectives: alignment, safety, image quality, and bias. Specifically, we evaluate a large variety of multimodal judges including smaller-sized CLIP-based scoring models, open-source VLMs (e.g. LLaVA family), and close-source VLMs (e.g. GPT-4o, Claude 3) on each decomposed subcategory of our preference dataset. Experiments reveal that close-source VLMs generally provide better feedback, with GPT-4o outperforming other judges in average. Compared with open-source VLMs, smaller-sized scoring models can provide better feedback regarding text-image alignment and image quality, while VLMs provide more accurate feedback regarding safety and generation bias due to their stronger reasoning capabilities. Further studies in feedback scale reveal that VLM judges can generally provide more accurate and stable feedback in natural language (Likert-scale) than numerical scales. Notably, human evaluations on end-to-end fine-tuned models using separate feedback from these multimodal judges provide similar conclusions, further confirming the effectiveness of MJ-Bench. All data, code, models are available at https://huggingface.co/MJ-Bench.