MJ-Bench: ¿Es realmente un buen juez tu modelo de recompensa multimodal para la generación de texto a imagen?

MJ-Bench: Is Your Multimodal Reward Model Really a Good Judge for Text-to-Image Generation?

July 5, 2024

Autores: Zhaorun Chen, Yichao Du, Zichen Wen, Yiyang Zhou, Chenhang Cui, Zhenzhen Weng, Haoqin Tu, Chaoqi Wang, Zhengwei Tong, Qinglan Huang, Canyu Chen, Qinghao Ye, Zhihong Zhu, Yuqing Zhang, Jiawei Zhou, Zhuokai Zhao, Rafael Rafailov, Chelsea Finn, Huaxiu Yao

cs.AI

Resumen

Aunque los modelos de texto a imagen como DALLE-3 y Stable Diffusion están proliferando rápidamente, a menudo enfrentan desafíos como la alucinación, el sesgo y la producción de salidas inseguras y de baja calidad. Para abordar eficazmente estos problemas, es crucial alinear estos modelos con comportamientos deseados basados en retroalimentación de un juez multimodal. A pesar de su importancia, los jueces multimodales actuales a menudo no son evaluados adecuadamente en cuanto a sus capacidades y limitaciones, lo que potencialmente puede llevar a desalineaciones y resultados inseguros en el ajuste fino. Para abordar este problema, presentamos MJ-Bench, un nuevo conjunto de pruebas que incorpora un conjunto de datos de preferencias exhaustivo para evaluar jueces multimodales en la provisión de retroalimentación para modelos de generación de imágenes desde cuatro perspectivas clave: alineación, seguridad, calidad de imagen y sesgo. Específicamente, evaluamos una amplia variedad de jueces multimodales, incluidos modelos de puntuación basados en CLIP de menor tamaño, VLM de código abierto (por ejemplo, familia LLaVA) y VLM de código cerrado (por ejemplo, GPT-4o, Claude 3) en cada subcategoría descompuesta de nuestro conjunto de datos de preferencias. Los experimentos revelan que los VLM de código cerrado generalmente brindan una mejor retroalimentación, destacándose GPT-4o sobre otros jueces en promedio. En comparación con los VLM de código abierto, los modelos de puntuación de menor tamaño pueden ofrecer una mejor retroalimentación en cuanto a la alineación texto-imagen y la calidad de imagen, mientras que los VLM brindan una retroalimentación más precisa en cuanto a seguridad y sesgo de generación debido a sus capacidades de razonamiento más sólidas. Estudios adicionales en la escala de retroalimentación revelan que los jueces VLM generalmente pueden proporcionar retroalimentación más precisa y estable en lenguaje natural (escala Likert) que en escalas numéricas. Es importante destacar que las evaluaciones humanas en modelos ajustados de extremo a extremo utilizando retroalimentación separada de estos jueces multimodales arrojan conclusiones similares, confirmando aún más la efectividad de MJ-Bench. Todos los datos, código y modelos están disponibles en https://huggingface.co/MJ-Bench.

English

While text-to-image models like DALLE-3 and Stable Diffusion are rapidly proliferating, they often encounter challenges such as hallucination, bias, and the production of unsafe, low-quality output. To effectively address these issues, it is crucial to align these models with desired behaviors based on feedback from a multimodal judge. Despite their significance, current multimodal judges frequently undergo inadequate evaluation of their capabilities and limitations, potentially leading to misalignment and unsafe fine-tuning outcomes. To address this issue, we introduce MJ-Bench, a novel benchmark which incorporates a comprehensive preference dataset to evaluate multimodal judges in providing feedback for image generation models across four key perspectives: alignment, safety, image quality, and bias. Specifically, we evaluate a large variety of multimodal judges including smaller-sized CLIP-based scoring models, open-source VLMs (e.g. LLaVA family), and close-source VLMs (e.g. GPT-4o, Claude 3) on each decomposed subcategory of our preference dataset. Experiments reveal that close-source VLMs generally provide better feedback, with GPT-4o outperforming other judges in average. Compared with open-source VLMs, smaller-sized scoring models can provide better feedback regarding text-image alignment and image quality, while VLMs provide more accurate feedback regarding safety and generation bias due to their stronger reasoning capabilities. Further studies in feedback scale reveal that VLM judges can generally provide more accurate and stable feedback in natural language (Likert-scale) than numerical scales. Notably, human evaluations on end-to-end fine-tuned models using separate feedback from these multimodal judges provide similar conclusions, further confirming the effectiveness of MJ-Bench. All data, code, models are available at https://huggingface.co/MJ-Bench.