MJ-Bench: O Seu Modelo de Recompensa Multimodal é Realmente um Bom Avaliador para Geração de Texto para Imagem?

MJ-Bench: Is Your Multimodal Reward Model Really a Good Judge for Text-to-Image Generation?

July 5, 2024

Autores: Zhaorun Chen, Yichao Du, Zichen Wen, Yiyang Zhou, Chenhang Cui, Zhenzhen Weng, Haoqin Tu, Chaoqi Wang, Zhengwei Tong, Qinglan Huang, Canyu Chen, Qinghao Ye, Zhihong Zhu, Yuqing Zhang, Jiawei Zhou, Zhuokai Zhao, Rafael Rafailov, Chelsea Finn, Huaxiu Yao

cs.AI

Resumo

Embora modelos texto-imagem como DALLE-3 e Stable Diffusion estejam se proliferando rapidamente, frequentemente enfrentam desafios como alucinação, viés e a produção de saídas inseguras e de baixa qualidade. Para abordar efetivamente essas questões, é crucial alinhar esses modelos com comportamentos desejados com base no feedback de um juiz multimodal. Apesar de sua importância, os juízes multimodais atuais frequentemente passam por uma avaliação inadequada de suas capacidades e limitações, potencialmente resultando em desalinhamento e resultados inseguros de ajuste fino. Para resolver esse problema, apresentamos o MJ-Bench, um novo benchmark que incorpora um conjunto de dados abrangente de preferências para avaliar juízes multimodais na prestação de feedback para modelos de geração de imagens em quatro perspectivas-chave: alinhamento, segurança, qualidade da imagem e viés. Especificamente, avaliamos uma grande variedade de juízes multimodais, incluindo modelos de pontuação baseados em CLIP de tamanho menor, VLMs de código aberto (por exemplo, família LLaVA) e VLMs de código fechado (por exemplo, GPT-4o, Claude 3) em cada subcategoria decomposta de nosso conjunto de dados de preferências. Experimentos revelam que VLMs de código fechado geralmente fornecem um feedback melhor, com o GPT-4o superando outros juízes em média. Comparados com VLMs de código aberto, modelos de pontuação de tamanho menor podem fornecer um feedback melhor em relação ao alinhamento texto-imagem e à qualidade da imagem, enquanto os VLMs fornecem um feedback mais preciso em relação à segurança e ao viés de geração devido às suas capacidades de raciocínio mais fortes. Estudos adicionais na escala de feedback revelam que juízes VLM geralmente podem fornecer um feedback mais preciso e estável em linguagem natural (escala Likert) do que escalas numéricas. Notavelmente, avaliações humanas em modelos ajustados de ponta a ponta usando feedback separado desses juízes multimodais fornecem conclusões semelhantes, confirmando ainda mais a eficácia do MJ-Bench. Todos os dados, código e modelos estão disponíveis em https://huggingface.co/MJ-Bench.

English

While text-to-image models like DALLE-3 and Stable Diffusion are rapidly proliferating, they often encounter challenges such as hallucination, bias, and the production of unsafe, low-quality output. To effectively address these issues, it is crucial to align these models with desired behaviors based on feedback from a multimodal judge. Despite their significance, current multimodal judges frequently undergo inadequate evaluation of their capabilities and limitations, potentially leading to misalignment and unsafe fine-tuning outcomes. To address this issue, we introduce MJ-Bench, a novel benchmark which incorporates a comprehensive preference dataset to evaluate multimodal judges in providing feedback for image generation models across four key perspectives: alignment, safety, image quality, and bias. Specifically, we evaluate a large variety of multimodal judges including smaller-sized CLIP-based scoring models, open-source VLMs (e.g. LLaVA family), and close-source VLMs (e.g. GPT-4o, Claude 3) on each decomposed subcategory of our preference dataset. Experiments reveal that close-source VLMs generally provide better feedback, with GPT-4o outperforming other judges in average. Compared with open-source VLMs, smaller-sized scoring models can provide better feedback regarding text-image alignment and image quality, while VLMs provide more accurate feedback regarding safety and generation bias due to their stronger reasoning capabilities. Further studies in feedback scale reveal that VLM judges can generally provide more accurate and stable feedback in natural language (Likert-scale) than numerical scales. Notably, human evaluations on end-to-end fine-tuned models using separate feedback from these multimodal judges provide similar conclusions, further confirming the effectiveness of MJ-Bench. All data, code, models are available at https://huggingface.co/MJ-Bench.