Avaliação da Confiança de Modelos de Linguagem Multimodais de Grande Escala: Um Estudo Abrangente

Resumo

Apesar das capacidades superiores dos Modelos de Linguagem Multimodais de Grande Escala (MLLMs) em diversas tarefas, eles ainda enfrentam desafios significativos de confiabilidade. No entanto, a literatura atual sobre a avaliação de MLLMs confiáveis ainda é limitada, carecendo de uma avaliação holística para oferecer insights abrangentes sobre futuras melhorias. Neste trabalho, estabelecemos o MultiTrust, o primeiro benchmark abrangente e unificado sobre a confiabilidade de MLLMs em cinco aspectos principais: veracidade, segurança, robustez, imparcialidade e privacidade. Nosso benchmark emprega uma estratégia de avaliação rigorosa que aborda tanto os riscos multimodais quanto os impactos cruzados modais, abrangendo 32 tarefas diversas com conjuntos de dados auto-curados. Experimentos extensivos com 21 MLLMs modernos revelam algumas questões e riscos de confiabilidade previamente inexplorados, destacando as complexidades introduzidas pela multimodalidade e enfatizando a necessidade de metodologias avançadas para aprimorar sua confiabilidade. Por exemplo, modelos proprietários típicos ainda enfrentam dificuldades na percepção de imagens visualmente confusas e são vulneráveis a ataques multimodais e de jailbreaking adversários; MLLMs são mais propensos a revelar privacidade em texto e expor viés ideológico e cultural mesmo quando pareados com imagens irrelevantes na inferência, indicando que a multimodalidade amplifica os riscos internos dos LLMs base. Além disso, disponibilizamos uma caixa de ferramentas escalável para pesquisa padronizada de confiabilidade, com o objetivo de facilitar futuros avanços nesse campo importante. O código e os recursos estão disponíveis publicamente em: https://multi-trust.github.io/.

English

Despite the superior capabilities of Multimodal Large Language Models (MLLMs) across diverse tasks, they still face significant trustworthiness challenges. Yet, current literature on the assessment of trustworthy MLLMs remains limited, lacking a holistic evaluation to offer thorough insights into future improvements. In this work, we establish MultiTrust, the first comprehensive and unified benchmark on the trustworthiness of MLLMs across five primary aspects: truthfulness, safety, robustness, fairness, and privacy. Our benchmark employs a rigorous evaluation strategy that addresses both multimodal risks and cross-modal impacts, encompassing 32 diverse tasks with self-curated datasets. Extensive experiments with 21 modern MLLMs reveal some previously unexplored trustworthiness issues and risks, highlighting the complexities introduced by the multimodality and underscoring the necessity for advanced methodologies to enhance their reliability. For instance, typical proprietary models still struggle with the perception of visually confusing images and are vulnerable to multimodal jailbreaking and adversarial attacks; MLLMs are more inclined to disclose privacy in text and reveal ideological and cultural biases even when paired with irrelevant images in inference, indicating that the multimodality amplifies the internal risks from base LLMs. Additionally, we release a scalable toolbox for standardized trustworthiness research, aiming to facilitate future advancements in this important field. Code and resources are publicly available at: https://multi-trust.github.io/.

Avaliação da Confiança de Modelos de Linguagem Multimodais de Grande Escala: Um Estudo Abrangente

Benchmarking Trustworthiness of Multimodal Large Language Models: A Comprehensive Study

Resumo

Support