Benchmarken van de Betrouwbaarheid van Multimodale Grote Taalmodellen: Een Uitgebreide Studie

Samenvatting

Ondanks de superieure capaciteiten van Multimodale Grote Taalmodellen (MLLMs) bij diverse taken, worden ze nog steeds geconfronteerd met aanzienlijke uitdagingen op het gebied van betrouwbaarheid. Toch blijft de huidige literatuur over de beoordeling van betrouwbare MLLMs beperkt, waarbij een holistische evaluatie ontbreekt die grondige inzichten biedt voor toekomstige verbeteringen. In dit werk introduceren we MultiTrust, de eerste uitgebreide en uniforme benchmark voor de betrouwbaarheid van MLLMs, gericht op vijf primaire aspecten: waarheidsgetrouwheid, veiligheid, robuustheid, eerlijkheid en privacy. Onze benchmark maakt gebruik van een rigoureuze evaluatiestrategie die zowel multimodale risico's als cross-modale effecten aanpakt, en omvat 32 diverse taken met zelf samengestelde datasets. Uitgebreide experimenten met 21 moderne MLLMs onthullen enkele voorheen onontdekte betrouwbaarheidsproblemen en risico's, wat de complexiteiten benadrukt die door de multimodaliteit worden geïntroduceerd en de noodzaak onderstreept van geavanceerde methodologieën om hun betrouwbaarheid te vergroten. Zo hebben typische propriëtaire modellen nog steeds moeite met het waarnemen van visueel verwarrende afbeeldingen en zijn ze kwetsbaar voor multimodale jailbreaking en adversariële aanvallen; MLLMs zijn geneigd om privacy in tekst te onthullen en ideologische en culturele vooroordelen te tonen, zelfs wanneer ze worden gekoppeld aan irrelevante afbeeldingen tijdens inferentie, wat aangeeft dat de multimodaliteit de interne risico's van de basis-LLMs versterkt. Daarnaast brengen we een schaalbare toolbox uit voor gestandaardiseerd onderzoek naar betrouwbaarheid, met als doel toekomstige vooruitgang in dit belangrijke veld te vergemakkelijken. Code en bronnen zijn publiekelijk beschikbaar op: https://multi-trust.github.io/.

English

Despite the superior capabilities of Multimodal Large Language Models (MLLMs) across diverse tasks, they still face significant trustworthiness challenges. Yet, current literature on the assessment of trustworthy MLLMs remains limited, lacking a holistic evaluation to offer thorough insights into future improvements. In this work, we establish MultiTrust, the first comprehensive and unified benchmark on the trustworthiness of MLLMs across five primary aspects: truthfulness, safety, robustness, fairness, and privacy. Our benchmark employs a rigorous evaluation strategy that addresses both multimodal risks and cross-modal impacts, encompassing 32 diverse tasks with self-curated datasets. Extensive experiments with 21 modern MLLMs reveal some previously unexplored trustworthiness issues and risks, highlighting the complexities introduced by the multimodality and underscoring the necessity for advanced methodologies to enhance their reliability. For instance, typical proprietary models still struggle with the perception of visually confusing images and are vulnerable to multimodal jailbreaking and adversarial attacks; MLLMs are more inclined to disclose privacy in text and reveal ideological and cultural biases even when paired with irrelevant images in inference, indicating that the multimodality amplifies the internal risks from base LLMs. Additionally, we release a scalable toolbox for standardized trustworthiness research, aiming to facilitate future advancements in this important field. Code and resources are publicly available at: https://multi-trust.github.io/.

Benchmarken van de Betrouwbaarheid van Multimodale Grote Taalmodellen: Een Uitgebreide Studie

Benchmarking Trustworthiness of Multimodal Large Language Models: A Comprehensive Study

Samenvatting

Support