Valutazione dell'Affidabilità dei Modelli Linguistici Multimodali di Grande Scala: Uno Studio Completo

Abstract

Nonostante le capacità superiori dei Modelli Linguistici Multimodali di Grande Scala (MLLMs) in una vasta gamma di compiti, essi continuano a presentare significative sfide in termini di affidabilità. Tuttavia, la letteratura attuale sulla valutazione della fiducia negli MLLMs rimane limitata, mancando di una valutazione olistica che offra approfondimenti completi per futuri miglioramenti. In questo lavoro, introduciamo MultiTrust, il primo benchmark completo e unificato sulla fiducia degli MLLMs, che copre cinque aspetti principali: veridicità, sicurezza, robustezza, equità e privacy. Il nostro benchmark utilizza una strategia di valutazione rigorosa che affronta sia i rischi multimodali che gli impatti cross-modali, comprendendo 32 compiti diversi con dataset curati autonomamente. Esperimenti estesi condotti su 21 MLLMs moderni rivelano alcuni problemi e rischi di affidabilità precedentemente inesplorati, evidenziando le complessità introdotte dalla multimodalità e sottolineando la necessità di metodologie avanzate per migliorare la loro affidabilità. Ad esempio, i modelli proprietari tipici continuano a lottare con la percezione di immagini visivamente confuse e sono vulnerabili a jailbreaking multimodali e attacchi avversari; gli MLLMs sono più inclini a rivelare informazioni private nel testo e a mostrare pregiudizi ideologici e culturali anche quando accoppiati con immagini irrilevanti durante l'inferenza, indicando che la multimodalità amplifica i rischi interni derivanti dai modelli linguistici di base. Inoltre, rilasciamo un toolbox scalabile per la ricerca standardizzata sulla fiducia, con l'obiettivo di facilitare futuri progressi in questo importante campo. Codice e risorse sono disponibili pubblicamente al seguente indirizzo: https://multi-trust.github.io/.

English

Despite the superior capabilities of Multimodal Large Language Models (MLLMs) across diverse tasks, they still face significant trustworthiness challenges. Yet, current literature on the assessment of trustworthy MLLMs remains limited, lacking a holistic evaluation to offer thorough insights into future improvements. In this work, we establish MultiTrust, the first comprehensive and unified benchmark on the trustworthiness of MLLMs across five primary aspects: truthfulness, safety, robustness, fairness, and privacy. Our benchmark employs a rigorous evaluation strategy that addresses both multimodal risks and cross-modal impacts, encompassing 32 diverse tasks with self-curated datasets. Extensive experiments with 21 modern MLLMs reveal some previously unexplored trustworthiness issues and risks, highlighting the complexities introduced by the multimodality and underscoring the necessity for advanced methodologies to enhance their reliability. For instance, typical proprietary models still struggle with the perception of visually confusing images and are vulnerable to multimodal jailbreaking and adversarial attacks; MLLMs are more inclined to disclose privacy in text and reveal ideological and cultural biases even when paired with irrelevant images in inference, indicating that the multimodality amplifies the internal risks from base LLMs. Additionally, we release a scalable toolbox for standardized trustworthiness research, aiming to facilitate future advancements in this important field. Code and resources are publicly available at: https://multi-trust.github.io/.

Valutazione dell'Affidabilità dei Modelli Linguistici Multimodali di Grande Scala: Uno Studio Completo

Benchmarking Trustworthiness of Multimodal Large Language Models: A Comprehensive Study

Abstract

Support