WorldVQA: Misurare la conoscenza atomica del mondo nei modelli linguistici multimodali di grandi dimensioni

WorldVQA: Measuring Atomic World Knowledge in Multimodal Large Language Models

January 28, 2026

Autori: Runjie Zhou, Youbo Shao, Haoyu Lu, Bowei Xing, Tongtong Bai, Yujie Chen, Jie Zhao, Lin Sui, Haotian Yao, Zijia Zhao, Hao Yang, Haoning Wu, Zaida Zhou, Jinguo Zhu, Zhiqi Huang, Yiping Bao, Yangyang Liu, Y. Charles, Xinyu Zhou

cs.AI

Abstract

Introduciamo WorldVQA, un benchmark progettato per valutare la conoscenza atomica del mondo visivo dei Modelli Linguistici Multimodali di Grande Dimensione (MLLM). A differenza delle valutazioni attuali, che spesso confondono il recupero di conoscenze visive con il ragionamento, WorldVQA disaccoppia queste capacità per misurare rigorosamente "ciò che il modello memorizza". Il benchmark valuta la capacità atomica di riconoscere e denominare entità visive attraverso una tassonomia stratificata, che spazia da oggetti comuni delle classi principali a rarità di coda lunga. Ci aspettiamo che WorldVQA serva come test rigoroso per la fattualità visiva, stabilendo così uno standard per valutare l'ampiezza enciclopedica e i tassi di allucinazione dei modelli di frontiera attuali e di prossima generazione.

English

We introduce WorldVQA, a benchmark designed to evaluate the atomic visual world knowledge of Multimodal Large Language Models (MLLMs). Unlike current evaluations, which often conflate visual knowledge retrieval with reasoning, WorldVQA decouples these capabilities to strictly measure "what the model memorizes." The benchmark assesses the atomic capability of grounding and naming visual entities across a stratified taxonomy, spanning from common head-class objects to long-tail rarities. We expect WorldVQA to serve as a rigorous test for visual factuality, thereby establishing a standard for assessing the encyclopedic breadth and hallucination rates of current and next-generation frontier models.