ADAM: Un Archivio Diversificato dell'Umanità per Valutare e Migliorare i Modelli Linguistici di Grande Dimensione nel Ragionamento Biografico

ADAM: A Diverse Archive of Mankind for Evaluating and Enhancing LLMs in Biographical Reasoning

September 26, 2025

Autori: Jasin Cekinmez, Omid Ghahroodi, Saad Fowad Chandle, Dhiman Gupta, Ehsaneddin Asgari

cs.AI

Abstract

Presentiamo ADAM (A Diverse Archive of Mankind), un framework per valutare e migliorare i modelli linguistici multimodali di grandi dimensioni (MLLMs) nel ragionamento biografico. Per quanto ne sappiamo, questo è il primo lavoro a esaminare sistematicamente le capacità dei LLM nel contesto delle biografie, una dimensione critica ma poco esplorata della conoscenza fattuale. Al suo centro, AdamDB è un dataset multilingue e multimodale che copre oltre 4 milioni di individui attraverso geografia, tempo e professione, mentre AdamBench fornisce valutazioni strutturate cognitivamente basate sulla tassonomia di Bloom, abbracciando sei livelli di ragionamento sia in inglese che nelle lingue native. Per affrontare le allucinazioni, in particolare per individui meno conosciuti, proponiamo AdamRAG, un sistema di generazione aumentata dal retrieval specificamente adattato ai contesti biografici. Gli esperimenti dimostrano che AdamRAG migliora sostanzialmente i modelli open-source e apporta benefici modesti a quelli closed-source, con i maggiori guadagni sui ragionamenti di ordine inferiore. La popolarità media fortemente l'accuratezza, e l'input multimodale tramite immagini facciali offre miglioramenti più piccoli e meno consistenti rispetto al retrieval. ADAM stabilisce il primo benchmark e framework per una valutazione biografica cognitivamente, culturalmente e multimodalmente fondata, promuovendo lo sviluppo di MLLM multilingue, accurati e resistenti alle allucinazioni.

English

We introduce ADAM (A Diverse Archive of Mankind), a framework for evaluating and improving multimodal large language models (MLLMs) in biographical reasoning. To the best of our knowledge, this is the first work to systematically examine LLM capabilities in biography, a critical yet underexplored dimension of factual knowledge. At its core, AdamDB is a multilingual and multimodal dataset covering over 4 million individuals across geography, time, and profession, while AdamBench provides cognitively structured evaluations based on Bloom's taxonomy, spanning six reasoning levels in both English and native languages. To address hallucinations, particularly for lesser-known individuals, we propose AdamRAG, a retrieval-augmented generation system tailored to biographical contexts. Experiments show that AdamRAG substantially improves open-source models and modestly benefits closed-source ones, with the largest gains on lower-order reasoning. Popularity strongly mediates accuracy, and multimodal input via face images offers smaller, less consistent improvements than retrieval. ADAM establishes the first benchmark and framework for cognitively, culturally, and multimodally grounded biographical evaluation, advancing the development of multilingual, accurate, and hallucination-resistant MLLMs.