ADAM: Un Archivo Diverso de la Humanidad para Evaluar y Mejorar los Modelos de Lenguaje de Gran Escala en el Razonamiento Biográfico

ADAM: A Diverse Archive of Mankind for Evaluating and Enhancing LLMs in Biographical Reasoning

September 26, 2025

Autores: Jasin Cekinmez, Omid Ghahroodi, Saad Fowad Chandle, Dhiman Gupta, Ehsaneddin Asgari

cs.AI

Resumen

Presentamos ADAM (A Diverse Archive of Mankind), un marco para evaluar y mejorar modelos de lenguaje multimodal de gran escala (MLLMs) en el razonamiento biográfico. Hasta donde sabemos, este es el primer trabajo que examina sistemáticamente las capacidades de los modelos de lenguaje en el ámbito de la biografía, una dimensión crítica pero poco explorada del conocimiento factual. En su núcleo, AdamDB es un conjunto de datos multilingüe y multimodal que abarca a más de 4 millones de individuos a través de la geografía, el tiempo y la profesión, mientras que AdamBench ofrece evaluaciones cognitivamente estructuradas basadas en la taxonomía de Bloom, abarcando seis niveles de razonamiento tanto en inglés como en idiomas nativos. Para abordar las alucinaciones, particularmente en individuos menos conocidos, proponemos AdamRAG, un sistema de generación aumentada por recuperación de información adaptado a contextos biográficos. Los experimentos muestran que AdamRAG mejora sustancialmente los modelos de código abierto y beneficia modestamente a los de código cerrado, con las mayores mejoras en el razonamiento de orden inferior. La popularidad media fuertemente la precisión, y la entrada multimodal a través de imágenes faciales ofrece mejoras menores y menos consistentes que la recuperación de información. ADAM establece el primer punto de referencia y marco para la evaluación biográfica cognitiva, cultural y multimodalmente fundamentada, avanzando en el desarrollo de MLLMs multilingües, precisos y resistentes a las alucinaciones.

English

We introduce ADAM (A Diverse Archive of Mankind), a framework for evaluating and improving multimodal large language models (MLLMs) in biographical reasoning. To the best of our knowledge, this is the first work to systematically examine LLM capabilities in biography, a critical yet underexplored dimension of factual knowledge. At its core, AdamDB is a multilingual and multimodal dataset covering over 4 million individuals across geography, time, and profession, while AdamBench provides cognitively structured evaluations based on Bloom's taxonomy, spanning six reasoning levels in both English and native languages. To address hallucinations, particularly for lesser-known individuals, we propose AdamRAG, a retrieval-augmented generation system tailored to biographical contexts. Experiments show that AdamRAG substantially improves open-source models and modestly benefits closed-source ones, with the largest gains on lower-order reasoning. Popularity strongly mediates accuracy, and multimodal input via face images offers smaller, less consistent improvements than retrieval. ADAM establishes the first benchmark and framework for cognitively, culturally, and multimodally grounded biographical evaluation, advancing the development of multilingual, accurate, and hallucination-resistant MLLMs.