ADAM: 伝記的推論における大規模言語モデルの評価と強化のための多様な人類アーカイブ
ADAM: A Diverse Archive of Mankind for Evaluating and Enhancing LLMs in Biographical Reasoning
September 26, 2025
著者: Jasin Cekinmez, Omid Ghahroodi, Saad Fowad Chandle, Dhiman Gupta, Ehsaneddin Asgari
cs.AI
要旨
我々は、多様な人類のアーカイブ（ADAM: A Diverse Archive of Mankind）を紹介する。これは、伝記的推論におけるマルチモーダル大規模言語モデル（MLLMs）の評価と改善のためのフレームワークである。我々の知る限り、これは事実知識の重要な側面でありながら未開拓であった伝記分野におけるLLMの能力を体系的に検証する初めての研究である。その中核となるAdamDBは、地理、時代、職業を横断する400万人以上の個人をカバーする多言語・マルチモーダルデータセットであり、AdamBenchはブルームのタキソノミーに基づいた認知的に構造化された評価を提供し、英語と母国語の両方で6つの推論レベルを網羅している。特に知名度の低い個人に対する幻覚（hallucination）問題に対処するため、我々は伝記的文脈に特化した検索拡張生成システム（AdamRAG）を提案する。実験結果は、AdamRAGがオープンソースモデルを大幅に改善し、クローズドソースモデルにもある程度の利益をもたらすことを示しており、特に低次元の推論において最大の効果が見られた。知名度は精度に強く影響し、顔画像によるマルチモーダル入力は検索よりも小さく、一貫性の低い改善しかもたらさなかった。ADAMは、認知的、文化的、マルチモーダルに基づいた伝記的評価の最初のベンチマークとフレームワークを確立し、多言語で正確かつ幻覚に強いMLLMsの開発を推進するものである。
English
We introduce ADAM (A Diverse Archive of Mankind), a framework for evaluating
and improving multimodal large language models (MLLMs) in biographical
reasoning. To the best of our knowledge, this is the first work to
systematically examine LLM capabilities in biography, a critical yet
underexplored dimension of factual knowledge. At its core, AdamDB is a
multilingual and multimodal dataset covering over 4 million individuals across
geography, time, and profession, while AdamBench provides cognitively
structured evaluations based on Bloom's taxonomy, spanning six reasoning levels
in both English and native languages. To address hallucinations, particularly
for lesser-known individuals, we propose AdamRAG, a retrieval-augmented
generation system tailored to biographical contexts. Experiments show that
AdamRAG substantially improves open-source models and modestly benefits
closed-source ones, with the largest gains on lower-order reasoning. Popularity
strongly mediates accuracy, and multimodal input via face images offers
smaller, less consistent improvements than retrieval. ADAM establishes the
first benchmark and framework for cognitively, culturally, and multimodally
grounded biographical evaluation, advancing the development of multilingual,
accurate, and hallucination-resistant MLLMs.