Bidirectionele Taalmodellen zijn Betere Kennismemorisators? Een Benchmark voor Injectie van Real-world Kennis

Bidirectional LMs are Better Knowledge Memorizers? A Benchmark for Real-world Knowledge Injection

May 18, 2025

Auteurs: Yuwei Zhang, Wenhao Yu, Shangbin Feng, Yifan Zhu, Letian Peng, Jayanth Srinivasa, Gaowen Liu, Jingbo Shang

cs.AI

Samenvatting

Ondanks aanzienlijke vooruitgang in grote taalmodellen (LLM's), blijven hun kennisopslagcapaciteiten onderbelicht, vanwege het ontbreken van een gestandaardiseerde en hoogwaardige testomgeving. In dit artikel introduceren we een nieuwe, real-world en grootschalige benchmark voor kennisinjectie die continu evolueert zonder menselijke interventie. Specifiek stellen we WikiDYK voor, dat gebruikmaakt van recent toegevoegde en door mensen geschreven feiten uit de "Wist je dat..."-vermeldingen van Wikipedia. Deze vermeldingen worden zorgvuldig geselecteerd door ervaren Wikipedia-redacteuren op basis van criteria zoals verifieerbaarheid en duidelijkheid. Elke vermelding wordt omgezet in meerdere vraag-antwoordparen die diverse taakformats omvatten, van eenvoudige cloze-prompten tot complexe multi-hop vragen. WikiDYK bevat 12.290 feiten en 77.180 vragen, en is naadloos uitbreidbaar met toekomstige updates van Wikipedia-redacteuren. Uitgebreide experimenten met voortgezette voorafgaande training onthullen een verrassend inzicht: ondanks hun prevalentie in moderne LLM's, vertonen Causale Taalmodellen (CLM's) aanzienlijk zwakkere kennisopslagcapaciteiten in vergelijking met Bidirectionele Taalmodellen (BiLM's), met een 23% lagere nauwkeurigheid in termen van betrouwbaarheid. Om de kleinere schaal van huidige BiLM's te compenseren, introduceren we een modulair collaboratief framework dat gebruikmaakt van ensembles van BiLM's als externe kennisrepositories om te integreren met LLM's. Experimenten tonen aan dat ons framework de betrouwbaarheidsnauwkeurigheid verder verbetert met tot wel 29,1%.

English

Despite significant advances in large language models (LLMs), their knowledge memorization capabilities remain underexplored, due to the lack of standardized and high-quality test ground. In this paper, we introduce a novel, real-world and large-scale knowledge injection benchmark that evolves continuously over time without requiring human intervention. Specifically, we propose WikiDYK, which leverages recently-added and human-written facts from Wikipedia's "Did You Know..." entries. These entries are carefully selected by expert Wikipedia editors based on criteria such as verifiability and clarity. Each entry is converted into multiple question-answer pairs spanning diverse task formats from easy cloze prompts to complex multi-hop questions. WikiDYK contains 12,290 facts and 77,180 questions, which is also seamlessly extensible with future updates from Wikipedia editors. Extensive experiments using continued pre-training reveal a surprising insight: despite their prevalence in modern LLMs, Causal Language Models (CLMs) demonstrate significantly weaker knowledge memorization capabilities compared to Bidirectional Language Models (BiLMs), exhibiting a 23% lower accuracy in terms of reliability. To compensate for the smaller scales of current BiLMs, we introduce a modular collaborative framework utilizing ensembles of BiLMs as external knowledge repositories to integrate with LLMs. Experiment shows that our framework further improves the reliability accuracy by up to 29.1%.