I modelli linguistici bidirezionali sono migliori nel memorizzare conoscenze? Un benchmark per l'iniezione di conoscenze nel mondo reale

Bidirectional LMs are Better Knowledge Memorizers? A Benchmark for Real-world Knowledge Injection

May 18, 2025

Autori: Yuwei Zhang, Wenhao Yu, Shangbin Feng, Yifan Zhu, Letian Peng, Jayanth Srinivasa, Gaowen Liu, Jingbo Shang

cs.AI

Abstract

Nonostante i significativi progressi nei grandi modelli linguistici (LLM), le loro capacità di memorizzazione della conoscenza rimangono poco esplorate, a causa della mancanza di un terreno di prova standardizzato e di alta qualità. In questo articolo, introduciamo un nuovo benchmark di iniezione di conoscenza su larga scala e basato sul mondo reale, che si evolve continuamente nel tempo senza richiedere intervento umano. Nello specifico, proponiamo WikiDYK, che sfrutta fatti recentemente aggiunti e scritti da esseri umani provenienti dalle voci "Lo sapevi che..." di Wikipedia. Queste voci sono selezionate con cura da esperti editori di Wikipedia in base a criteri come verificabilità e chiarezza. Ogni voce viene convertita in più coppie domanda-risposta che coprono diversi formati di compiti, dai prompt cloze semplici a domande complesse multi-hop. WikiDYK contiene 12.290 fatti e 77.180 domande, ed è anche facilmente estendibile con futuri aggiornamenti da parte degli editori di Wikipedia. Esperimenti estesi utilizzando il pre-addestramento continuo rivelano un'osservazione sorprendente: nonostante la loro prevalenza nei moderni LLM, i Modelli Linguistici Causali (CLM) dimostrano capacità di memorizzazione della conoscenza significativamente più deboli rispetto ai Modelli Linguistici Bidirezionali (BiLM), mostrando un'accuratezza inferiore del 23% in termini di affidabilità. Per compensare le dimensioni più ridotte degli attuali BiLM, introduciamo un framework collaborativo modulare che utilizza ensemble di BiLM come repository di conoscenza esterna da integrare con gli LLM. L'esperimento mostra che il nostro framework migliora ulteriormente l'accuratezza dell'affidabilità fino al 29,1%.

English

Despite significant advances in large language models (LLMs), their knowledge memorization capabilities remain underexplored, due to the lack of standardized and high-quality test ground. In this paper, we introduce a novel, real-world and large-scale knowledge injection benchmark that evolves continuously over time without requiring human intervention. Specifically, we propose WikiDYK, which leverages recently-added and human-written facts from Wikipedia's "Did You Know..." entries. These entries are carefully selected by expert Wikipedia editors based on criteria such as verifiability and clarity. Each entry is converted into multiple question-answer pairs spanning diverse task formats from easy cloze prompts to complex multi-hop questions. WikiDYK contains 12,290 facts and 77,180 questions, which is also seamlessly extensible with future updates from Wikipedia editors. Extensive experiments using continued pre-training reveal a surprising insight: despite their prevalence in modern LLMs, Causal Language Models (CLMs) demonstrate significantly weaker knowledge memorization capabilities compared to Bidirectional Language Models (BiLMs), exhibiting a 23% lower accuracy in terms of reliability. To compensate for the smaller scales of current BiLMs, we introduce a modular collaborative framework utilizing ensembles of BiLMs as external knowledge repositories to integrate with LLMs. Experiment shows that our framework further improves the reliability accuracy by up to 29.1%.