Os Modelos de Linguagem Bidirecionais São Melhores Memorizadores de Conhecimento? Um Benchmark para Injeção de Conhecimento do Mundo Real

Bidirectional LMs are Better Knowledge Memorizers? A Benchmark for Real-world Knowledge Injection

May 18, 2025

Autores: Yuwei Zhang, Wenhao Yu, Shangbin Feng, Yifan Zhu, Letian Peng, Jayanth Srinivasa, Gaowen Liu, Jingbo Shang

cs.AI

Resumo

Apesar dos avanços significativos nos grandes modelos de linguagem (LLMs), suas capacidades de memorização de conhecimento permanecem pouco exploradas, devido à falta de um terreno de teste padronizado e de alta qualidade. Neste artigo, introduzimos um novo benchmark de injeção de conhecimento em larga escala e do mundo real, que evolui continuamente ao longo do tempo sem exigir intervenção humana. Especificamente, propomos o WikiDYK, que aproveita fatos recentemente adicionados e escritos por humanos das entradas "Você Sabia..." da Wikipedia. Essas entradas são cuidadosamente selecionadas por editores especialistas da Wikipedia com base em critérios como verificabilidade e clareza. Cada entrada é convertida em múltiplos pares de perguntas e respostas que abrangem diversos formatos de tarefas, desde prompts de preenchimento de lacunas simples até perguntas complexas de múltiplos saltos. O WikiDYK contém 12.290 fatos e 77.180 perguntas, sendo também perfeitamente extensível com atualizações futuras dos editores da Wikipedia. Experimentos extensivos usando pré-treinamento contínuo revelam uma percepção surpreendente: apesar de sua prevalência nos LLMs modernos, os Modelos de Linguagem Causais (CLMs) demonstram capacidades de memorização de conhecimento significativamente mais fracas em comparação com os Modelos de Linguagem Bidirecionais (BiLMs), exibindo uma precisão 23% menor em termos de confiabilidade. Para compensar as escalas menores dos BiLMs atuais, introduzimos uma estrutura colaborativa modular que utiliza conjuntos de BiLMs como repositórios externos de conhecimento para integração com LLMs. Experimentos mostram que nossa estrutura melhora ainda mais a precisão de confiabilidade em até 29,1%.

English

Despite significant advances in large language models (LLMs), their knowledge memorization capabilities remain underexplored, due to the lack of standardized and high-quality test ground. In this paper, we introduce a novel, real-world and large-scale knowledge injection benchmark that evolves continuously over time without requiring human intervention. Specifically, we propose WikiDYK, which leverages recently-added and human-written facts from Wikipedia's "Did You Know..." entries. These entries are carefully selected by expert Wikipedia editors based on criteria such as verifiability and clarity. Each entry is converted into multiple question-answer pairs spanning diverse task formats from easy cloze prompts to complex multi-hop questions. WikiDYK contains 12,290 facts and 77,180 questions, which is also seamlessly extensible with future updates from Wikipedia editors. Extensive experiments using continued pre-training reveal a surprising insight: despite their prevalence in modern LLMs, Causal Language Models (CLMs) demonstrate significantly weaker knowledge memorization capabilities compared to Bidirectional Language Models (BiLMs), exhibiting a 23% lower accuracy in terms of reliability. To compensate for the smaller scales of current BiLMs, we introduce a modular collaborative framework utilizing ensembles of BiLMs as external knowledge repositories to integrate with LLMs. Experiment shows that our framework further improves the reliability accuracy by up to 29.1%.