Sind bidirektionale Sprachmodelle bessere Wissensspeicher? Ein Benchmark für die Einbindung von realem Wissen

Bidirectional LMs are Better Knowledge Memorizers? A Benchmark for Real-world Knowledge Injection

May 18, 2025

Autoren: Yuwei Zhang, Wenhao Yu, Shangbin Feng, Yifan Zhu, Letian Peng, Jayanth Srinivasa, Gaowen Liu, Jingbo Shang

cs.AI

Zusammenfassung

Trotz bedeutender Fortschritte bei großen Sprachmodellen (LLMs) bleiben ihre Fähigkeiten zur Wissensspeicherung weitgehend unerforscht, was auf das Fehlen eines standardisierten und qualitativ hochwertigen Testumfelds zurückzuführen ist. In diesem Artikel stellen wir einen neuartigen, realitätsnahen und groß angelegten Benchmark zur Wissensinjektion vor, der sich kontinuierlich und ohne menschliches Eingreifen weiterentwickelt. Konkret präsentieren wir WikiDYK, das kürzlich hinzugefügte und von Menschen verfasste Fakten aus den „Wussten Sie schon...“-Einträgen von Wikipedia nutzt. Diese Einträge werden von erfahrenen Wikipedia-Redakteuren nach Kriterien wie Überprüfbarkeit und Klarheit sorgfältig ausgewählt. Jeder Eintrag wird in mehrere Frage-Antwort-Paare umgewandelt, die verschiedene Aufgabenformate abdecken – von einfachen Lückentexten bis hin zu komplexen Multi-Hop-Fragen. WikiDYK enthält 12.290 Fakten und 77.180 Fragen und ist nahtlos erweiterbar durch zukünftige Aktualisierungen von Wikipedia-Redakteuren. Umfangreiche Experimente mit fortgesetztem Vortraining offenbaren eine überraschende Erkenntnis: Trotz ihrer Verbreitung in modernen LLMs zeigen kausale Sprachmodelle (CLMs) deutlich schwächere Fähigkeiten zur Wissensspeicherung im Vergleich zu bidirektionalen Sprachmodellen (BiLMs), wobei sie eine um 23 % geringere Zuverlässigkeitsgenauigkeit aufweisen. Um die geringeren Größen aktueller BiLMs auszugleichen, führen wir ein modulares, kollaboratives Framework ein, das Ensembles von BiLMs als externe Wissensspeicher nutzt, um sie in LLMs zu integrieren. Experimente zeigen, dass unser Framework die Zuverlässigkeitsgenauigkeit um bis zu 29,1 % weiter verbessert.

English

Despite significant advances in large language models (LLMs), their knowledge memorization capabilities remain underexplored, due to the lack of standardized and high-quality test ground. In this paper, we introduce a novel, real-world and large-scale knowledge injection benchmark that evolves continuously over time without requiring human intervention. Specifically, we propose WikiDYK, which leverages recently-added and human-written facts from Wikipedia's "Did You Know..." entries. These entries are carefully selected by expert Wikipedia editors based on criteria such as verifiability and clarity. Each entry is converted into multiple question-answer pairs spanning diverse task formats from easy cloze prompts to complex multi-hop questions. WikiDYK contains 12,290 facts and 77,180 questions, which is also seamlessly extensible with future updates from Wikipedia editors. Extensive experiments using continued pre-training reveal a surprising insight: despite their prevalence in modern LLMs, Causal Language Models (CLMs) demonstrate significantly weaker knowledge memorization capabilities compared to Bidirectional Language Models (BiLMs), exhibiting a 23% lower accuracy in terms of reliability. To compensate for the smaller scales of current BiLMs, we introduce a modular collaborative framework utilizing ensembles of BiLMs as external knowledge repositories to integrate with LLMs. Experiment shows that our framework further improves the reliability accuracy by up to 29.1%.