Het Ontdekken van Kennislacunes in Taalmodellen op Massieve Kennisbanken

Discovering Knowledge Deficiencies of Language Models on Massive Knowledge Base

March 30, 2025

Auteurs: Linxin Song, Xuwei Ding, Jieyu Zhang, Taiwei Shi, Ryotaro Shimizu, Rahul Gupta, Yang Liu, Jian Kang, Jieyu Zhao

cs.AI

Samenvatting

Grote taalmodellen (LLMs) beschikken over indrukwekkende linguïstische capaciteiten, maar slagen er vaak niet in om feitelijke kennis betrouwbaar vast te houden, wat leidt tot hallucinaties en onbetrouwbare uitvoer. Het begrijpen van de kennislacunes van LLMs door exhaustieve evaluatie tegen volledige kennisbanken is computationeel onhaalbaar, vooral voor gesloten gewichtsmodellen. Wij stellen stochastische foutstijging (SEA) voor, een schaalbaar en efficiënt raamwerk voor het ontdekken van kennislacunes (fouten) in gesloten gewichts-LLMs onder een strikt querybudget. In plaats van naïef alle kenniskandidaten te onderzoeken, formuleert SEA foutontdekking als een stochastisch optimalisatieproces: het haalt iteratief nieuwe kandidaten met hoge fouten op door gebruik te maken van de semantische gelijkenis met eerder waargenomen fouten. Om de zoekefficiëntie en dekking verder te verbeteren, maakt SEA gebruik van hiërarchische retrievel op document- en paragraafniveau, en construeert het een gerichte acyclische grafiek om foutpropagatie te modelleren en systematische faalmodi te identificeren. Empirisch ontdekt SEA 40,7x meer kennislacunes dan Automated Capability Discovery en 26,7% meer dan AutoBencher, terwijl de kosten per fout met respectievelijk 599x en 9x worden verlaagd. Menselijke evaluatie bevestigt de hoge kwaliteit van de gegenereerde vragen, terwijl ablatie- en convergentieanalyses de bijdrage van elke component in SEA valideren. Verdere analyse van de ontdekte fouten onthult gecorreleerde faalpatronen over LLM-families heen en terugkerende tekortkomingen, wat de noodzaak benadrukt voor betere datadekking en gerichte fine-tuning in toekomstige LLM-ontwikkeling.

English

Large language models (LLMs) possess impressive linguistic capabilities but often fail to faithfully retain factual knowledge, leading to hallucinations and unreliable outputs. Understanding LLMs' knowledge deficiencies by exhaustively evaluating against full-scale knowledge bases is computationally prohibitive, especially for closed-weight models. We propose stochastic error ascent (SEA), a scalable and efficient framework for discovering knowledge deficiencies (errors) in closed-weight LLMs under a strict query budget. Rather than naively probing all knowledge candidates, SEA formulates error discovery as a stochastic optimization process: it iteratively retrieves new high-error candidates by leveraging the semantic similarity to previously observed failures. To further enhance search efficiency and coverage, SEA employs hierarchical retrieval across document and paragraph levels, and constructs a relation directed acyclic graph to model error propagation and identify systematic failure modes. Empirically, SEA uncovers 40.7x more knowledge errors than Automated Capability Discovery and 26.7% more than AutoBencher, while reducing the cost-per-error by 599x and 9x, respectively. Human evaluation confirms the high quality of generated questions, while ablation and convergence analyses validate the contribution of each component in SEA. Further analysis on the discovered errors reveals correlated failure patterns across LLM families and recurring deficits, highlighting the need for better data coverage and targeted fine-tuning in future LLM development.