Выявление недостатков знаний языковых моделей в масштабных базах знаний

Discovering Knowledge Deficiencies of Language Models on Massive Knowledge Base

March 30, 2025

Авторы: Linxin Song, Xuwei Ding, Jieyu Zhang, Taiwei Shi, Ryotaro Shimizu, Rahul Gupta, Yang Liu, Jian Kang, Jieyu Zhao

cs.AI

Аннотация

Крупные языковые модели (LLM) обладают впечатляющими лингвистическими способностями, но часто не могут достоверно сохранять фактические знания, что приводит к галлюцинациям и ненадежным результатам. Исчерпывающая оценка недостатков знаний LLM на основе полномасштабных баз знаний является вычислительно непосильной задачей, особенно для моделей с закрытыми весами. Мы предлагаем стохастический метод восхождения ошибок (SEA) — масштабируемую и эффективную структуру для выявления недостатков знаний (ошибок) в LLM с закрытыми весами при строгом ограничении на количество запросов. Вместо наивного исследования всех возможных знаний SEA формулирует процесс обнаружения ошибок как стохастическую оптимизацию: итеративно извлекает новые кандидаты с высокой вероятностью ошибок, используя семантическое сходство с ранее обнаруженными сбоями. Для повышения эффективности и охвата поиска SEA применяет иерархическое извлечение на уровне документов и абзацев, а также строит направленный ациклический граф отношений для моделирования распространения ошибок и выявления систематических режимов сбоев. Экспериментально SEA обнаруживает в 40,7 раз больше ошибок знаний, чем Automated Capability Discovery, и на 26,7% больше, чем AutoBencher, при этом снижая стоимость на одну ошибку в 599 и 9 раз соответственно. Человеческая оценка подтверждает высокое качество сгенерированных вопросов, а анализ абляции и сходимости подтверждает вклад каждого компонента SEA. Дополнительный анализ обнаруженных ошибок выявляет коррелированные паттерны сбоев в семействах LLM и повторяющиеся недостатки, подчеркивая необходимость лучшего охвата данных и целенаправленной тонкой настройки в будущем развитии LLM.

English

Large language models (LLMs) possess impressive linguistic capabilities but often fail to faithfully retain factual knowledge, leading to hallucinations and unreliable outputs. Understanding LLMs' knowledge deficiencies by exhaustively evaluating against full-scale knowledge bases is computationally prohibitive, especially for closed-weight models. We propose stochastic error ascent (SEA), a scalable and efficient framework for discovering knowledge deficiencies (errors) in closed-weight LLMs under a strict query budget. Rather than naively probing all knowledge candidates, SEA formulates error discovery as a stochastic optimization process: it iteratively retrieves new high-error candidates by leveraging the semantic similarity to previously observed failures. To further enhance search efficiency and coverage, SEA employs hierarchical retrieval across document and paragraph levels, and constructs a relation directed acyclic graph to model error propagation and identify systematic failure modes. Empirically, SEA uncovers 40.7x more knowledge errors than Automated Capability Discovery and 26.7% more than AutoBencher, while reducing the cost-per-error by 599x and 9x, respectively. Human evaluation confirms the high quality of generated questions, while ablation and convergence analyses validate the contribution of each component in SEA. Further analysis on the discovered errors reveals correlated failure patterns across LLM families and recurring deficits, highlighting the need for better data coverage and targeted fine-tuning in future LLM development.