ProgRAG: Прогрессивное извлечение и рассуждение с устойчивостью к галлюцинациям на графах знаний

Аннотация

Крупные языковые модели (LLM) демонстрируют высокие способности к рассуждению, но сталкиваются с проблемами галлюцинаций и ограниченной прозрачностью. Недавно было показано, что LLM, усиленные знаниями графов (KG), улучшают производительность рассуждений, особенно для сложных задач, требующих интенсивного использования знаний. Однако эти методы по-прежнему сталкиваются с серьезными проблемами, включая неточное извлечение информации и ошибки в рассуждениях, которые часто усугубляются длинными входными контекстами, скрывающими релевантную информацию, или конструкциями контекста, которые не способны охватить более богатые логические направления, необходимые для различных типов вопросов. Кроме того, многие из этих подходов полагаются на LLM для прямого извлечения доказательств из KG и самостоятельной оценки достаточности этих доказательств, что часто приводит к преждевременным или ошибочным рассуждениям. Для решения проблем извлечения и рассуждений мы предлагаем ProgRAG — фреймворк для многошагового ответа на вопросы по графу знаний (KGQA), который разбивает сложные вопросы на подвопросы и постепенно расширяет частичные пути рассуждений, отвечая на каждый подвопрос. На каждом этапе внешние извлекатели собирают кандидаты на доказательства, которые затем уточняются с помощью осознанного обрезки неопределенности LLM. Наконец, контекст для рассуждений LLM оптимизируется путем организации и переупорядочивания частичных путей рассуждений, полученных из ответов на подвопросы. Эксперименты на трех известных наборах данных демонстрируют, что ProgRAG превосходит существующие базовые подходы в многошаговом KGQA, обеспечивая повышенную надежность и качество рассуждений.

English

Large Language Models (LLMs) demonstrate strong reasoning capabilities but struggle with hallucinations and limited transparency. Recently, KG-enhanced LLMs that integrate knowledge graphs (KGs) have been shown to improve reasoning performance, particularly for complex, knowledge-intensive tasks. However, these methods still face significant challenges, including inaccurate retrieval and reasoning failures, often exacerbated by long input contexts that obscure relevant information or by context constructions that struggle to capture the richer logical directions required by different question types. Furthermore, many of these approaches rely on LLMs to directly retrieve evidence from KGs, and to self-assess the sufficiency of this evidence, which often results in premature or incorrect reasoning. To address the retrieval and reasoning failures, we propose ProgRAG, a multi-hop knowledge graph question answering (KGQA) framework that decomposes complex questions into sub-questions, and progressively extends partial reasoning paths by answering each sub-question. At each step, external retrievers gather candidate evidence, which is then refined through uncertainty-aware pruning by the LLM. Finally, the context for LLM reasoning is optimized by organizing and rearranging the partial reasoning paths obtained from the sub-question answers. Experiments on three well-known datasets demonstrate that ProgRAG outperforms existing baselines in multi-hop KGQA, offering improved reliability and reasoning quality.

ProgRAG: Прогрессивное извлечение и рассуждение с устойчивостью к галлюцинациям на графах знаний

ProgRAG: Hallucination-Resistant Progressive Retrieval and Reasoning over Knowledge Graphs

Аннотация

Support