Микро-Акт: Устранение конфликта знаний в системах вопросно-ответного поиска через практическое самообоснование

Micro-Act: Mitigate Knowledge Conflict in Question Answering via Actionable Self-Reasoning

June 5, 2025

Авторы: Nan Huo, Jinyang Li, Bowen Qin, Ge Qu, Xiaolong Li, Xiaodong Li, Chenhao Ma, Reynold Cheng

cs.AI

Аннотация

Системы генерации с использованием извлечения информации (Retrieval-Augmented Generation, RAG) часто сталкиваются с проблемой конфликтов знаний, когда извлеченные внешние данные противоречат внутренним параметрическим знаниям крупных языковых моделей (LLM). Это негативно сказывается на производительности в таких задачах, как ответы на вопросы (QA). Существующие подходы часто пытаются смягчить конфликты путем прямого сравнения двух источников знаний в параллельном режиме, однако это может перегружать LLM избыточными или длинными контекстами, что в конечном итоге затрудняет их способность выявлять и устранять противоречия. Для решения этой проблемы мы предлагаем Micro-Act — фреймворк с иерархическим пространством действий, который автоматически оценивает сложность контекста и адаптивно разбивает каждый источник знаний на последовательность детализированных сравнений. Эти сравнения представлены в виде выполняемых шагов, что позволяет выходить за рамки поверхностного контекста и проводить более глубокое рассуждение. В ходе обширных экспериментов на пяти эталонных наборах данных Micro-Act демонстрирует значительное повышение точности QA по сравнению с современными базовыми методами на всех пяти наборах данных и для трех типов конфликтов, особенно в случаях временных и семантических конфликтов, где все базовые методы показывают значительные провалы. Более того, Micro-Act одновременно демонстрирует устойчивую производительность на вопросах без конфликтов, что подчеркивает его практическую ценность в реальных приложениях RAG.

English

Retrieval-Augmented Generation (RAG) systems commonly suffer from Knowledge Conflicts, where retrieved external knowledge contradicts the inherent, parametric knowledge of large language models (LLMs). It adversely affects performance on downstream tasks such as question answering (QA). Existing approaches often attempt to mitigate conflicts by directly comparing two knowledge sources in a side-by-side manner, but this can overwhelm LLMs with extraneous or lengthy contexts, ultimately hindering their ability to identify and mitigate inconsistencies. To address this issue, we propose Micro-Act a framework with a hierarchical action space that automatically perceives context complexity and adaptively decomposes each knowledge source into a sequence of fine-grained comparisons. These comparisons are represented as actionable steps, enabling reasoning beyond the superficial context. Through extensive experiments on five benchmark datasets, Micro-Act consistently achieves significant increase in QA accuracy over state-of-the-art baselines across all 5 datasets and 3 conflict types, especially in temporal and semantic types where all baselines fail significantly. More importantly, Micro-Act exhibits robust performance on non-conflict questions simultaneously, highlighting its practical value in real-world RAG applications.