Micro-Act: Wissenskonflikte in der Frage-Antwort-Interaktion durch handlungsorientiertes Selbstreflektieren reduzieren
Micro-Act: Mitigate Knowledge Conflict in Question Answering via Actionable Self-Reasoning
June 5, 2025
Autoren: Nan Huo, Jinyang Li, Bowen Qin, Ge Qu, Xiaolong Li, Xiaodong Li, Chenhao Ma, Reynold Cheng
cs.AI
Zusammenfassung
Retrieval-Augmented Generation (RAG)-Systeme leiden häufig unter Wissenskonflikten, bei denen das abgerufene externe Wissen dem inhärenten, parametrischen Wissen großer Sprachmodelle (LLMs) widerspricht. Dies beeinträchtigt die Leistung bei nachgelagerten Aufgaben wie Frage-Antwort-Systemen (QA). Bestehende Ansätze versuchen oft, Konflikte zu mildern, indem sie zwei Wissensquellen direkt nebeneinander vergleichen. Dies kann LLMs jedoch mit überflüssigen oder langen Kontexten überfordern und letztlich ihre Fähigkeit beeinträchtigen, Inkonsistenzen zu erkennen und zu beheben. Um dieses Problem zu lösen, schlagen wir Micro-Act vor, ein Framework mit einem hierarchischen Aktionsraum, das die Kontextkomplexität automatisch wahrnimmt und jede Wissensquelle adaptiv in eine Sequenz feingranularer Vergleiche zerlegt. Diese Vergleiche werden als ausführbare Schritte dargestellt, was eine tiefgreifendere Kontextanalyse ermöglicht. Durch umfangreiche Experimente mit fünf Benchmark-Datensätzen erzielt Micro-Act durchweg eine signifikante Steigerung der QA-Genauigkeit gegenüber den aktuellsten Baselines über alle fünf Datensätze und drei Konflikttypen hinweg, insbesondere bei zeitlichen und semantischen Typen, bei denen alle Baselines deutlich scheitern. Noch wichtiger ist, dass Micro-Act gleichzeitig eine robuste Leistung bei nicht-konfliktbezogenen Fragen zeigt, was seinen praktischen Wert in realen RAG-Anwendungen unterstreicht.
English
Retrieval-Augmented Generation (RAG) systems commonly suffer from Knowledge
Conflicts, where retrieved external knowledge contradicts the inherent,
parametric knowledge of large language models (LLMs). It adversely affects
performance on downstream tasks such as question answering (QA). Existing
approaches often attempt to mitigate conflicts by directly comparing two
knowledge sources in a side-by-side manner, but this can overwhelm LLMs with
extraneous or lengthy contexts, ultimately hindering their ability to identify
and mitigate inconsistencies. To address this issue, we propose Micro-Act a
framework with a hierarchical action space that automatically perceives context
complexity and adaptively decomposes each knowledge source into a sequence of
fine-grained comparisons. These comparisons are represented as actionable
steps, enabling reasoning beyond the superficial context. Through extensive
experiments on five benchmark datasets, Micro-Act consistently achieves
significant increase in QA accuracy over state-of-the-art baselines across all
5 datasets and 3 conflict types, especially in temporal and semantic types
where all baselines fail significantly. More importantly, Micro-Act exhibits
robust performance on non-conflict questions simultaneously, highlighting its
practical value in real-world RAG applications.