Micro-Act: Verminder Kennisconflicten in Vraagbeantwoording via Toepasbare Zelfredenering

Micro-Act: Mitigate Knowledge Conflict in Question Answering via Actionable Self-Reasoning

June 5, 2025

Auteurs: Nan Huo, Jinyang Li, Bowen Qin, Ge Qu, Xiaolong Li, Xiaodong Li, Chenhao Ma, Reynold Cheng

cs.AI

Samenvatting

Retrieval-Augmented Generation (RAG)-systemen hebben vaak last van Kennisconflicten, waarbij opgehaalde externe kennis in tegenspraak is met de inherente, parametrische kennis van grote taalmodellen (LLM's). Dit heeft een negatieve invloed op de prestaties bij downstream taken zoals vraag-antwoord (QA). Bestaande benaderingen proberen vaak conflicten te verminderen door twee kennisbronnen direct naast elkaar te vergelijken, maar dit kan LLM's overweldigen met overbodige of langdradige contexten, wat uiteindelijk hun vermogen om inconsistenties te identificeren en te verhelpen belemmert. Om dit probleem aan te pakken, stellen we Micro-Act voor, een raamwerk met een hiërarchische actieruimte dat automatisch de complexiteit van de context waarneemt en elke kennisbron adaptief opdeelt in een reeks fijnmazige vergelijkingen. Deze vergelijkingen worden weergegeven als uitvoerbare stappen, waardoor redenering mogelijk wordt die verder gaat dan de oppervlakkige context. Door uitgebreide experimenten op vijf benchmarkdatasets behaalt Micro-Act consistent een significante toename in QA-nauwkeurigheid ten opzichte van state-of-the-art baselines op alle 5 datasets en 3 conflicttypen, vooral bij temporele en semantische typen waar alle baselines aanzienlijk tekortschieten. Belangrijker is dat Micro-Act tegelijkertijd robuuste prestaties vertoont bij niet-conflictvragen, wat het praktische nut ervan in real-world RAG-toepassingen benadrukt.

English

Retrieval-Augmented Generation (RAG) systems commonly suffer from Knowledge Conflicts, where retrieved external knowledge contradicts the inherent, parametric knowledge of large language models (LLMs). It adversely affects performance on downstream tasks such as question answering (QA). Existing approaches often attempt to mitigate conflicts by directly comparing two knowledge sources in a side-by-side manner, but this can overwhelm LLMs with extraneous or lengthy contexts, ultimately hindering their ability to identify and mitigate inconsistencies. To address this issue, we propose Micro-Act a framework with a hierarchical action space that automatically perceives context complexity and adaptively decomposes each knowledge source into a sequence of fine-grained comparisons. These comparisons are represented as actionable steps, enabling reasoning beyond the superficial context. Through extensive experiments on five benchmark datasets, Micro-Act consistently achieves significant increase in QA accuracy over state-of-the-art baselines across all 5 datasets and 3 conflict types, especially in temporal and semantic types where all baselines fail significantly. More importantly, Micro-Act exhibits robust performance on non-conflict questions simultaneously, highlighting its practical value in real-world RAG applications.