Micro-Act: Mitigare i conflitti di conoscenza nel Question Answering tramite ragionamento autonomo azionabile

Micro-Act: Mitigate Knowledge Conflict in Question Answering via Actionable Self-Reasoning

June 5, 2025

Autori: Nan Huo, Jinyang Li, Bowen Qin, Ge Qu, Xiaolong Li, Xiaodong Li, Chenhao Ma, Reynold Cheng

cs.AI

Abstract

I sistemi di Generazione Aumentata dal Recupero (RAG) soffrono comunemente di Conflitti di Conoscenza, in cui le informazioni esterne recuperate contraddicono la conoscenza parametrica intrinseca dei modelli linguistici di grandi dimensioni (LLM). Ciò influisce negativamente sulle prestazioni in compiti downstream come il question answering (QA). Gli approcci esistenti tentano spesso di mitigare i conflitti confrontando direttamente due fonti di conoscenza in modo affiancato, ma questo può sovraccaricare gli LLM con contesti estranei o prolungati, ostacolando infine la loro capacità di identificare e mitigare le incongruenze. Per affrontare questo problema, proponiamo Micro-Act, un framework con uno spazio di azione gerarchico che percepisce automaticamente la complessità del contesto e scompone adattativamente ciascuna fonte di conoscenza in una sequenza di confronti granulari. Questi confronti sono rappresentati come passi azionabili, consentendo un ragionamento che va oltre il contesto superficiale. Attraverso esperimenti estesi su cinque dataset di benchmark, Micro-Act ottiene costantemente un aumento significativo dell'accuratezza nel QA rispetto ai migliori baseline su tutti e 5 i dataset e 3 tipi di conflitto, specialmente nei tipi temporali e semantici dove tutti i baseline falliscono in modo significativo. Ancora più importante, Micro-Act mostra prestazioni robuste anche su domande senza conflitti, evidenziando il suo valore pratico nelle applicazioni RAG del mondo reale.

English

Retrieval-Augmented Generation (RAG) systems commonly suffer from Knowledge Conflicts, where retrieved external knowledge contradicts the inherent, parametric knowledge of large language models (LLMs). It adversely affects performance on downstream tasks such as question answering (QA). Existing approaches often attempt to mitigate conflicts by directly comparing two knowledge sources in a side-by-side manner, but this can overwhelm LLMs with extraneous or lengthy contexts, ultimately hindering their ability to identify and mitigate inconsistencies. To address this issue, we propose Micro-Act a framework with a hierarchical action space that automatically perceives context complexity and adaptively decomposes each knowledge source into a sequence of fine-grained comparisons. These comparisons are represented as actionable steps, enabling reasoning beyond the superficial context. Through extensive experiments on five benchmark datasets, Micro-Act consistently achieves significant increase in QA accuracy over state-of-the-art baselines across all 5 datasets and 3 conflict types, especially in temporal and semantic types where all baselines fail significantly. More importantly, Micro-Act exhibits robust performance on non-conflict questions simultaneously, highlighting its practical value in real-world RAG applications.