Micro-Act: Mitigar Conflitos de Conhecimento em Respostas a Perguntas por meio de Auto-Raciocínio Aplicável

Micro-Act: Mitigate Knowledge Conflict in Question Answering via Actionable Self-Reasoning

June 5, 2025

Autores: Nan Huo, Jinyang Li, Bowen Qin, Ge Qu, Xiaolong Li, Xiaodong Li, Chenhao Ma, Reynold Cheng

cs.AI

Resumo

Os sistemas de Geração Aumentada por Recuperação (RAG, na sigla em inglês) frequentemente enfrentam o problema de Conflitos de Conhecimento, onde o conhecimento externo recuperado contradiz o conhecimento paramétrico inerente dos modelos de linguagem de grande escala (LLMs). Isso afeta negativamente o desempenho em tarefas subsequentes, como a resposta a perguntas (QA, na sigla em inglês). As abordagens existentes geralmente tentam mitigar esses conflitos comparando diretamente duas fontes de conhecimento de forma lado a lado, mas isso pode sobrecarregar os LLMs com contextos extensos ou irrelevantes, prejudicando sua capacidade de identificar e resolver inconsistências. Para resolver esse problema, propomos o Micro-Act, um framework com um espaço de ação hierárquico que percebe automaticamente a complexidade do contexto e decompõe adaptativamente cada fonte de conhecimento em uma sequência de comparações refinadas. Essas comparações são representadas como etapas acionáveis, permitindo um raciocínio que vai além do contexto superficial. Por meio de extensos experimentos em cinco conjuntos de dados de referência, o Micro-Act alcança consistentemente um aumento significativo na precisão de QA em relação às abordagens mais avançadas em todos os 5 conjuntos de dados e 3 tipos de conflito, especialmente nos tipos temporais e semânticos, onde todas as abordagens de referência falham significativamente. Mais importante ainda, o Micro-Act demonstra um desempenho robusto em perguntas sem conflito simultaneamente, destacando seu valor prático em aplicações reais de RAG.

English

Retrieval-Augmented Generation (RAG) systems commonly suffer from Knowledge Conflicts, where retrieved external knowledge contradicts the inherent, parametric knowledge of large language models (LLMs). It adversely affects performance on downstream tasks such as question answering (QA). Existing approaches often attempt to mitigate conflicts by directly comparing two knowledge sources in a side-by-side manner, but this can overwhelm LLMs with extraneous or lengthy contexts, ultimately hindering their ability to identify and mitigate inconsistencies. To address this issue, we propose Micro-Act a framework with a hierarchical action space that automatically perceives context complexity and adaptively decomposes each knowledge source into a sequence of fine-grained comparisons. These comparisons are represented as actionable steps, enabling reasoning beyond the superficial context. Through extensive experiments on five benchmark datasets, Micro-Act consistently achieves significant increase in QA accuracy over state-of-the-art baselines across all 5 datasets and 3 conflict types, especially in temporal and semantic types where all baselines fail significantly. More importantly, Micro-Act exhibits robust performance on non-conflict questions simultaneously, highlighting its practical value in real-world RAG applications.