Cadeia de Evidências: Atribuição Visual em Nível de Pixel para Geração Aumentada por Recuperação Iterativa

Resumo

A Geração Aumentada por Recuperação Iterativa (iRAG) emergiu como um paradigma poderoso para responder a perguntas complexas de múltiplos saltos, recuperando e raciocinando progressivamente sobre documentos externos. No entanto, os sistemas atuais operam predominantemente em texto analisado, o que cria dois gargalos críticos: (1) Atribuição de granularidade grossa, onde os utilizadores são sobrecarregados com a tarefa de localizar manualmente evidências em documentos extensos com base em citações vagas a nível de texto; e (2) Perda semântica visual, onde a conversão de documentos visualmente ricos (por exemplo, slides, PDFs com gráficos) em texto descarta a lógica espacial e os sinais de layout essenciais para o raciocínio. Para colmatar esta lacuna, apresentamos a Cadeia de Evidências (CoE), uma estrutura de atribuição visual independente do mecanismo de recuperação que aproveita os Modelos de Visão e Linguagem para raciocinar diretamente sobre capturas de ecrã dos documentos candidatos recuperados. A CoE elimina a análise específica de formato e produz caixas delimitadoras precisas, visualizando a cadeia de raciocínio completa dentro do conjunto de candidatos recuperados. Avaliamos a CoE em dois benchmarks distintos: Wiki-CoE, um conjunto de dados em larga escala de páginas web estruturadas derivado do 2WikiMultiHopQA, e SlideVQA, um conjunto de dados desafiador de slides de apresentação com diagramas complexos e layouts de forma livre. Os experimentos demonstram que o modelo Qwen3-VL-8B-Instruct, após fine-tuning, atinge um desempenho robusto, superando significativamente as linhas de base baseadas em texto em cenários que exigem compreensão do layout visual, estabelecendo simultaneamente uma solução independente do mecanismo de recuperação para iRAG interpretável a nível de píxel. O nosso código está disponível em https://github.com/PeiYangLiu/CoE.git.

English

Iterative Retrieval-Augmented Generation (iRAG) has emerged as a powerful paradigm for answering complex multi-hop questions by progressively retrieving and reasoning over external documents. However, current systems predominantly operate on parsed text, which creates two critical bottlenecks: (1) Coarse-grained attribution, where users are burdened with manually locating evidence within lengthy documents based on vague text-level citations; and (2) Visual semantic loss, where the conversion of visually rich documents (e.g., slides, PDFs with charts) into text discards spatial logic and layout cues essential for reasoning. To bridge this gap, we present Chain of Evidence (CoE), a retriever-agnostic visual attribution framework that leverages Vision-Language Models to reason directly over screenshots of retrieved document candidates. CoE eliminates format-specific parsing and outputs precise bounding boxes, visualizing the complete reasoning chain within the retrieved candidate set. We evaluate CoE on two distinct benchmarks: Wiki-CoE, a large-scale dataset of structured web pages derived from 2WikiMultiHopQA, and SlideVQA, a challenging dataset of presentation slides featuring complex diagrams and free-form layouts. Experiments demonstrate that fine-tuned Qwen3-VL-8B-Instruct achieves robust performance, significantly outperforming text-based baselines in scenarios requiring visual layout understanding, while establishing a retriever-agnostic solution for pixel-level interpretable iRAG. Our code is available at https://github.com/PeiYangLiu/CoE.git.