Otimizando a Decomposição para Verificação Ótima de Afirmações

Optimizing Decomposition for Optimal Claim Verification

March 19, 2025

Autores: Yining Lu, Noah Ziems, Hy Dang, Meng Jiang

cs.AI

Resumo

A pesquisa atual sobre o paradigma Decompor-Então-Verificar para avaliar a factualidade de textos longos geralmente trata a decomposição e a verificação de forma isolada, negligenciando suas interações e possíveis desalinhamentos. Descobrimos que as políticas de decomposição existentes, tipicamente demonstrações manuais, não se alinham bem com os verificadores subsequentes em termos de atomicidade -- uma nova métrica que quantifica a densidade de informação -- levando a resultados de verificação subótimos. Formulamos a busca pela política de decomposição ideal para uma verificação ótima como um problema de otimização bilevel. Para aproximar uma solução para esse problema fortemente NP-difícil, propomos a decomposição dinâmica, um framework de aprendizado por reforço que aproveita o feedback do verificador para aprender uma política de decomposição dinâmica de afirmações para a atomicidade preferida pelo verificador. Os resultados experimentais mostram que a decomposição dinâmica supera as políticas de decomposição existentes, melhorando a confiança da verificação em 0,07 e a precisão em 0,12 (em uma escala de 0-1), em média, em diferentes verificadores, conjuntos de dados e atomicidades das afirmações de entrada.

English

Current research on the Decompose-Then-Verify paradigm for evaluating the factuality of long-form text typically treats decomposition and verification in isolation, overlooking their interactions and potential misalignment. We find that existing decomposition policies, typically hand-crafted demonstrations, do not align well with downstream verifiers in terms of atomicity -- a novel metric quantifying information density -- leading to suboptimal verification results. We formulate finding the optimal decomposition policy for optimal verification as a bilevel optimization problem. To approximate a solution for this strongly NP-hard problem, we propose dynamic decomposition, a reinforcement learning framework that leverages verifier feedback to learn a policy for dynamically decomposing claims to verifier-preferred atomicity. Experimental results show that dynamic decomposition outperforms existing decomposition policies, improving verification confidence by 0.07 and accuracy by 0.12 (on a 0-1 scale) on average across varying verifiers, datasets, and atomcities of input claims.