Optimalisatie van decompositie voor optimale claimverificatie

Optimizing Decomposition for Optimal Claim Verification

March 19, 2025

Auteurs: Yining Lu, Noah Ziems, Hy Dang, Meng Jiang

cs.AI

Samenvatting

Huidig onderzoek naar het Decompose-Then-Verify paradigma voor het evalueren van de feitelijkheid van lange teksten behandelt decompositie en verificatie doorgaans in isolatie, waarbij de interacties en mogelijke misalignering over het hoofd worden gezien. We constateren dat bestaande decompositiebeleidsregels, meestal handmatig gemaakte demonstraties, niet goed aansluiten bij downstream verificatoren in termen van atomiciteit -- een nieuwe maatstaf die de informatiedichtheid kwantificeert -- wat leidt tot suboptimale verificatieresultaten. We formuleren het vinden van het optimale decompositiebeleid voor optimale verificatie als een bilevel optimalisatieprobleem. Om een oplossing voor dit sterk NP-moeilijke probleem te benaderen, stellen we dynamische decompositie voor, een reinforcement learning raamwerk dat gebruikmaakt van feedback van de verificator om een beleid te leren voor het dynamisch decomponeren van claims naar de door de verificator geprefereerde atomiciteit. Experimentele resultaten tonen aan dat dynamische decompositie bestaande decompositiebeleidsregels overtreft, waarbij het verificatievertrouwen met 0,07 en de nauwkeurigheid met 0,12 (op een schaal van 0-1) gemiddeld verbetert over verschillende verificatoren, datasets en atomiciteiten van inputclaims.

English

Current research on the Decompose-Then-Verify paradigm for evaluating the factuality of long-form text typically treats decomposition and verification in isolation, overlooking their interactions and potential misalignment. We find that existing decomposition policies, typically hand-crafted demonstrations, do not align well with downstream verifiers in terms of atomicity -- a novel metric quantifying information density -- leading to suboptimal verification results. We formulate finding the optimal decomposition policy for optimal verification as a bilevel optimization problem. To approximate a solution for this strongly NP-hard problem, we propose dynamic decomposition, a reinforcement learning framework that leverages verifier feedback to learn a policy for dynamically decomposing claims to verifier-preferred atomicity. Experimental results show that dynamic decomposition outperforms existing decomposition policies, improving verification confidence by 0.07 and accuracy by 0.12 (on a 0-1 scale) on average across varying verifiers, datasets, and atomcities of input claims.