Оптимизация декомпозиции для оптимальной проверки утверждений

Optimizing Decomposition for Optimal Claim Verification

March 19, 2025

Авторы: Yining Lu, Noah Ziems, Hy Dang, Meng Jiang

cs.AI

Аннотация

Современные исследования парадигмы "Разложить-Затем-Проверить" для оценки фактической достоверности длинных текстов обычно рассматривают процессы декомпозиции и верификации изолированно, упуская их взаимодействие и возможное несоответствие. Мы обнаруживаем, что существующие стратегии декомпозиции, как правило, представляющие собой ручные демонстрации, плохо согласуются с последующими верификаторами с точки зрения атомарности — новой метрики, количественно оценивающей плотность информации, — что приводит к субоптимальным результатам верификации. Мы формулируем задачу поиска оптимальной стратегии декомпозиции для оптимальной верификации как задачу двухуровневой оптимизации. Для приближенного решения этой сильно NP-трудной задачи мы предлагаем динамическую декомпозицию — фреймворк обучения с подкреплением, который использует обратную связь от верификатора для обучения стратегии динамического разложения утверждений до предпочитаемой верификатором атомарности. Экспериментальные результаты показывают, что динамическая декомпозиция превосходит существующие стратегии декомпозиции, повышая уверенность в верификации на 0.07 и точность на 0.12 (по шкале от 0 до 1) в среднем для различных верификаторов, наборов данных и атомарностей входных утверждений.

English

Current research on the Decompose-Then-Verify paradigm for evaluating the factuality of long-form text typically treats decomposition and verification in isolation, overlooking their interactions and potential misalignment. We find that existing decomposition policies, typically hand-crafted demonstrations, do not align well with downstream verifiers in terms of atomicity -- a novel metric quantifying information density -- leading to suboptimal verification results. We formulate finding the optimal decomposition policy for optimal verification as a bilevel optimization problem. To approximate a solution for this strongly NP-hard problem, we propose dynamic decomposition, a reinforcement learning framework that leverages verifier feedback to learn a policy for dynamically decomposing claims to verifier-preferred atomicity. Experimental results show that dynamic decomposition outperforms existing decomposition policies, improving verification confidence by 0.07 and accuracy by 0.12 (on a 0-1 scale) on average across varying verifiers, datasets, and atomcities of input claims.