同一エージェント、異なる回答：検索拡張QAにおけるコーパス起因の回答変動の反復対応型監査

要旨

検索拡張QAシステムは、要求されたモデル識別子、プロンプト、検索ポリシー、証拠深度、レンダリング、公開された生成制御が固定されていても、インデックス拡張後に異なる回答を返すことがある。集計精度は、利得と損失が相殺されるとこれらの変化を隠す可能性があり、一方で通常の生成変動性により、一回限りの比較は更新効果を過大評価することになる。我々はこの隠れた現象を精度ブラインド回答チャーンと呼び、同スナップショット再試行の不一致をクロススナップショットの不一致から差し引くことで過剰回答チャーンを推定するスナップショット互換性監査を導入する。我々は、凍結したFineWebプレフィックスを1シャードから7シャードに拡張することによってこれを具体化する。事前登録された400問のNatural Questions研究では、正規化完全一致に基づく過剰チャーンとブラインド意味評価に基づく過剰チャーンはそれぞれ6.44および10.25パーセントポイントであり、完全一致精度はわずか-1.50ポイントの変化にとどまる。事後分析では、40/400問で再試行安定な意味的反転が見つかった。別に事前登録された200問のTriviaQA研究では、過剰チャーンはより小さく方向的に一貫している一方、完全一致精度は逆方向に動く。2番目のDeepSeek生成器とサービング構成を用いた結果ブラインドな事後的100問サブセット再現実験では、完全一致が3.00パーセントポイント上昇する一方で、意味的過剰チャーンが8.75パーセントポイント見つかった。したがって、回答レベルの互換性は、顕著または一貫した方向のユーティリティ変化なしに失敗し得る。検索拡張リリースは、ユーティリティと並行して互換性を監査すべきである。

English

A retrieval-augmented QA system can return different answers after an index expansion even when its requested model identifier, prompt, retrieval policy, evidence depth, rendering, and exposed generation controls are held fixed. Aggregate accuracy may hide these changes when gains and losses cancel, while ordinary generation variability makes one-shot comparisons overstate update effects. We call the hidden phenomenon accuracy-blind answer churn and introduce the Snapshot Compatibility Audit, which estimates excess answer churn by subtracting same-snapshot repeat disagreement from cross-snapshot disagreement. We instantiate it by expanding one frozen FineWeb prefix from one to seven shards. In a preregistered 400-question Natural Questions study, normalized-exact and blinded-semantic excess churn are 6.44 and 10.25 percentage points while exact-match accuracy changes by only -1.50 points. A post-hoc analysis finds repeat-stable semantic flips on 40/400 questions. A separately preregistered 200-question TriviaQA study yields smaller, directionally consistent excess churn while exact-match accuracy moves in the opposite direction. An outcome-blind post-hoc 100-question subset replication with a second DeepSeek generator and serving configuration finds 8.75 pp of semantic excess churn even as exact match rises by 3.00 percentage points. Answer-level compatibility can therefore fail without a conspicuous or consistently directed utility shift. Retrieval-augmented releases should audit compatibility alongside utility.