Ventor-QTest: 脅威モデル駆動によるベンダー提供LLM APIの検証

要旨

大規模言語モデルがますます普及するにつれ、オープンウェイトモデルを展開する第三者プロバイダーはエコシステムの重要な構成要素となっている。したがって、それらの推論APIの品質を監査することは未解決の問題である。我々はホスト型モデルのルーティングを確率過程として形式化し、対象APIからの確率情報を必要としない複合ブラックボックス監査である\textbf{Ventor-QTest}を提案する。その反復リクエストコンポーネントは、凍結された制約付きコンテキストを対象に複数回送信し、返されたテキストのカウントからカテゴリカルな出力分布を再構築し、平均忠実度損失（AFL）を、ヌルバイアス補正済みの窓内平均粗視化KL統計量として報告する。その長文シーケンスコンポーネントは、独立した実行を用いて、実行レベルの参照中心サプライザル統計量の経験的上側裾を通じて極端忠実度損失（EFL）を報告する。対数確率が利用可能な3つのルート条件にわたって、AFLは対数確率由来の粗視化KL比較器と強い線形的記述的一致を示す。7つのルートスナップショットにわたって、20回実行のシーケンスプローブはルート固有のEFL変動を明らかにする。AFLとEFLはGPQA-Diamond精度との検出可能なルートレベルの関連性をほとんど示さない。対照的に、顕著なEFLはタスク露出が増加するにつれてTerminal-Benchの合格率の低下と一致する。このパターンは、長期的タスクにおける正確性が極端忠実度損失により敏感であるために生じる可能性がある。これらの結果は、特に長期的エージェント的タスクの監査において、AFLとEFLを併せて報告することの動機付けとなる。オープンソース実装はhttps://github.com/Tencent/AI-Infra-Guard/tree/main/services/api_checker/ventor_qtestで入手可能である。

English

As large language models become increasingly widespread, third-party providers that deploy open-weight models have become an important part of the ecosystem. Auditing the quality of their inference APIs is therefore an open problem. We formalize hosted model routing as a stochastic process and propose \textbf{Ventor-QTest}, a composite black-box audit that requires no probability information from the target API. Its repeated-request component sends each frozen constrained context to the target multiple times, reconstructs a categorical output distribution from the returned text counts, and reports average fidelity loss (AFL) as a null-bias-corrected, within-window mean coarsened-KL statistic. Its long-sequence component uses independent runs to report extreme fidelity loss (EFL) through the empirical upper tail of a run-level reference-centered-surprisal statistic. Across three logprob-capable route conditions, AFL shows strong linear descriptive agreement with a logprob-derived coarsened-KL comparator. Across seven route snapshots, 20-run sequence probes reveal route-specific EFL variation. AFL and EFL have little detectable route-level association with GPQA-Diamond accuracy. In contrast, pronounced EFL coincides with a decline in Terminal-Bench pass rate as task exposure increases. This pattern may arise because correctness in long-horizon tasks is more sensitive to extreme fidelity loss. These results motivate reporting AFL and EFL jointly, particularly when auditing long-horizon agentic tasks. The open-source implementation is available at https://github.com/Tencent/AI-Infra-Guard/tree/main/services/api_checker/ventor_qtest.