Ventor-QTest: 벤더 호스팅 LLM API의 위협 모델 기반 검증

초록

대규모 언어 모델이 점점 더 널리 보급됨에 따라, 오픈 가중치 모델을 배포하는 제3자 제공업체는 생태계의 중요한 부분이 되었다. 따라서 이들의 추론 API 품질을 감사하는 것은 해결되지 않은 문제이다. 우리는 호스팅된 모델 라우팅을 확률적 과정으로 공식화하고, 대상 API로부터의 확률 정보를 요구하지 않는 복합 블랙박스 감사인 **Ventor-QTest**를 제안한다. 반복 요청 구성 요소는 각 고정된 제약 문맥을 대상에 여러 번 전송하고, 반환된 텍스트 개수에서 범주형 출력 분포를 재구성한 다음, 귀무가설 편향을 보정한 창 내 평균 조악화 KL 통계량으로 평균 충실도 손실(AFL)을 보고한다. 긴 시퀀스 구성 요소는 독립 실행을 사용하여 실행 수준의 참조 중심 서프라이즈 통계량의 경험적 상위 꼬리를 통해 극단적 충실도 손실(EFL)을 보고한다. 로그확률을 제공하는 세 가지 라우팅 조건에서 AFL은 로그확률 기반 조악화 KL 비교값과 강한 선형적 기술 일치를 보여준다. 일곱 가지 라우팅 스냅샷에 걸친 20회 실행 시퀀스 프로브는 라우팅별 EFL 변동을 드러낸다. AFL과 EFL은 GPQA-Diamond 정확도와 라우팅 수준에서 감지 가능한 연관성이 거의 없다. 대조적으로, 뚜렷한 EFL은 작업 노출이 증가함에 따라 Terminal-Bench 통과율 감소와 일치한다. 이러한 패턴은 장기 지평 작업에서 정확성이 극단적 충실도 손실에 더 민감하기 때문에 발생할 수 있다. 이러한 결과는 특히 장기 지평 에이전트 작업을 감사할 때 AFL과 EFL을 함께 보고할 필요성을 시사한다. 오픈소스 구현체는 https://github.com/Tencent/AI-Infra-Guard/tree/main/services/api_checker/ventor_qtest에서 확인할 수 있다.

English

As large language models become increasingly widespread, third-party providers that deploy open-weight models have become an important part of the ecosystem. Auditing the quality of their inference APIs is therefore an open problem. We formalize hosted model routing as a stochastic process and propose \textbf{Ventor-QTest}, a composite black-box audit that requires no probability information from the target API. Its repeated-request component sends each frozen constrained context to the target multiple times, reconstructs a categorical output distribution from the returned text counts, and reports average fidelity loss (AFL) as a null-bias-corrected, within-window mean coarsened-KL statistic. Its long-sequence component uses independent runs to report extreme fidelity loss (EFL) through the empirical upper tail of a run-level reference-centered-surprisal statistic. Across three logprob-capable route conditions, AFL shows strong linear descriptive agreement with a logprob-derived coarsened-KL comparator. Across seven route snapshots, 20-run sequence probes reveal route-specific EFL variation. AFL and EFL have little detectable route-level association with GPQA-Diamond accuracy. In contrast, pronounced EFL coincides with a decline in Terminal-Bench pass rate as task exposure increases. This pattern may arise because correctness in long-horizon tasks is more sensitive to extreme fidelity loss. These results motivate reporting AFL and EFL jointly, particularly when auditing long-horizon agentic tasks. The open-source implementation is available at https://github.com/Tencent/AI-Infra-Guard/tree/main/services/api_checker/ventor_qtest.