Quando Não Existe um Referencial: Validando a Pontuação Comparativa de Segurança de LLMs Sem Etiquetas de Verdade Terrestre

Resumo

Muitas implantações precisam comparar modelos de linguagem candidatos quanto à segurança antes que exista um benchmark rotulado para o idioma, setor ou regime regulatório relevante. Formalizamos esse cenário como pontuação comparativa de segurança sem benchmark e especificamos o contrato sob o qual uma auditoria baseada em cenários pode ser interpretada como evidência de implantação. As pontuações são válidas apenas sob um pacote de cenários fixo, uma rubrica, um auditor, um juiz, uma configuração de amostragem e um orçamento de reexecução. Como nenhum rótulo está disponível, substituímos o acordo com a verdade real por uma cadeia de validade instrumental: responsividade a um contraste controlado (seguro versus aniquilado), domínio da variância orientada pelo alvo sobre artefatos do auditor e do juiz, e estabilidade entre reexecuções. Instanciamos a cadeia no SimpleAudit, um instrumento de pontuação de prioridade local, e a validamos em um pacote de segurança norueguês. Os alvos seguros e aniquilados se separam com valores de AUROC entre 0,89 e 1,00, a identidade do alvo é o componente dominante da variância (η² ≈ 0,52), e os perfis de severidade estabilizam após dez reexecuções. Aplicar a mesma cadeia ao Petri mostra que ela admite ambas as ferramentas. As diferenças substanciais surgem a montante da cadeia, na aplicação do contrato de afirmação e no ajuste de implantação. Um caso de licitação do setor público norueguês que compara Borealis e Gemma 3 demonstra a evidência resultante na prática: o modelo mais seguro depende da categoria do cenário e da medida de risco. Consequentemente, as pontuações, os deltas pareados, as taxas críticas, a incerteza e o auditor e o juiz utilizados devem ser relatados em conjunto, em vez de serem condensados em uma única classificação.

English

Many deployments must compare candidate language models for safety before a labeled benchmark exists for the relevant language, sector, or regulatory regime. We formalize this setting as benchmarkless comparative safety scoring and specify the contract under which a scenario-based audit can be interpreted as deployment evidence. Scores are valid only under a fixed scenario pack, rubric, auditor, judge, sampling configuration, and rerun budget. Because no labels are available, we replace ground-truth agreement with an instrumental-validity chain: responsiveness to a controlled safe-versus-abliterated contrast, dominance of target-driven variance over auditor and judge artifacts, and stability across reruns. We instantiate the chain in SimpleAudit, a local-first scoring instrument, and validate it on a Norwegian safety pack. Safe and abliterated targets separate with AUROC values between 0.89 and 1.00, target identity is the dominant variance component (η^2 approx 0.52), and severity profiles stabilize by ten reruns. Applying the same chain to Petri shows that it admits both tools. The substantial differences arise upstream of the chain, in claim-contract enforcement and deployment fit. A Norwegian public-sector procurement case comparing Borealis and Gemma 3 demonstrates the resulting evidence in practice: the safer model depends on scenario category and risk measure. Consequently, scores, matched deltas, critical rates, uncertainty, and the auditor and judge used must be reported together rather than collapsed into a single ranking.