Fraudando Referenciais Automáticos LLM: Modelos Nulos Alcançam Altas Taxas de Vitória

Cheating Automatic LLM Benchmarks: Null Models Achieve High Win Rates

October 9, 2024

Autores: Xiaosen Zheng, Tianyu Pang, Chao Du, Qian Liu, Jing Jiang, Min Lin

cs.AI

Resumo

Benchmarks automáticos de LLM, como AlpacaEval 2.0, Arena-Hard-Auto e MT-Bench, tornaram-se populares para avaliar modelos de linguagem devido à sua relação custo-eficácia e escalabilidade em comparação com a avaliação humana. Alcançar altas taxas de vitória nessas referências pode impulsionar significativamente o impacto promocional de modelos de linguagem recém-lançados. Esse benefício promocional pode motivar artifícios, como manipular o comprimento ou estilo de saída do modelo para aumentar as taxas de vitória, mesmo que vários mecanismos tenham sido desenvolvidos para controlar o comprimento e desembaraçar o estilo para reduzir a possibilidade de manipulação. No entanto, mostramos que até mesmo um "modelo nulo" que sempre produz uma resposta constante (irrelevante para as instruções de entrada) pode trapacear em benchmarks automáticos e alcançar altas taxas de vitória classificatórias: uma taxa de vitória de 86,5% no AlpacaEval 2.0; uma pontuação de 83,0 no Arena-Hard-Auto; e uma pontuação de 9,55 no MT-Bench. Além disso, as saídas de trapaça elaboradas são transferíveis, pois presumimos que as instruções desses benchmarks (por exemplo, 805 amostras do AlpacaEval 2.0) são privadas e não podem ser acessadas. Embora nossos experimentos sejam principalmente de prova de conceito, um adversário poderia usar LLMs para gerar respostas de trapaça mais imperceptíveis, beneficiando-se de maneira antiética de altas taxas de vitória e impacto promocional. Nossas descobertas destacam a necessidade do desenvolvimento de mecanismos anti-trapaça para benchmarks automáticos confiáveis. O código está disponível em https://github.com/sail-sg/Cheating-LLM-Benchmarks.

English

Automatic LLM benchmarks, such as AlpacaEval 2.0, Arena-Hard-Auto, and MT-Bench, have become popular for evaluating language models due to their cost-effectiveness and scalability compared to human evaluation. Achieving high win rates on these benchmarks can significantly boost the promotional impact of newly released language models. This promotional benefit may motivate tricks, such as manipulating model output length or style to game win rates, even though several mechanisms have been developed to control length and disentangle style to reduce gameability. Nonetheless, we show that even a "null model" that always outputs a constant response (irrelevant to input instructions) can cheat automatic benchmarks and achieve top-ranked win rates: an 86.5% LC win rate on AlpacaEval 2.0; an 83.0 score on Arena-Hard-Auto; and a 9.55 score on MT-Bench. Moreover, the crafted cheating outputs are transferable because we assume that the instructions of these benchmarks (e.g., 805 samples of AlpacaEval 2.0) are private and cannot be accessed. While our experiments are primarily proof-of-concept, an adversary could use LLMs to generate more imperceptible cheating responses, unethically benefiting from high win rates and promotional impact. Our findings call for the development of anti-cheating mechanisms for reliable automatic benchmarks. The code is available at https://github.com/sail-sg/Cheating-LLM-Benchmarks.