Barare ai benchmark automatici LLM: i modelli null raggiungono alte percentuali di vittoria.

Cheating Automatic LLM Benchmarks: Null Models Achieve High Win Rates

October 9, 2024

Autori: Xiaosen Zheng, Tianyu Pang, Chao Du, Qian Liu, Jing Jiang, Min Lin

cs.AI

Abstract

I benchmark automatici per modelli linguistici, come AlpacaEval 2.0, Arena-Hard-Auto e MT-Bench, sono diventati popolari per valutare i modelli linguistici a causa della loro economicità e scalabilità rispetto alla valutazione umana. Ottenere alte percentuali di vittoria su questi benchmark può aumentare significativamente l'impatto promozionale dei nuovi modelli linguistici rilasciati. Questo beneficio promozionale potrebbe spingere a trucchi, come manipolare la lunghezza o lo stile dell'output del modello per aumentare le percentuali di vittoria, anche se sono stati sviluppati diversi meccanismi per controllare la lunghezza e separare lo stile per ridurre la manipolabilità. Tuttavia, dimostriamo che persino un "modello nullo" che restituisce sempre una risposta costante (indipendentemente dalle istruzioni di input) può barare sui benchmark automatici e ottenere alte percentuali di vittoria: una percentuale di vittoria LC dell'86,5% su AlpacaEval 2.0; un punteggio dell'83,0 su Arena-Hard-Auto; e un punteggio di 9,55 su MT-Bench. Inoltre, gli output di frode creati sono trasferibili poiché supponiamo che le istruzioni di questi benchmark (ad esempio, 805 campioni di AlpacaEval 2.0) siano private e non accessibili. Sebbene i nostri esperimenti siano principalmente di prova concettuale, un avversario potrebbe utilizzare modelli linguistici per generare risposte di frode più impercettibili, beneficiando in modo non etico delle alte percentuali di vittoria e dell'impatto promozionale. Le nostre scoperte richiedono lo sviluppo di meccanismi anti-frode per benchmark automatici affidabili. Il codice è disponibile su https://github.com/sail-sg/Cheating-LLM-Benchmarks.

English

Automatic LLM benchmarks, such as AlpacaEval 2.0, Arena-Hard-Auto, and MT-Bench, have become popular for evaluating language models due to their cost-effectiveness and scalability compared to human evaluation. Achieving high win rates on these benchmarks can significantly boost the promotional impact of newly released language models. This promotional benefit may motivate tricks, such as manipulating model output length or style to game win rates, even though several mechanisms have been developed to control length and disentangle style to reduce gameability. Nonetheless, we show that even a "null model" that always outputs a constant response (irrelevant to input instructions) can cheat automatic benchmarks and achieve top-ranked win rates: an 86.5% LC win rate on AlpacaEval 2.0; an 83.0 score on Arena-Hard-Auto; and a 9.55 score on MT-Bench. Moreover, the crafted cheating outputs are transferable because we assume that the instructions of these benchmarks (e.g., 805 samples of AlpacaEval 2.0) are private and cannot be accessed. While our experiments are primarily proof-of-concept, an adversary could use LLMs to generate more imperceptible cheating responses, unethically benefiting from high win rates and promotional impact. Our findings call for the development of anti-cheating mechanisms for reliable automatic benchmarks. The code is available at https://github.com/sail-sg/Cheating-LLM-Benchmarks.