Betrügerische automatische LLM-Benchmarks: Nullmodelle erzielen hohe Gewinnraten.

Cheating Automatic LLM Benchmarks: Null Models Achieve High Win Rates

October 9, 2024

Autoren: Xiaosen Zheng, Tianyu Pang, Chao Du, Qian Liu, Jing Jiang, Min Lin

cs.AI

Zusammenfassung

Automatische LLM-Benchmarks wie AlpacaEval 2.0, Arena-Hard-Auto und MT-Bench sind aufgrund ihrer Kosteneffizienz und Skalierbarkeit im Vergleich zur menschlichen Bewertung beliebt geworden. Hohe Gewinnraten bei diesen Benchmarks können die Werbewirkung neu veröffentlichter Sprachmodelle erheblich steigern. Dieser Werbeeffekt kann Tricks motivieren, wie die Manipulation der Ausgabelänge oder des Stils, um Gewinnraten zu beeinflussen, obwohl mehrere Mechanismen entwickelt wurden, um die Länge zu kontrollieren und den Stil zu entwirren, um die Manipulierbarkeit zu reduzieren. Dennoch zeigen wir, dass selbst ein "Nullmodell", das immer eine konstante Antwort ausgibt (unabhängig von den Eingabeanweisungen), automatische Benchmarks betrügen und Spitzen-Gewinnraten erzielen kann: eine Gewinnrate von 86,5 % bei AlpacaEval 2.0; eine Punktzahl von 83,0 bei Arena-Hard-Auto; und eine Punktzahl von 9,55 bei MT-Bench. Darüber hinaus sind die manipulierten betrügerischen Ausgaben übertragbar, da wir davon ausgehen, dass die Anweisungen dieser Benchmarks (z. B. 805 Beispiele von AlpacaEval 2.0) privat und nicht zugänglich sind. Obwohl unsere Experimente hauptsächlich als Machbarkeitsnachweis dienen, könnte ein Angreifer LLMs verwenden, um noch unauffälligere betrügerische Antworten zu generieren und sich unethisch von hohen Gewinnraten und Werbewirkung zu profitieren. Unsere Ergebnisse fordern die Entwicklung von Mechanismen gegen Betrug für zuverlässige automatische Benchmarks. Der Code ist verfügbar unter https://github.com/sail-sg/Cheating-LLM-Benchmarks.

English

Automatic LLM benchmarks, such as AlpacaEval 2.0, Arena-Hard-Auto, and MT-Bench, have become popular for evaluating language models due to their cost-effectiveness and scalability compared to human evaluation. Achieving high win rates on these benchmarks can significantly boost the promotional impact of newly released language models. This promotional benefit may motivate tricks, such as manipulating model output length or style to game win rates, even though several mechanisms have been developed to control length and disentangle style to reduce gameability. Nonetheless, we show that even a "null model" that always outputs a constant response (irrelevant to input instructions) can cheat automatic benchmarks and achieve top-ranked win rates: an 86.5% LC win rate on AlpacaEval 2.0; an 83.0 score on Arena-Hard-Auto; and a 9.55 score on MT-Bench. Moreover, the crafted cheating outputs are transferable because we assume that the instructions of these benchmarks (e.g., 805 samples of AlpacaEval 2.0) are private and cannot be accessed. While our experiments are primarily proof-of-concept, an adversary could use LLMs to generate more imperceptible cheating responses, unethically benefiting from high win rates and promotional impact. Our findings call for the development of anti-cheating mechanisms for reliable automatic benchmarks. The code is available at https://github.com/sail-sg/Cheating-LLM-Benchmarks.