Valsspelen bij Automatische LLM-benchmarks: Null-modellen behalen hoge winstpercentages

Cheating Automatic LLM Benchmarks: Null Models Achieve High Win Rates

October 9, 2024

Auteurs: Xiaosen Zheng, Tianyu Pang, Chao Du, Qian Liu, Jing Jiang, Min Lin

cs.AI

Samenvatting

Automatische LLM-benchmarks, zoals AlpacaEval 2.0, Arena-Hard-Auto en MT-Bench, zijn populair geworden voor het evalueren van taalmodellen vanwege hun kosteneffectiviteit en schaalbaarheid in vergelijking met menselijke evaluatie. Het behalen van hoge winstpercentages op deze benchmarks kan aanzienlijk bijdragen aan de promotionele impact van nieuw uitgebrachte taalmodellen. Deze promotionele voordelen kunnen trucs aanmoedigen, zoals het manipuleren van de lengte of stijl van modeluitvoer om winstpercentages te beïnvloeden, ook al zijn er verschillende mechanismen ontwikkeld om de lengte te controleren en de stijl te ontrafelen om manipulatie te verminderen. Desalniettemin tonen we aan dat zelfs een "null model" dat altijd een constante reactie genereert (onafhankelijk van de invoerinstructies) automatische benchmarks kan bedriegen en topwinstpercentages kan behalen: een winstpercentage van 86,5% op AlpacaEval 2.0; een score van 83,0 op Arena-Hard-Auto; en een score van 9,55 op MT-Bench. Bovendien zijn de gemanipuleerde bedrieglijke uitvoer overdraagbaar omdat we ervan uitgaan dat de instructies van deze benchmarks (bijv. 805 monsters van AlpacaEval 2.0) privé zijn en niet toegankelijk zijn. Hoewel onze experimenten voornamelijk conceptueel van aard zijn, zou een tegenstander LLM's kunnen gebruiken om meer onopvallende bedrieglijke reacties te genereren, waarbij zij onethisch profiteren van hoge winstpercentages en promotionele impact. Onze bevindingen pleiten voor de ontwikkeling van anti-bedriegingsmechanismen voor betrouwbare automatische benchmarks. De code is beschikbaar op https://github.com/sail-sg/Cheating-LLM-Benchmarks.

English

Automatic LLM benchmarks, such as AlpacaEval 2.0, Arena-Hard-Auto, and MT-Bench, have become popular for evaluating language models due to their cost-effectiveness and scalability compared to human evaluation. Achieving high win rates on these benchmarks can significantly boost the promotional impact of newly released language models. This promotional benefit may motivate tricks, such as manipulating model output length or style to game win rates, even though several mechanisms have been developed to control length and disentangle style to reduce gameability. Nonetheless, we show that even a "null model" that always outputs a constant response (irrelevant to input instructions) can cheat automatic benchmarks and achieve top-ranked win rates: an 86.5% LC win rate on AlpacaEval 2.0; an 83.0 score on Arena-Hard-Auto; and a 9.55 score on MT-Bench. Moreover, the crafted cheating outputs are transferable because we assume that the instructions of these benchmarks (e.g., 805 samples of AlpacaEval 2.0) are private and cannot be accessed. While our experiments are primarily proof-of-concept, an adversary could use LLMs to generate more imperceptible cheating responses, unethically benefiting from high win rates and promotional impact. Our findings call for the development of anti-cheating mechanisms for reliable automatic benchmarks. The code is available at https://github.com/sail-sg/Cheating-LLM-Benchmarks.