Zijn uw LLM's in staat tot stabiel redeneren?

Are Your LLMs Capable of Stable Reasoning?

December 17, 2024

Auteurs: Junnan Liu, Hongwei Liu, Linchen Xiao, Ziyi Wang, Kuikun Liu, Songyang Gao, Wenwei Zhang, Songyang Zhang, Kai Chen

cs.AI

Samenvatting

De snelle vooruitgang van Grote Taalmodellen (GTM's) heeft opmerkelijke vooruitgang aangetoond in complexe redeneertaken. Er blijft echter een aanzienlijke discrepantie bestaan tussen benchmarkprestaties en praktische toepassingen. We identificeren dit verschil voornamelijk als voortkomend uit de huidige evaluatieprotocollen en -metrieken, die niet volledig het volledige spectrum van GTM-capaciteiten vastleggen, met name in complexe redeneertaken waar zowel nauwkeurigheid als consistentie cruciaal zijn. Dit werk levert twee belangrijke bijdragen. Ten eerste introduceren we G-Pass@k, een nieuw evaluatiemetricum dat een continue beoordeling van modelprestaties biedt over meerdere bemonsteringspogingen, waarbij zowel het piekprestatiepotentieel van het model als zijn stabiliteit worden gekwantificeerd. Ten tweede presenteren we LiveMathBench, een dynamische benchmark bestaande uit uitdagende, hedendaagse wiskundige problemen die zijn ontworpen om datarisico's tijdens evaluatie te minimaliseren. Door uitgebreide experimenten uit te voeren met G-Pass@k op toonaangevende GTM's met LiveMathBench, bieden we uitgebreide inzichten in zowel hun maximale capaciteiten als operationele consistentie. Onze bevindingen onthullen aanzienlijke ruimte voor verbetering in de "realistische" redeneercapaciteiten van GTM's, waarbij de noodzaak van robuustere evaluatiemethoden wordt benadrukt. De benchmark en gedetailleerde resultaten zijn beschikbaar op: https://github.com/open-compass/GPassK.

English

The rapid advancement of Large Language Models (LLMs) has demonstrated remarkable progress in complex reasoning tasks. However, a significant discrepancy persists between benchmark performances and real-world applications. We identify this gap as primarily stemming from current evaluation protocols and metrics, which inadequately capture the full spectrum of LLM capabilities, particularly in complex reasoning tasks where both accuracy and consistency are crucial. This work makes two key contributions. First, we introduce G-Pass@k, a novel evaluation metric that provides a continuous assessment of model performance across multiple sampling attempts, quantifying both the model's peak performance potential and its stability. Second, we present LiveMathBench, a dynamic benchmark comprising challenging, contemporary mathematical problems designed to minimize data leakage risks during evaluation. Through extensive experiments using G-Pass@k on state-of-the-art LLMs with LiveMathBench, we provide comprehensive insights into both their maximum capabilities and operational consistency. Our findings reveal substantial room for improvement in LLMs' "realistic" reasoning capabilities, highlighting the need for more robust evaluation methods. The benchmark and detailed results are available at: https://github.com/open-compass/GPassK.