Способны ли ваши LLM на устойчивое рассуждение?

Are Your LLMs Capable of Stable Reasoning?

December 17, 2024

Авторы: Junnan Liu, Hongwei Liu, Linchen Xiao, Ziyi Wang, Kuikun Liu, Songyang Gao, Wenwei Zhang, Songyang Zhang, Kai Chen

cs.AI

Аннотация

Быстрое развитие крупных языковых моделей (LLM) продемонстрировало значительный прогресс в сложных задачах рассуждения. Однако существует значительное расхождение между результатами на стандартных тестах и реальными приложениями. Мы выявляем эту разницу в основном как следствие текущих протоколов оценки и метрик, которые недостаточно улавливают все возможности LLM, особенно в сложных задачах рассуждения, где важны как точность, так и последовательность. В данной работе вносятся два ключевых вклада. Во-первых, мы представляем G-Pass@k, новую метрику оценки, которая обеспечивает непрерывную оценку производительности модели при многократных попытках выборки, количественно оценивая как потенциал пиковой производительности модели, так и ее стабильность. Во-вторых, мы представляем LiveMathBench, динамический бенчмарк, включающий в себя сложные, современные математические задачи, разработанный для минимизации рисков утечки данных во время оценки. Проведя обширные эксперименты с использованием G-Pass@k на передовых LLM с LiveMathBench, мы предоставляем всесторонние исследования как их максимальных возможностей, так и операционной последовательности. Наши результаты показывают значительное пространство для улучшения "реалистичных" рассуждений LLM, подчеркивая необходимость более надежных методов оценки. Бенчмарк и подробные результаты доступны по ссылке: https://github.com/open-compass/GPassK.

English

The rapid advancement of Large Language Models (LLMs) has demonstrated remarkable progress in complex reasoning tasks. However, a significant discrepancy persists between benchmark performances and real-world applications. We identify this gap as primarily stemming from current evaluation protocols and metrics, which inadequately capture the full spectrum of LLM capabilities, particularly in complex reasoning tasks where both accuracy and consistency are crucial. This work makes two key contributions. First, we introduce G-Pass@k, a novel evaluation metric that provides a continuous assessment of model performance across multiple sampling attempts, quantifying both the model's peak performance potential and its stability. Second, we present LiveMathBench, a dynamic benchmark comprising challenging, contemporary mathematical problems designed to minimize data leakage risks during evaluation. Through extensive experiments using G-Pass@k on state-of-the-art LLMs with LiveMathBench, we provide comprehensive insights into both their maximum capabilities and operational consistency. Our findings reveal substantial room for improvement in LLMs' "realistic" reasoning capabilities, highlighting the need for more robust evaluation methods. The benchmark and detailed results are available at: https://github.com/open-compass/GPassK.