За пределами решения математических тестов: оценка способности крупных моделей рассуждений запрашивать информацию
Beyond Solving Math Quiz: Evaluating the Ability of Large Reasoning Models to Ask for Information
August 15, 2025
Авторы: Youcheng Huang, Bowen Qin, Chen Huang, Duanyu Feng, Xi Yang, Wenqiang Lei
cs.AI
Аннотация
Крупные модели рассуждений (Large Reasoning Models, LRMs) продемонстрировали впечатляющие способности в решении математических задач, что подтверждается существующими тестами, ориентированными исключительно на хорошо определённые проблемы. Однако такая система оценки содержит существенный пробел, поскольку подлинно интеллектуальный агент должен не только решать задачи (как решатель математических тестов), но и уметь запрашивать информацию, когда проблемы содержат недостаточные данные, что позволяет проявлять инициативу в ответах на запросы пользователей. Чтобы устранить этот пробел, мы предлагаем новый набор данных, состоящий из двух типов неполных задач с разнообразным контекстом. На основе этого набора данных наше систематическое тестирование LRM выявило их неспособность активно запрашивать информацию. Кроме того, мы обнаружили поведение, связанное с чрезмерным анализом и галлюцинациями у LRM, а также подчеркнули потенциал и сложности обучения такой способности с помощью контролируемой тонкой настройки. Мы надеемся предложить новые идеи для разработки LRM с подлинным интеллектом, а не просто для решения задач.
English
Large Reasoning Models (LRMs) have demonstrated remarkable problem-solving
abilities in mathematics, as evaluated by existing benchmarks exclusively on
well-defined problems. However, such evaluation setup constitutes a critical
gap, since a genuine intelligent agent should not only solve problems (as a
math quiz solver), but also be able~to ask for information when the problems
lack sufficient information, enabling proactivity in responding users'
requests. To bridge such gap, we proposes a new dataset consisting of two types
of incomplete problems with diverse contexts. Based on the dataset, our
systematical evaluation of LRMs reveals their inability in proactively asking
for information. In addition, we uncover the behaviors related to overthinking
and hallucination of LRMs, and highlight the potential and challenges of
supervised fine-tuning in learning such ability. We hope to provide new
insights in developing LRMs with genuine intelligence, rather than just solving
problems.