推論よりも暗唱：最先端の言語モデルが小学校レベルの推論問題で失敗する理由

Recitation over Reasoning: How Cutting-Edge Language Models Can Fail on Elementary School-Level Reasoning Problems?

April 1, 2025

著者: Kai Yan, Yufei Xu, Zhengyin Du, Xuesong Yao, Zheyu Wang, Xiaowen Guo, Jiecao Chen

cs.AI

要旨

近年、LLMベンチマークの難易度が小学校レベルから最先端の問題へと急速に高まる中で、研究者たちは人間の知能を凌駕する寸前まで来ているという奇跡を目の当たりにしています。しかし、LLMの驚異的な推論能力は、人間の基準で見た真の知能に由来するものなのでしょうか、それとも単にインターネット規模のトレーニング中に見た解決策を暗唱しているだけなのでしょうか？この問題を研究するため、我々はRoR-Benchという新しいマルチモーダルベンチマークを提案します。これは、単純な推論問題に対して条件を微妙に変化させた際のLLMの暗唱行動を検出するためのものであり、このベンチマークを用いて実証分析を行いました。驚くべきことに、既存の最先端LLMは一様に極めて深刻な暗唱行動を示すことが判明しました。条件中の一つのフレーズを変更するだけで、OpenAI-o1やDeepSeek-R1といったトップモデルでも、小学校レベルの算数や推論問題において60%もの性能低下を被ることが明らかになりました。このような発見は、LLMコミュニティにとって警鐘となり、最先端LLMの真の知能レベルを再評価する必要性を強く示唆しています。

English

The rapid escalation from elementary school-level to frontier problems of the difficulty for LLM benchmarks in recent years have weaved a miracle for researchers that we are only inches away from surpassing human intelligence. However, is the LLMs' remarkable reasoning ability indeed comes from true intelligence by human standards, or are they simply reciting solutions witnessed during training at an Internet level? To study this problem, we propose RoR-Bench, a novel, multi-modal benchmark for detecting LLM's recitation behavior when asked simple reasoning problems but with conditions subtly shifted, and conduct empirical analysis on our benchmark. Surprisingly, we found existing cutting-edge LLMs unanimously exhibits extremely severe recitation behavior; by changing one phrase in the condition, top models such as OpenAI-o1 and DeepSeek-R1 can suffer 60% performance loss on elementary school-level arithmetic and reasoning problems. Such findings are a wake-up call to the LLM community that compels us to re-evaluate the true intelligence level of cutting-edge LLMs.