博士レベルの大規模言語モデルは本当に初歩的な加算を理解しているのか？ 大規模言語モデルにおけるルール学習と記憶化の探求

Do PhD-level LLMs Truly Grasp Elementary Addition? Probing Rule Learning vs. Memorization in Large Language Models

April 7, 2025

著者: Yang Yan, Yu Lu, Renjun Xu, Zhenzhong Lan

cs.AI

要旨

高いベンチマークスコアにもかかわらず、大規模言語モデル（LLMs）はしばしば単純な問題に失敗し、重要な疑問を提起します：LLMsは数学的原理を学習しているのか、それとも単にパターンを記憶しているのか？最近の研究のようにますます複雑なベンチマークを設計するのではなく、我々は基本的な2整数の加算（0から2^{64}）を用いてこれを調査し、2つの核心的な特性を探ります：可換性（A+B=B+A）と合成的汎化（同型的シンボリックマッピングを通じて、例えば7→y）。最先端のLLMsは数値加算において73.8-99.8\%の精度を達成しますが、シンボリックマッピング下では精度がleq7.5\%にまで低下し、学習したルールを汎化できないことを示しています。桁数に伴う非単調な性能スケーリングや頻繁な可換性の違反（A+B neq B+Aの1,700件以上の事例）がこれをさらに支持します。加算ルールを明示的に提供すると、平均で81.2\%の性能低下が見られ、自己説明はベースラインの精度を維持し、LLMの算術処理が人間が定義した原理と一致していないことを示唆しています。我々の調査結果は、現在のLLMsが真のルール学習ではなく記憶パターンに依存していることを示し、真の数学的推論を達成するための新しいアプローチの必要性とアーキテクチャの限界を強調しています。

English

Despite high benchmark scores, Large Language Models (LLMs) often fail simple problem, raising a critical question: Do LLMs learn mathematical principles or merely memorize patterns? Rather than designing increasingly complex benchmarks like recent works, we investigate this using elementary two-integer addition (0 to 2^{64}), probing two core properties: commutativity (A+B=B+A) and compositional generalization (via isomorphic symbolic mappings, e.g., 7 rightarrow y). While state-of-the-art LLMs achieve 73.8-99.8\% accuracy on numerical addition, performance collapses to leq7.5\% under symbolic mapping, indicating failure to generalize learned rules. Non-monotonic performance scaling with digit count and frequent commutativity violations (over 1,700 cases of A+B neq B+A) further support this. Explicitly providing addition rules degrades performance by 81.2\% on average, while self-explanation maintains baseline accuracy, suggesting LLM arithmetic processing is misaligned with human-defined principles. Our findings indicate current LLMs rely on memory pattern over genuine rule learning, highlighting architectural limitations and the need for new approaches to achieve true mathematical reasoning.