言語モデルは算術における記号的学習者です。

Language Models are Symbolic Learners in Arithmetic

October 21, 2024

著者: Chunyuan Deng, Zhiqi Li, Roy Xie, Ruidi Chang, Hanjie Chen

cs.AI

要旨

大規模言語モデル（LLMs）は、言語モデリングと数値計算の間の固有の違いにより、算術学習に苦労すると考えられていますが、具体的な証拠が不足していました。本研究は、この主張に対応するために、両側からの実験を通じて行われました。まず、LLMsが算術学習中に部分積を活用しているかどうかを調査しました。LLMsは学習後に一部の部分積を特定できることがわかりましたが、逆にそれらを算術タスクに活用することができないことがわかりました。次に、LLMsが算術にどのように象徴的にアプローチするかを探求し、タスクをサブグループに分割することで、サブグループの複雑さと選択から困難が生じるという仮説を立てました。結果からは、サブグループの複雑さが一定の場合、LLMsは異なる算術演算の集合を同様に扱うことがわかりました。さらに、異なるトレーニングサイズにわたる位置レベルの精度を分析することで、U字型のパターンに従うことを確認しました。LLMsは最初と最後の位置で最も簡単なパターンを迅速に学習し、途中の位置でより難しいパターンを徐々に学習しています。これは、LLMsが学習中に易しいものから難しいものへとサブグループを選択していることを示唆しています。本研究は、LLMsが算術タスクにおいて純粋な象徴的学習者であり、サブグループレベルの数量化を通じて深く理解することの重要性を強調しています。

English

Large Language Models (LLMs) are thought to struggle with arithmetic learning due to the inherent differences between language modeling and numerical computation, but concrete evidence has been lacking. This work responds to this claim through a two-side experiment. We first investigate whether LLMs leverage partial products during arithmetic learning. We find that although LLMs can identify some partial products after learning, they fail to leverage them for arithmetic tasks, conversely. We then explore how LLMs approach arithmetic symbolically by breaking tasks into subgroups, hypothesizing that difficulties arise from subgroup complexity and selection. Our results show that when subgroup complexity is fixed, LLMs treat a collection of different arithmetic operations similarly. By analyzing position-level accuracy across different training sizes, we further observe that it follows a U-shaped pattern: LLMs quickly learn the easiest patterns at the first and last positions, while progressively learning the more difficult patterns in the middle positions. This suggests that LLMs select subgroup following an easy-to-hard paradigm during learning. Our work confirms that LLMs are pure symbolic learners in arithmetic tasks and underscores the importance of understanding them deeply through subgroup-level quantification.