トランスフォーマーにおける暗黙的演繹推論のスケーリング特性

The Scaling Properties of Implicit Deductive Reasoning in Transformers

May 5, 2026

著者: Enrico Vompa, Tanel Tammet

cs.AI

要旨

我々は、深さに制限のあるTransformerにおけるホーン節の暗黙的演繹推論のスケーリング特性を調査する。証明可能性と擬似的な特徴量の相関を体系的に除去し、アルゴリズム的アラインメントを強化することにより、双方向プレフィックスマスクを備えた十分に深いモデルでは、暗黙的推論がグラフトポロジーと問題幅にわたって明示的なCoT（連鎖思考）性能に接近することを見出した。ただし、深さ方向への外挿にはCoTが依然として必要である。

English

We investigate the scaling properties of implicit deductive reasoning over Horn clauses in depth-bounded Transformers. By systematically decorrelating provability from spurious features and enforcing algorithmic alignment, we find that in sufficiently deep models with a bidirectional prefix mask, implicit reasoning approaches explicit CoT performance across graph topologies and problem widths, though CoT remains necessary for depth extrapolation.