Las Propiedades de Escalado del Razonamiento Deductivo Implícito en los Transformadores

The Scaling Properties of Implicit Deductive Reasoning in Transformers

May 5, 2026

Autores: Enrico Vompa, Tanel Tammet

cs.AI

Resumen

Investigamos las propiedades de escalado del razonamiento deductivo implícito sobre cláusulas de Horn en Transformers con profundidad acotada. Al decorrelacionar sistemáticamente la demostrabilidad de características espurias y aplicar una alineación algorítmica, encontramos que en modelos suficientemente profundos con una máscara de prefijo bidireccional, el razonamiento implícito se aproxima al rendimiento del razonamiento explícito (CoT) en diversas topologías de grafos y anchos de problema, aunque el CoT sigue siendo necesario para la extrapolación en profundidad.

English

We investigate the scaling properties of implicit deductive reasoning over Horn clauses in depth-bounded Transformers. By systematically decorrelating provability from spurious features and enforcing algorithmic alignment, we find that in sufficiently deep models with a bidirectional prefix mask, implicit reasoning approaches explicit CoT performance across graph topologies and problem widths, though CoT remains necessary for depth extrapolation.