Les propriétés d'échelle du raisonnement déductif implicite dans les transformeurs

The Scaling Properties of Implicit Deductive Reasoning in Transformers

May 5, 2026

Auteurs: Enrico Vompa, Tanel Tammet

cs.AI

Résumé

Nous étudions les propriétés d'échelle du raisonnement déductif implicite sur les clauses de Horn dans les Transformers à profondeur bornée. En décorrélation systématique de la prouvabilité des caractéristiques fallacieuses et en imposant un alignement algorithmique, nous constatons que dans les modèles suffisamment profonds avec un masque préfixe bidirectionnel, le raisonnement implicite approche les performances du CoT explicite sur diverses topologies de graphes et largeurs de problèmes, bien que le CoT reste nécessaire pour l'extrapolation en profondeur.

English

We investigate the scaling properties of implicit deductive reasoning over Horn clauses in depth-bounded Transformers. By systematically decorrelating provability from spurious features and enforcing algorithmic alignment, we find that in sufficiently deep models with a bidirectional prefix mask, implicit reasoning approaches explicit CoT performance across graph topologies and problem widths, though CoT remains necessary for depth extrapolation.