De schaaleigenschappen van impliciet deductief redeneren in transformers
The Scaling Properties of Implicit Deductive Reasoning in Transformers
May 5, 2026
Auteurs: Enrico Vompa, Tanel Tammet
cs.AI
Samenvatting
Wij onderzoeken de schaaleigenschappen van impliciet deductief redeneren over Horn-clausules in dieptegebonden Transformers. Door bewijsbaarheid systematisch te ontkoppelen van schijnkenmerken en algoritmische uitlijning af te dwingen, constateren wij dat in voldoende diepe modellen met een bidirectioneel prefixmasker impliciet redeneren de prestaties van expliciete CoT benadert across verschillende graaftopologieën en probleembreedtes, hoewel CoT noodzakelijk blijft voor diepte-extrapolatie.
English
We investigate the scaling properties of implicit deductive reasoning over Horn clauses in depth-bounded Transformers. By systematically decorrelating provability from spurious features and enforcing algorithmic alignment, we find that in sufficiently deep models with a bidirectional prefix mask, implicit reasoning approaches explicit CoT performance across graph topologies and problem widths, though CoT remains necessary for depth extrapolation.