As Propriedades de Escala do Raciocínio Dedutivo Implícito em Transformers

Resumo

Investigamos as propriedades de escalabilidade do raciocínio dedutivo implícito sobre cláusulas de Horn em Transformers com profundidade limitada. Ao descorrelacionar sistematicamente a provabilidade de características espúrias e impor um alinhamento algorítmico, descobrimos que, em modelos suficientemente profundos com uma máscara de prefixo bidirecional, o raciocínio implícito aproxima-se do desempenho do CoT explícito em várias topologias de grafos e larguras de problemas, embora o CoT permaneça necessário para a extrapolação de profundidade.

English

We investigate the scaling properties of implicit deductive reasoning over Horn clauses in depth-bounded Transformers. By systematically decorrelating provability from spurious features and enforcing algorithmic alignment, we find that in sufficiently deep models with a bidirectional prefix mask, implicit reasoning approaches explicit CoT performance across graph topologies and problem widths, though CoT remains necessary for depth extrapolation.