¿Cuándo Aprenden los Transformadores Heurísticas para la Conectividad de Grafos?

When Do Transformers Learn Heuristics for Graph Connectivity?

October 22, 2025

Autores: Qilin Ye, Deqing Fu, Robin Jia, Vatsal Sharan

cs.AI

Resumen

Los transformadores a menudo no logran aprender algoritmos generalizables, sino que dependen de heurísticas frágiles. Utilizando la conectividad de grafos como banco de pruebas, explicamos este fenómeno tanto teórica como empíricamente. Consideramos una arquitectura simplificada de transformador, el transformador desentrelazado, y demostramos que un modelo de L capas tiene la capacidad de resolver grafos con diámetros de hasta exactamente 3^L, implementando un algoritmo equivalente al cálculo de potencias de la matriz de adyacencia. Analizamos la dinámica del entrenamiento y mostramos que la estrategia aprendida depende de si la mayoría de las instancias de entrenamiento están dentro de esta capacidad del modelo. Los grafos dentro de la capacidad (diámetro ≤ 3^L) impulsan el aprendizaje de una solución algorítmica correcta, mientras que los grafos más allá de la capacidad impulsan el aprendizaje de una heurística simple basada en los grados de los nodos. Finalmente, demostramos empíricamente que restringir los datos de entrenamiento dentro de la capacidad del modelo conduce a que tanto los transformadores estándar como los desentrelazados aprendan el algoritmo exacto en lugar de la heurística basada en grados.

English

Transformers often fail to learn generalizable algorithms, instead relying on brittle heuristics. Using graph connectivity as a testbed, we explain this phenomenon both theoretically and empirically. We consider a simplified Transformer architecture, the disentangled Transformer, and prove that an L-layer model has capacity to solve for graphs with diameters up to exactly 3^L, implementing an algorithm equivalent to computing powers of the adjacency matrix. We analyze the training-dynamics, and show that the learned strategy hinges on whether most training instances are within this model capacity. Within-capacity graphs (diameter leq 3^L) drive the learning of a correct algorithmic solution while beyond-capacity graphs drive the learning of a simple heuristic based on node degrees. Finally, we empirically demonstrate that restricting training data within a model's capacity leads to both standard and disentangled transformers learning the exact algorithm rather than the degree-based heuristic.