Wann lernen Transformer Heuristiken für Graphenzusammenhang?

When Do Transformers Learn Heuristics for Graph Connectivity?

October 22, 2025

papers.authors: Qilin Ye, Deqing Fu, Robin Jia, Vatsal Sharan

cs.AI

papers.abstract

Transformer scheitern oft daran, verallgemeinerbare Algorithmen zu erlernen, und verlassen sich stattdessen auf spröde Heuristiken. Anhand der Graphenkonnektivität als Testumgebung erklären wir dieses Phänomen sowohl theoretisch als auch empirisch. Wir betrachten eine vereinfachte Transformer-Architektur, den entflochtenen Transformer, und beweisen, dass ein Modell mit L Schichten die Kapazität besitzt, Graphen mit Durchmessern bis genau 3^L zu lösen, wobei es einen Algorithmus implementiert, der der Berechnung von Potenzen der Adjazenzmatrix entspricht. Wir analysieren die Trainingsdynamik und zeigen, dass die erlernte Strategie davon abhängt, ob die meisten Trainingsinstanzen innerhalb dieser Modellkapazität liegen. Innerhalb der Kapazität liegende Graphen (Durchmesser ≤ 3^L) fördern das Erlernen einer korrekten algorithmischen Lösung, während Graphen, die die Kapazität überschreiten, das Erlernen einer einfachen Heuristik basierend auf Knotengraden begünstigen. Schließlich demonstrieren wir empirisch, dass die Beschränkung der Trainingsdaten auf die Kapazität eines Modells dazu führt, dass sowohl Standard- als auch entflochtene Transformer den exakten Algorithmus anstelle der gradbasierten Heuristik erlernen.

English

Transformers often fail to learn generalizable algorithms, instead relying on brittle heuristics. Using graph connectivity as a testbed, we explain this phenomenon both theoretically and empirically. We consider a simplified Transformer architecture, the disentangled Transformer, and prove that an L-layer model has capacity to solve for graphs with diameters up to exactly 3^L, implementing an algorithm equivalent to computing powers of the adjacency matrix. We analyze the training-dynamics, and show that the learned strategy hinges on whether most training instances are within this model capacity. Within-capacity graphs (diameter leq 3^L) drive the learning of a correct algorithmic solution while beyond-capacity graphs drive the learning of a simple heuristic based on node degrees. Finally, we empirically demonstrate that restricting training data within a model's capacity leads to both standard and disentangled transformers learning the exact algorithm rather than the degree-based heuristic.