Tropische Aufmerksamkeit: Neuronaler Algorithmischer Ansatz für Kombinatorische Algorithmen

Tropical Attention: Neural Algorithmic Reasoning for Combinatorial Algorithms

May 22, 2025

Autoren: Baran Hashemi, Kurt Pasque, Chris Teska, Ruriko Yoshida

cs.AI

Zusammenfassung

Dynamische Programmierung (DP)-Algorithmen für kombinatorische Optimierungsprobleme arbeiten mit Maximierung, Minimierung und klassischer Addition in ihren Rekursionsalgorithmen. Die zugehörigen Wertfunktionen entsprechen konvexen Polyedern im Max-Plus-Halbring. Bestehende Modelle des Neural Algorithmic Reasoning verlassen sich jedoch auf Softmax-normalisierte Dot-Produkt-Attention, bei der die glatte exponentielle Gewichtung diese scharfen polyedrischen Strukturen verwischt und bei der Auswertung in Out-of-Distribution (OOD)-Szenarien zusammenbricht. Wir führen Tropical Attention ein, eine neuartige Attention-Funktion, die nativ im Max-Plus-Halbring der tropischen Geometrie operiert. Wir beweisen, dass Tropical Attention tropische Schaltkreise von DP-artigen kombinatorischen Algorithmen approximieren kann. Wir schlagen dann vor, dass die Verwendung von Tropical Transformern die empirische OOD-Leistung sowohl bei der Längengeneralisierung als auch bei der Wertgeneralisierung in algorithmischen Reasoning-Aufgaben verbessert und dabei Softmax-Baselines übertrifft, während sie unter Adversarial-Angriffen stabil bleibt. Wir führen auch Adversarial-Angriffs-Generalisierung als dritte Achse für das Benchmarking von Neural Algorithmic Reasoning ein. Unsere Ergebnisse zeigen, dass Tropical Attention das scharfe, skalierungsinvariante Reasoning wiederherstellt, das bei Softmax fehlt.

English

Dynamic programming (DP) algorithms for combinatorial optimization problems work with taking maximization, minimization, and classical addition in their recursion algorithms. The associated value functions correspond to convex polyhedra in the max plus semiring. Existing Neural Algorithmic Reasoning models, however, rely on softmax-normalized dot-product attention where the smooth exponential weighting blurs these sharp polyhedral structures and collapses when evaluated on out-of-distribution (OOD) settings. We introduce Tropical attention, a novel attention function that operates natively in the max-plus semiring of tropical geometry. We prove that Tropical attention can approximate tropical circuits of DP-type combinatorial algorithms. We then propose that using Tropical transformers enhances empirical OOD performance in both length generalization and value generalization, on algorithmic reasoning tasks, surpassing softmax baselines while remaining stable under adversarial attacks. We also present adversarial-attack generalization as a third axis for Neural Algorithmic Reasoning benchmarking. Our results demonstrate that Tropical attention restores the sharp, scale-invariant reasoning absent from softmax.