Tropische Aandacht: Neuraal Algoritmisch Redeneren voor Combinatorische Algoritmen

Tropical Attention: Neural Algorithmic Reasoning for Combinatorial Algorithms

May 22, 2025

Auteurs: Baran Hashemi, Kurt Pasque, Chris Teska, Ruriko Yoshida

cs.AI

Samenvatting

Dynamisch programmeren (DP) algoritmen voor combinatorische optimalisatieproblemen werken met maximalisatie, minimalisatie en klassieke optelling in hun recursie-algoritmen. De bijbehorende waardefuncties corresponderen met convexe veelvlakken in de max-plus semiring. Bestaande Neural Algorithmic Reasoning modellen vertrouwen echter op softmax-genormaliseerde dot-product aandacht, waarbij de vloeiende exponentiële weging deze scherpe veelvlakstructuren vervaagt en ineenstort bij evaluatie in out-of-distribution (OOD) instellingen. We introduceren Tropische aandacht, een nieuwe aandachtfunctie die van nature opereert in de max-plus semiring van tropische meetkunde. We bewijzen dat Tropische aandacht tropische circuits van DP-type combinatorische algoritmen kan benaderen. We stellen vervolgens voor dat het gebruik van Tropische transformatoren de empirische OOD-prestaties verbetert, zowel in lengtegeneralizatie als waardegeneralizatie, bij algoritmische redeneertaken, waarbij softmax-baselines worden overtroffen terwijl ze stabiel blijven onder adversariële aanvallen. We presenteren ook adversariële-aanvalgeneralizatie als een derde as voor Neural Algorithmic Reasoning benchmarking. Onze resultaten tonen aan dat Tropische aandacht het scherpe, schaalinvariante redeneren herstelt dat afwezig is bij softmax.

English

Dynamic programming (DP) algorithms for combinatorial optimization problems work with taking maximization, minimization, and classical addition in their recursion algorithms. The associated value functions correspond to convex polyhedra in the max plus semiring. Existing Neural Algorithmic Reasoning models, however, rely on softmax-normalized dot-product attention where the smooth exponential weighting blurs these sharp polyhedral structures and collapses when evaluated on out-of-distribution (OOD) settings. We introduce Tropical attention, a novel attention function that operates natively in the max-plus semiring of tropical geometry. We prove that Tropical attention can approximate tropical circuits of DP-type combinatorial algorithms. We then propose that using Tropical transformers enhances empirical OOD performance in both length generalization and value generalization, on algorithmic reasoning tasks, surpassing softmax baselines while remaining stable under adversarial attacks. We also present adversarial-attack generalization as a third axis for Neural Algorithmic Reasoning benchmarking. Our results demonstrate that Tropical attention restores the sharp, scale-invariant reasoning absent from softmax.