Attention Tropicale : Raisonnement Algorithmique Neuronal pour les Algorithmes Combinatoires

Tropical Attention: Neural Algorithmic Reasoning for Combinatorial Algorithms

May 22, 2025

Auteurs: Baran Hashemi, Kurt Pasque, Chris Teska, Ruriko Yoshida

cs.AI

Résumé

Les algorithmes de programmation dynamique (DP) pour les problèmes d'optimisation combinatoire fonctionnent en utilisant des opérations de maximisation, minimisation et addition classique dans leurs algorithmes récursifs. Les fonctions de valeur associées correspondent à des polyèdres convexes dans le semi-anneau max-plus. Cependant, les modèles existants de raisonnement algorithmique neuronal reposent sur une attention par produit scalaire normalisée par softmax, où le lissage exponentiel atténue ces structures polyédriques nettes et s'effondre dans des contextes hors distribution (OOD). Nous introduisons l'attention tropicale, une nouvelle fonction d'attention qui opère nativement dans le semi-anneau max-plus de la géométrie tropicale. Nous démontrons que l'attention tropicale peut approximer des circuits tropicaux d'algorithmes combinatoires de type DP. Nous proposons ensuite que l'utilisation de transformeurs tropicaux améliore les performances empiriques OOD, tant en généralisation de longueur qu'en généralisation de valeur, sur des tâches de raisonnement algorithmique, surpassant les bases de référence softmax tout en restant stables face aux attaques adverses. Nous introduisons également la généralisation aux attaques adverses comme un troisième axe pour l'évaluation du raisonnement algorithmique neuronal. Nos résultats montrent que l'attention tropicale restaure le raisonnement net et invariant à l'échelle absent dans softmax.

English

Dynamic programming (DP) algorithms for combinatorial optimization problems work with taking maximization, minimization, and classical addition in their recursion algorithms. The associated value functions correspond to convex polyhedra in the max plus semiring. Existing Neural Algorithmic Reasoning models, however, rely on softmax-normalized dot-product attention where the smooth exponential weighting blurs these sharp polyhedral structures and collapses when evaluated on out-of-distribution (OOD) settings. We introduce Tropical attention, a novel attention function that operates natively in the max-plus semiring of tropical geometry. We prove that Tropical attention can approximate tropical circuits of DP-type combinatorial algorithms. We then propose that using Tropical transformers enhances empirical OOD performance in both length generalization and value generalization, on algorithmic reasoning tasks, surpassing softmax baselines while remaining stable under adversarial attacks. We also present adversarial-attack generalization as a third axis for Neural Algorithmic Reasoning benchmarking. Our results demonstrate that Tropical attention restores the sharp, scale-invariant reasoning absent from softmax.