Atención Tropical: Razonamiento Algorítmico Neuronal para Algoritmos Combinatorios

Tropical Attention: Neural Algorithmic Reasoning for Combinatorial Algorithms

May 22, 2025

Autores: Baran Hashemi, Kurt Pasque, Chris Teska, Ruriko Yoshida

cs.AI

Resumen

Los algoritmos de programación dinámica (DP) para problemas de optimización combinatoria funcionan mediante la maximización, minimización y la suma clásica en sus algoritmos de recursión. Las funciones de valor asociadas corresponden a poliedros convexos en el semianillo max-plus. Sin embargo, los modelos existentes de Razonamiento Algorítmico Neuronal se basan en la atención de producto punto normalizada con softmax, donde la ponderación exponencial suavizada difumina estas estructuras poliédricas nítidas y colapsa cuando se evalúa en configuraciones fuera de distribución (OOD). Introducimos la atención Tropical, una función de atención novedosa que opera de manera nativa en el semianillo max-plus de la geometría tropical. Demostramos que la atención Tropical puede aproximar circuitos tropicales de algoritmos combinatorios de tipo DP. Luego proponemos que el uso de transformadores Tropicales mejora el rendimiento empírico OOD tanto en la generalización de longitud como en la generalización de valor, en tareas de razonamiento algorítmico, superando los baselines de softmax mientras se mantiene estable bajo ataques adversarios. También presentamos la generalización frente a ataques adversarios como un tercer eje para la evaluación comparativa del Razonamiento Algorítmico Neuronal. Nuestros resultados demuestran que la atención Tropical restaura el razonamiento nítido e invariante a la escala que falta en softmax.

English

Dynamic programming (DP) algorithms for combinatorial optimization problems work with taking maximization, minimization, and classical addition in their recursion algorithms. The associated value functions correspond to convex polyhedra in the max plus semiring. Existing Neural Algorithmic Reasoning models, however, rely on softmax-normalized dot-product attention where the smooth exponential weighting blurs these sharp polyhedral structures and collapses when evaluated on out-of-distribution (OOD) settings. We introduce Tropical attention, a novel attention function that operates natively in the max-plus semiring of tropical geometry. We prove that Tropical attention can approximate tropical circuits of DP-type combinatorial algorithms. We then propose that using Tropical transformers enhances empirical OOD performance in both length generalization and value generalization, on algorithmic reasoning tasks, surpassing softmax baselines while remaining stable under adversarial attacks. We also present adversarial-attack generalization as a third axis for Neural Algorithmic Reasoning benchmarking. Our results demonstrate that Tropical attention restores the sharp, scale-invariant reasoning absent from softmax.