Attenzione Tropicale: Ragionamento Algoritmico Neurale per Algoritmi Combinatori

Tropical Attention: Neural Algorithmic Reasoning for Combinatorial Algorithms

May 22, 2025

Autori: Baran Hashemi, Kurt Pasque, Chris Teska, Ruriko Yoshida

cs.AI

Abstract

Gli algoritmi di programmazione dinamica (DP) per problemi di ottimizzazione combinatoria operano utilizzando massimizzazione, minimizzazione e addizione classica nei loro algoritmi ricorsivi. Le funzioni di valore associate corrispondono a poliedri convessi nel semianello max-plus. I modelli esistenti di Neural Algorithmic Reasoning, tuttavia, si basano su un'attenzione softmax-normalizzata a prodotto scalare, dove la ponderazione esponenziale smussata offusca queste strutture poliedriche nitide e collassa quando valutata in contesti out-of-distribution (OOD). Introduciamo l'attenzione Tropicale, una nuova funzione di attenzione che opera nativamente nel semianello max-plus della geometria tropicale. Dimostriamo che l'attenzione Tropicale può approssimare circuiti tropicali di algoritmi combinatori di tipo DP. Proponiamo quindi che l'uso di trasformatori Tropicali migliori le prestazioni empiriche OOD sia nella generalizzazione della lunghezza che nella generalizzazione del valore, in compiti di ragionamento algoritmico, superando i baselines softmax mentre rimane stabile sotto attacchi avversari. Presentiamo inoltre la generalizzazione agli attacchi avversari come un terzo asse per il benchmarking del Neural Algorithmic Reasoning. I nostri risultati dimostrano che l'attenzione Tropicale ripristina il ragionamento nitido e invariante alla scala assente nel softmax.

English

Dynamic programming (DP) algorithms for combinatorial optimization problems work with taking maximization, minimization, and classical addition in their recursion algorithms. The associated value functions correspond to convex polyhedra in the max plus semiring. Existing Neural Algorithmic Reasoning models, however, rely on softmax-normalized dot-product attention where the smooth exponential weighting blurs these sharp polyhedral structures and collapses when evaluated on out-of-distribution (OOD) settings. We introduce Tropical attention, a novel attention function that operates natively in the max-plus semiring of tropical geometry. We prove that Tropical attention can approximate tropical circuits of DP-type combinatorial algorithms. We then propose that using Tropical transformers enhances empirical OOD performance in both length generalization and value generalization, on algorithmic reasoning tasks, surpassing softmax baselines while remaining stable under adversarial attacks. We also present adversarial-attack generalization as a third axis for Neural Algorithmic Reasoning benchmarking. Our results demonstrate that Tropical attention restores the sharp, scale-invariant reasoning absent from softmax.