Atenção Tropical: Raciocínio Algorítmico Neural para Algoritmos Combinatórios

Tropical Attention: Neural Algorithmic Reasoning for Combinatorial Algorithms

May 22, 2025

Autores: Baran Hashemi, Kurt Pasque, Chris Teska, Ruriko Yoshida

cs.AI

Resumo

Algoritmos de programação dinâmica (DP) para problemas de otimização combinatória funcionam utilizando maximização, minimização e adição clássica em seus algoritmos recursivos. As funções de valor associadas correspondem a poliedros convexos no semianel max-plus. No entanto, os modelos existentes de Raciocínio Algorítmico Neural dependem de atenção baseada no produto escalar normalizado por softmax, onde a ponderação exponencial suavizada desfoca essas estruturas poliedrais nítidas e colapsa quando avaliada em cenários fora da distribuição (OOD). Introduzimos a atenção Tropical, uma nova função de atenção que opera nativamente no semianel max-plus da geometria tropical. Provamos que a atenção Tropical pode aproximar circuitos tropicais de algoritmos combinatórios do tipo DP. Em seguida, propomos que o uso de transformadores Tropicais melhora o desempenho empírico OOD tanto na generalização de comprimento quanto na generalização de valor, em tarefas de raciocínio algorítmico, superando as baselines de softmax enquanto permanece estável sob ataques adversários. Também apresentamos a generalização contra ataques adversários como um terceiro eixo para avaliação de Raciocínio Algorítmico Neural. Nossos resultados demonstram que a atenção Tropical restaura o raciocínio nítido e invariante em escala ausente no softmax.

English

Dynamic programming (DP) algorithms for combinatorial optimization problems work with taking maximization, minimization, and classical addition in their recursion algorithms. The associated value functions correspond to convex polyhedra in the max plus semiring. Existing Neural Algorithmic Reasoning models, however, rely on softmax-normalized dot-product attention where the smooth exponential weighting blurs these sharp polyhedral structures and collapses when evaluated on out-of-distribution (OOD) settings. We introduce Tropical attention, a novel attention function that operates natively in the max-plus semiring of tropical geometry. We prove that Tropical attention can approximate tropical circuits of DP-type combinatorial algorithms. We then propose that using Tropical transformers enhances empirical OOD performance in both length generalization and value generalization, on algorithmic reasoning tasks, surpassing softmax baselines while remaining stable under adversarial attacks. We also present adversarial-attack generalization as a third axis for Neural Algorithmic Reasoning benchmarking. Our results demonstrate that Tropical attention restores the sharp, scale-invariant reasoning absent from softmax.