Тропическое внимание: нейронное алгоритмическое рассуждение для комбинаторных алгоритмов

Tropical Attention: Neural Algorithmic Reasoning for Combinatorial Algorithms

May 22, 2025

Авторы: Baran Hashemi, Kurt Pasque, Chris Teska, Ruriko Yoshida

cs.AI

Аннотация

Алгоритмы динамического программирования (ДП) для задач комбинаторной оптимизации работают с операциями максимизации, минимизации и классического сложения в своих рекурсивных алгоритмах. Соответствующие функции значений соответствуют выпуклым многогранникам в полукольце max-plus. Однако существующие модели нейронного алгоритмического рассуждения опираются на внимание, основанное на скалярном произведении с нормализацией через softmax, где гладкое экспоненциальное взвешивание размывает эти четкие многогранные структуры и приводит к их коллапсу при оценке на данных, выходящих за пределы распределения (OOD). Мы представляем тропическое внимание — новую функцию внимания, которая работает непосредственно в полукольце max-plus тропической геометрии. Мы доказываем, что тропическое внимание может аппроксимировать тропические схемы алгоритмов ДП-типа для комбинаторных задач. Затем мы предлагаем, что использование тропических трансформеров улучшает эмпирическую производительность на OOD данных как в обобщении по длине, так и в обобщении по значениям, превосходя базовые подходы с softmax, оставаясь устойчивыми к атакам со стороны противника. Мы также вводим обобщение на атаки со стороны противника как третью ось для бенчмаркинга нейронного алгоритмического рассуждения. Наши результаты демонстрируют, что тропическое внимание восстанавливает четкое, масштабно-инвариантное рассуждение, отсутствующее в softmax.

English

Dynamic programming (DP) algorithms for combinatorial optimization problems work with taking maximization, minimization, and classical addition in their recursion algorithms. The associated value functions correspond to convex polyhedra in the max plus semiring. Existing Neural Algorithmic Reasoning models, however, rely on softmax-normalized dot-product attention where the smooth exponential weighting blurs these sharp polyhedral structures and collapses when evaluated on out-of-distribution (OOD) settings. We introduce Tropical attention, a novel attention function that operates natively in the max-plus semiring of tropical geometry. We prove that Tropical attention can approximate tropical circuits of DP-type combinatorial algorithms. We then propose that using Tropical transformers enhances empirical OOD performance in both length generalization and value generalization, on algorithmic reasoning tasks, surpassing softmax baselines while remaining stable under adversarial attacks. We also present adversarial-attack generalization as a third axis for Neural Algorithmic Reasoning benchmarking. Our results demonstrate that Tropical attention restores the sharp, scale-invariant reasoning absent from softmax.