トロピカル注意機構：組合せアルゴリズムのためのニューラルアルゴリズム推論

要旨

組合せ最適化問題に対する動的計画法（DP）アルゴリズムは、最大化、最小化、および古典的な加算を再帰アルゴリズム内で扱います。関連する価値関数は、max-plus半環における凸多面体に対応します。しかし、既存のニューラルアルゴリズム推論モデルは、ソフトマックス正規化されたドット積アテンションに依存しており、滑らかな指数重み付けがこれらの鋭い多面体構造をぼやかし、分布外（OOD）設定で評価すると崩壊してしまいます。本論文では、トロピカル幾何学のmax-plus半環でネイティブに動作する新しいアテンション関数であるTropical attentionを導入します。Tropical attentionがDP型組合せアルゴリズムのトロピカル回路を近似できることを証明します。さらに、Tropical transformerを使用することで、アルゴリズム推論タスクにおける長さ一般化と値一般化の両方で、ソフトマックスベースラインを上回りながら、敵対的攻撃下でも安定したOOD性能が向上することを提案します。また、ニューラルアルゴリズム推論のベンチマークにおける第三の軸として、敵対的攻撃一般化を提示します。我々の結果は、Tropical attentionがソフトマックスから失われた鋭くスケール不変な推論を回復することを示しています。

English

Dynamic programming (DP) algorithms for combinatorial optimization problems work with taking maximization, minimization, and classical addition in their recursion algorithms. The associated value functions correspond to convex polyhedra in the max plus semiring. Existing Neural Algorithmic Reasoning models, however, rely on softmax-normalized dot-product attention where the smooth exponential weighting blurs these sharp polyhedral structures and collapses when evaluated on out-of-distribution (OOD) settings. We introduce Tropical attention, a novel attention function that operates natively in the max-plus semiring of tropical geometry. We prove that Tropical attention can approximate tropical circuits of DP-type combinatorial algorithms. We then propose that using Tropical transformers enhances empirical OOD performance in both length generalization and value generalization, on algorithmic reasoning tasks, surpassing softmax baselines while remaining stable under adversarial attacks. We also present adversarial-attack generalization as a third axis for Neural Algorithmic Reasoning benchmarking. Our results demonstrate that Tropical attention restores the sharp, scale-invariant reasoning absent from softmax.

トロピカル注意機構：組合せアルゴリズムのためのニューラルアルゴリズム推論

Tropical Attention: Neural Algorithmic Reasoning for Combinatorial Algorithms

要旨

Support