열대적 주의: 조합 알고리즘을 위한 신경 알고리즘 추론

초록

조합 최적화 문제를 위한 동적 프로그래밍(DP) 알고리즘은 재귀 알고리즘에서 최대화, 최소화 및 고전적인 덧셈을 사용하여 작동합니다. 관련된 값 함수는 맥스 플러스 반환(max-plus semiring)에서 볼록 다면체에 해당합니다. 그러나 기존의 신경 알고리즘 추론(Neural Algorithmic Reasoning) 모델은 소프트맥스 정규화된 내적 어텐션에 의존하는데, 이는 부드러운 지수 가중치가 이러한 날카로운 다면체 구조를 흐리게 하고, 분포 외(OOD) 설정에서 평가할 때 붕괴됩니다. 우리는 열대 기하학(tropical geometry)의 맥스 플러스 반환에서 기본적으로 작동하는 새로운 어텐션 함수인 열대 어텐션(Tropical attention)을 소개합니다. 우리는 열대 어텐션이 DP 유형의 조합 알고리즘의 열대 회로를 근사할 수 있음을 증명합니다. 그런 다음, 열대 트랜스포머(Tropical transformers)를 사용하면 알고리즘 추론 작업에서 길이 일반화와 값 일반화 모두에서 소프트맥스 기준선을 능가하면서 적대적 공격 하에서도 안정적으로 향상된 OOD 성능을 달성할 수 있음을 제안합니다. 또한, 우리는 신경 알고리즘 추론 벤치마킹을 위한 세 번째 축으로 적대적 공Attack 일반화를 제시합니다. 우리의 결과는 열대 어텐션이 소프트맥스에서 누락된 날카롭고 스케일 불변의 추론을 복원한다는 것을 보여줍니다.

English

Dynamic programming (DP) algorithms for combinatorial optimization problems work with taking maximization, minimization, and classical addition in their recursion algorithms. The associated value functions correspond to convex polyhedra in the max plus semiring. Existing Neural Algorithmic Reasoning models, however, rely on softmax-normalized dot-product attention where the smooth exponential weighting blurs these sharp polyhedral structures and collapses when evaluated on out-of-distribution (OOD) settings. We introduce Tropical attention, a novel attention function that operates natively in the max-plus semiring of tropical geometry. We prove that Tropical attention can approximate tropical circuits of DP-type combinatorial algorithms. We then propose that using Tropical transformers enhances empirical OOD performance in both length generalization and value generalization, on algorithmic reasoning tasks, surpassing softmax baselines while remaining stable under adversarial attacks. We also present adversarial-attack generalization as a third axis for Neural Algorithmic Reasoning benchmarking. Our results demonstrate that Tropical attention restores the sharp, scale-invariant reasoning absent from softmax.

열대적 주의: 조합 알고리즘을 위한 신경 알고리즘 추론

Tropical Attention: Neural Algorithmic Reasoning for Combinatorial Algorithms

초록

Support