Малоприростковый Нэш: Гарантированная сходимость к равновесиям Нэша в дифференцируемых играх

Small-Gain Nash: Certified Contraction to Nash Equilibria in Differentiable Games

December 7, 2025

Авторы: Vedansh Sharma

cs.AI

Аннотация

Классические гарантии сходимости для градиентного обучения в играх требуют, чтобы псевдоградиент был (сильно) монотонным в евклидовой геометрии, как показал Розен (1965), — условие, которое часто нарушается даже в простых играх с сильными межигровыми связями. Мы представляем Small-Gain Nash (SGN) — блочное условие малого усилия в специальной блочно-взвешенной геометрии. SGN преобразует локальную кривизну и ограничения на межигровые липшицевы связи в проверяемый сертификат сжатия. Оно конструирует взвешенную блочную метрику, в которой псевдоградиент становится сильно монотонным в любой области, где выполняются эти ограничения, даже если он не является монотонным в евклидовом смысле. Непрерывный поток является экспоненциально сжимающим в этой спроектированной геометрии, а проекционные дискретизации Эйлера и РК4 сходятся при явных ограничениях на шаг, выведенных из запаса SGN и локальной липшицевой константы. Наш анализ выявляет сертифицированную «полосу временных масштабов» — неасимптотический, метрический сертификат, который играет роль, аналогичную TTUR: вместо принудительной асимптотической разделенности временных масштабов с помощью бесконечно убывающих неравных шагов, SGN идентифицирует конечную полосу относительных весов метрики, для которой динамика с единым шагом является доказуемо сжимающей. Мы проверяем framework на квадратичных играх, где евклидовый монотонностный анализ не предсказывает сходимость, но SGN успешно ее сертифицирует, и расширяем конструкцию на геометрии mirror/Fisher для энтропий-регуляризованного градиента политик в марковских играх. Результатом является оффлайн-пайплайн сертификации, который оценивает параметры кривизны, связей и Липшица на компактных областях, оптимизирует блочные веса для увеличения запаса SGN и возвращает структурный, вычислимый сертификат сходимости, состоящий из метрики, скорости сжатия и безопасных шагов для немонотонных игр.

English

Classical convergence guarantees for gradient-based learning in games require the pseudo-gradient to be (strongly) monotone in Euclidean geometry as shown by rosen(1965), a condition that often fails even in simple games with strong cross-player couplings. We introduce Small-Gain Nash (SGN), a block small-gain condition in a custom block-weighted geometry. SGN converts local curvature and cross-player Lipschitz coupling bounds into a tractable certificate of contraction. It constructs a weighted block metric in which the pseudo-gradient becomes strongly monotone on any region where these bounds hold, even when it is non-monotone in the Euclidean sense. The continuous flow is exponentially contracting in this designed geometry, and projected Euler and RK4 discretizations converge under explicit step-size bounds derived from the SGN margin and a local Lipschitz constant. Our analysis reveals a certified ``timescale band'', a non-asymptotic, metric-based certificate that plays a TTUR-like role: rather than forcing asymptotic timescale separation via vanishing, unequal step sizes, SGN identifies a finite band of relative metric weights for which a single-step-size dynamics is provably contractive. We validate the framework on quadratic games where Euclidean monotonicity analysis fails to predict convergence, but SGN successfully certifies it, and extend the construction to mirror/Fisher geometries for entropy-regularized policy gradient in Markov games. The result is an offline certification pipeline that estimates curvature, coupling, and Lipschitz parameters on compact regions, optimizes block weights to enlarge the SGN margin, and returns a structural, computable convergence certificate consisting of a metric, contraction rate, and safe step-sizes for non-monotone games.