Nash de Pequeña Ganancia: Contracción Certificada hacia Equilibrios de Nash en Juegos Diferenciables

Small-Gain Nash: Certified Contraction to Nash Equilibria in Differentiable Games

December 7, 2025

Autores: Vedansh Sharma

cs.AI

Resumen

Las garantías clásicas de convergencia para el aprendizaje basado en gradientes en juegos requieren que el pseudo-gradiente sea (fuertemente) monótono en la geometría euclidiana, como demostró Rosen (1965), una condición que a menudo falla incluso en juegos simples con acoplamientos fuertes entre jugadores. Introducimos Small-Gain Nash (SGN), una condición de pequeña ganancia por bloques en una geometría personalizada con pesos por bloques. SGN convierte las cotas locales de curvatura y de acoplamiento Lipschitz entre jugadores en un certificado manejable de contracción. Construye una métrica ponderada por bloques en la que el pseudo-gradiente se vuelve fuertemente monótono en cualquier región donde se mantengan estas cotas, incluso cuando no es monótono en sentido euclidiano. El flujo continuo es exponencialmente contractivo en esta geometría diseñada, y las discretizaciones de Euler proyectado y RK4 convergen bajo cotas explícitas de tamaño de paso derivadas del margen SGN y una constante de Lipschitz local. Nuestro análisis revela una "banda de escala de tiempo" certificada, un certificado no-asintótico basado en métricas que juega un papel similar a TTUR: en lugar de forzar una separación asintótica de escalas de tiempo mediante tamaños de paso desiguales y decrecientes, SGN identifica una banda finita de pesos métricos relativos para la cual una dinámica con un único tamaño de paso es demostrablemente contractiva. Validamos el marco en juegos cuadráticos donde el análisis de monotonicidad euclidiana no logra predecir la convergencia, pero SGN la certifica con éxito, y extendemos la construcción a geometrías espejo/de Fisher para el gradiente de políticas con entropía regularizada en juegos de Markov. El resultado es una canalización de certificación offline que estima los parámetros de curvatura, acoplamiento y Lipschitz en regiones compactas, optimiza los pesos de los bloques para ampliar el margen SGN y devuelve un certificado de convergencia estructural y computable que consiste en una métrica, una tasa de contracción y tamaños de paso seguros para juegos no monótonos.

English

Classical convergence guarantees for gradient-based learning in games require the pseudo-gradient to be (strongly) monotone in Euclidean geometry as shown by rosen(1965), a condition that often fails even in simple games with strong cross-player couplings. We introduce Small-Gain Nash (SGN), a block small-gain condition in a custom block-weighted geometry. SGN converts local curvature and cross-player Lipschitz coupling bounds into a tractable certificate of contraction. It constructs a weighted block metric in which the pseudo-gradient becomes strongly monotone on any region where these bounds hold, even when it is non-monotone in the Euclidean sense. The continuous flow is exponentially contracting in this designed geometry, and projected Euler and RK4 discretizations converge under explicit step-size bounds derived from the SGN margin and a local Lipschitz constant. Our analysis reveals a certified ``timescale band'', a non-asymptotic, metric-based certificate that plays a TTUR-like role: rather than forcing asymptotic timescale separation via vanishing, unequal step sizes, SGN identifies a finite band of relative metric weights for which a single-step-size dynamics is provably contractive. We validate the framework on quadratic games where Euclidean monotonicity analysis fails to predict convergence, but SGN successfully certifies it, and extend the construction to mirror/Fisher geometries for entropy-regularized policy gradient in Markov games. The result is an offline certification pipeline that estimates curvature, coupling, and Lipschitz parameters on compact regions, optimizes block weights to enlarge the SGN margin, and returns a structural, computable convergence certificate consisting of a metric, contraction rate, and safe step-sizes for non-monotone games.